Wstrzyknięcie instrukcji psuje jedną odpowiedź. Zatrucie kontekstu psuje jedną rozmowę. Zatrucie pamięci psuje wszystkie następne.
Czym jest zatrucie pamięci
Zatrucie pamięci to umieszczenie w trwałym magazynie pamięci agenta treści, która będzie wpływać na jego przyszłe decyzje — preferencji, rzekomego faktu, instrukcji podanej jako zapamiętana zasada. Atak jest skuteczny wtedy, gdy agent zapisuje do pamięci automatycznie, na podstawie tego, co przeczytał lub usłyszał.
Dlaczego to osobna kategoria
Zatrucie kontekstu działa w obrębie jednego przebiegu i znika wraz z nim. Wyczyszczenie rozmowy usuwa problem.
Zatrucie pamięci przeżywa sesję. Wpis zapisany dziś zostanie doklejony do kontekstu jutro, pojutrze i przy każdej następnej rozmowie, także takiej, w której atakujący nie bierze udziału. W systemie wieloużytkownikowym może dotknąć osób zupełnie postronnych.
Skąd bierze się wektor
Z automatyzmu. Agent, który samodzielnie decyduje, co warto zapamiętać, na podstawie treści pobranej ze strony, z wiadomości albo z dokumentu, przyjmuje do pamięci dane pochodzące od kogoś obcego.
Z perspektywy modelu zapamiętany wpis wygląda tak samo jak każdy inny fragment kontekstu — nie niesie oznaczenia, że pochodzi z niezaufanego źródła.
Jak ograniczać
Zapis do pamięci traktowany jako operacja uprzywilejowana, nie jako efekt uboczny czytania. Oznaczanie źródła każdego wpisu i zachowanie tej informacji przy doklejaniu do kontekstu. Możliwość przeglądu i skasowania pamięci przez człowieka. Osobne przestrzenie pamięci dla różnych kontekstów uprawnień.