Context rot opisuje zjawisko, które można zaobserwować empirycznie: agent z dostępem do większej ilości informacji bywa gorszy — nie lepszy — od agenta z mniejszym, ale lepiej dobranym kontekstem.
Mechanizm degradacji
Model nie przetwarza okna kontekstu jak bazy danych — nie wyszukuje w nim po kluczu. Przetwarza je jako sekwencję tokenów, gdzie uwaga rozkłada się między wszystkie elementy. Im więcej nieistotnych elementów, tym mniejszy udział uwagi przypada na te istotne. Istotna informacja nie znika z okna — przestaje się wyróżniać z tła.
Typowe źródła context rot
Kumulowanie pełnej historii kroków bez kompakcji. Wrzucanie kompletnych odpowiedzi API zamiast wybranych pól. Ładowanie z góry dokumentów, które mogą okazać się niepotrzebne (preload zamiast just-in-time retrieval). Zostawianie w oknie wyników zakończonych kroków, które nie mają już wpływu na dalsze działanie.
Objaw: paradoks bogatego kontekstu
Agent który „ma wszystko” i błądzi, agent który „ma mało” i radzi sobie — to często objaw context rot. Więcej nie jest lepiej. Właściwe jest lepiej.