KV cache to powód, dla którego generowanie długiej odpowiedzi w ogóle jest wykonalne — i jednocześnie powód, dla którego długi kontekst zajmuje tyle pamięci.
Czym jest KV cache
Podczas generowania każdy nowy token musi uwzględnić wszystkie poprzednie. Bez pamięci podręcznej oznaczałoby to przeliczanie całej sekwencji od nowa przy każdym kroku. KV cache przechowuje pośrednie reprezentacje wyliczone dla dotychczasowych tokenów, dzięki czemu kolejny krok dolicza tylko to, co nowe.
Dlaczego to główny konsument pamięci
Rozmiar tej pamięci rośnie liniowo z długością sekwencji i z liczbą równoczesnych sesji. Przy długich kontekstach i wielu użytkownikach naraz to właśnie KV cache, a nie same wagi modelu, wyczerpuje pamięć karty. Stąd biorą się limity długości kontekstu i przepustowości, które widać w cennikach i w zachowaniu lokalnych wdrożeń.
Cache promptu
Skoro reprezentacje dla stałego początku promptu są zawsze takie same, można je zachować między zapytaniami. Dostawcy udostępniają to jako cache promptu — powtarzalny fragment, na przykład prompt systemowy i instrukcje narzędzi, jest rozliczany taniej. Warunkiem jest stabilność początku kontekstu: dopisanie czegokolwiek na jego początku unieważnia cache.
Konsekwencja projektowa
Kolejność w kontekście przestaje być obojętna kosztowo. To, co stałe, powinno stać na początku, a to, co zmienne — na końcu. Ta jedna zasada potrafi obniżyć rachunek za agenta wykonującego wiele kroków bardziej niż jakakolwiek optymalizacja treści promptu.