Model nie pamięta ani jednego słowa z waszej poprzedniej wymiany. Wrażenie ciągłości powstaje przez mechanizm tak prosty, że po jego poznaniu przestaje dziwić połowa zachowań systemów AI — łącznie z rachunkiem za API.
Czym jest bezstanowość modelu
Bezstanowość to własność architektury, zgodnie z którą model nie przechowuje żadnej informacji między kolejnymi wywołaniami. Nie ma sesji po stronie modelu, nie ma niczego zapisanego po odpowiedzi. Każde wywołanie jest dla niego pierwszym.
Skąd zatem ciągłość rozmowy
Przy drugiej turze warstwa nad modelem składa kontekst od nowa i wkleja do niego całą poprzednią wymianę jako tekst: pytanie, odpowiedź, nowe pytanie. Model czyta to jak jeden dokument i przewiduje, co powinno paść dalej.
To jak rozmowa z kimś, kto po każdym zdaniu traci pamięć, ale dostaje kompletny stenogram i czyta go od początku, zanim odpowie. Z zewnątrz wygląda to jak pamięć. Od środka jest czytaniem.
Dlaczego inaczej się nie da
Wagi są zamrożone po treningu i są tym samym plikiem dla wszystkich użytkowników jednocześnie, współdzielonym przez dziesiątki rozmów w jednej partii. Gdyby model zapisywał w nich cokolwiek z twojej rozmowy, zapisywałby to w pliku, z którego w tej samej sekundzie korzysta ktoś inny.
Pamięć podręczna kontekstu też nie jest pamięcią w tym sensie — to cache obliczeń dla jednej sesji, zwalniany zaraz po odpowiedzi.
Co z tego wynika
Dwudziesta wiadomość w rozmowie kosztuje wielokrotnie więcej niż pierwsza, choć napisałeś tyle samo słów. Długa rozmowa startuje wolniej, bo cała historia musi przejść przez prefill. A gdy historia przestaje mieścić się w oknie kontekstu, produkt musi ją streścić albo obciąć — to nie jest kasowanie danych, tylko jedyne wyjście.
