predykcja następnego tokenu

Jedyna operacja, jaką wykonuje model: na podstawie ciągu tokenów zwraca rozkład prawdopodobieństwa kolejnego tokenu. Odpowiedź powstaje przez powtarzanie tego kroku. Model niczego nie wykonuje i nie sięga poza kontekst — halucynacje i brak pamięci wynikają wprost z tego mechanizmu.

W Polsce nazywane też:

przewidywanie następnego tokenugenerowanie autoregresyjnemodel autoregresyjny

Jeśli z całej anatomii modelu zapamiętasz jedno zdanie, niech to będzie to: model przewiduje kolejny element ciągu. Wszystko inne jest konsekwencją.

Na czym polega mechanizm

Model dostaje ciąg tokenów i zwraca rozkład prawdopodobieństwa nad całym swoim słownikiem — dla każdej pozycji w słowniku liczbę mówiącą, jak prawdopodobne jest, że to właśnie ona jest następna. Osobny krok wybiera z tego rozkładu jeden token, dokleja go do ciągu i całość wraca na wejście. Odpowiedź powstaje przez powtarzanie tego kroku, token po tokenie.

Model nie wykonuje niczego

Przewidywanie kolejnego elementu to jedyna operacja, jaką model wykonuje. Nie ma dostępu do internetu, plików ani żadnego stanu poza tym, co dostał w kontekście. Kiedy mówimy, że model wywołał narzędzie, w rzeczywistości wygenerował tekst wyglądający jak prośba o wywołanie, a wykonał ją kod poza modelem i wkleił wynik z powrotem do kontekstu.

Dlaczego to działa też dla obrazu i dźwięku

Sformułowanie „tekst wchodzi, tekst wychodzi” jest prawdziwe tylko dla klasycznego modelu językowego. W modelach multimodalnych na brzegach stoją inne enkodery i dekodery, ale środek pozostaje ten sam: przewidywanie kolejnego elementu ciągu. Zmienia się to, co ciąg reprezentuje, nie to, co robi z nim model.

Co z tego wynika

Z tego jednego mechanizmu wynikają wprost halucynacje, brak trwałej pamięci między sesjami oraz to, że model nie potrafi zweryfikować własnej odpowiedzi. Nie są to błędy implementacji, które ktoś kiedyś naprawi — są własnościami tego, jak model działa.

Powiązane pojęcia

halucynacja modeluWygenerowanie treści brzmiącej wiarygodnie, ale niezgodnej z faktami lub kontekstem. Nie jest błędem implementacji — wynika z tego, że model wybiera tokeny według prawdopodobieństwa, nie prawdziwości, i nie ma osobnego sygnału "nie wiem". Ogranicza się ją poza modelem: RAG, walidacja, structured output.wnioskowanie modeluUżycie wytrenowanego modelu do wygenerowania odpowiedzi, przy zamrożonych wagach. Dzieli się na przetworzenie promptu i sekwencyjne generowanie token po tokenie — stąd różne stawki za tokeny wejściowe i wyjściowe oraz to, że długa odpowiedź kosztuje czasowo więcej niż długi prompt.próbkowanieWarstwa wybierająca jeden token z rozkładu prawdopodobieństwa zwróconego przez model. Sterowana temperaturą, top-p i top-k. Odpowiada za niepowtarzalność odpowiedzi — ale nie zmienia wiedzy modelu, więc nie usuwa halucynacji.tokenPodstawowa jednostka, na którą model dzieli tekst — najczęściej fragment słowa, nie całe słowo. Model nie widzi znaków, tylko numery tokenów ze stałego słownika. W tokenach liczone są okno kontekstu, koszt i limity odpowiedzi.transformerArchitektura sieci neuronowej oparta na mechanizmie uwagi, opisana w 2017 roku i stanowiąca podstawę dzisiejszych dużych modeli. Przetwarza całą sekwencję równolegle, co umożliwiło trening na dużą skalę. Wagi są zamrożone po treningu — model nie zapisuje niczego podczas rozmowy.

Źródła

arxiv.org