próbkowanie

Warstwa wybierająca jeden token z rozkładu prawdopodobieństwa zwróconego przez model. Sterowana temperaturą, top-p i top-k. Odpowiada za niepowtarzalność odpowiedzi — ale nie zmienia wiedzy modelu, więc nie usuwa halucynacji.

W Polsce nazywane też:

próbkowanielosowanie tokenuparametry generowania

Model nie wybiera słowa. Zwraca rozkład prawdopodobieństwa nad całym słownikiem, a wyboru dokonuje osobna warstwa — sampling. To ona odpowiada za to, że ta sama rozmowa nigdy nie powtarza się identycznie.

Czym jest sampling

Sampling to procedura wyboru jednego tokenu z rozkładu zwróconego przez model. Najprostszy wariant bierze zawsze token o najwyższym prawdopodobieństwie. Warianty losowe wybierają spośród najbardziej prawdopodobnych kandydatów, co daje bardziej naturalne i zróżnicowane teksty, ale wprowadza niepowtarzalność.

Główne parametry

Temperatura skaluje rozkład, zwiększając lub zmniejszając przewagę najbardziej prawdopodobnych tokenów. Top-p ogranicza wybór do najmniejszego zbioru kandydatów, których łączne prawdopodobieństwo przekracza zadany próg. Top-k ogranicza wybór do ustalonej liczby najlepszych kandydatów. Parametry te działają na tym samym rozkładzie i zwykle stosuje się je łącznie.

Sampling nie zmienia wiedzy modelu

Zmiana parametrów przesuwa rozkład, ale nie dodaje modelowi informacji. Obniżenie temperatury do zera daje odpowiedzi powtarzalne, nie prawdziwe — jeśli model nie ma oparcia w danych, będzie konsekwentnie zwracał ten sam błąd. To ważne rozróżnienie przy diagnozowaniu halucynacji.

Ustawienia w praktyce

Do zadań wymagających powtarzalności — klasyfikacji, ekstrakcji danych, generowania struktur — stosuje się ustawienia niskolosowe. Do tekstów, w których zależy nam na wariantywności, ustawienia wyższe. Warto ustawiać parametry świadomie, bo domyślne wartości różnią się między dostawcami i między interfejsami tego samego modelu.

Powiązane pojęcia

halucynacja modeluWygenerowanie treści brzmiącej wiarygodnie, ale niezgodnej z faktami lub kontekstem. Nie jest błędem implementacji — wynika z tego, że model wybiera tokeny według prawdopodobieństwa, nie prawdziwości, i nie ma osobnego sygnału "nie wiem". Ogranicza się ją poza modelem: RAG, walidacja, structured output.wnioskowanie modeluUżycie wytrenowanego modelu do wygenerowania odpowiedzi, przy zamrożonych wagach. Dzieli się na przetworzenie promptu i sekwencyjne generowanie token po tokenie — stąd różne stawki za tokeny wejściowe i wyjściowe oraz to, że długa odpowiedź kosztuje czasowo więcej niż długi prompt.predykcja następnego tokenuJedyna operacja, jaką wykonuje model: na podstawie ciągu tokenów zwraca rozkład prawdopodobieństwa kolejnego tokenu. Odpowiedź powstaje przez powtarzanie tego kroku. Model niczego nie wykonuje i nie sięga poza kontekst — halucynacje i brak pamięci wynikają wprost z tego mechanizmu.temperaturaParametr skalujący rozkład prawdopodobieństwa przed wyborem tokenu. Niska wyostrza rozkład i daje odpowiedzi powtarzalne, wysoka spłaszcza go i dopuszcza kandydatów mniej oczywistych. Nie zwiększa wiedzy ani nie poprawia rozumowania.

Źródła

arxiv.org