temperatura

Parametr skalujący rozkład prawdopodobieństwa przed wyborem tokenu. Niska wyostrza rozkład i daje odpowiedzi powtarzalne, wysoka spłaszcza go i dopuszcza kandydatów mniej oczywistych. Nie zwiększa wiedzy ani nie poprawia rozumowania.

W Polsce nazywane też:

temperatura modelutemperatura generowania

Temperatura to najczęściej przekręcane pokrętło w całej pracy z modelem — i najczęściej mylnie rozumiane. Nie steruje kreatywnością ani ostrożnością. Steruje rozrzutem losowania.

Czym jest temperatura

Temperatura to parametr skalujący rozkład prawdopodobieństwa przed wyborem tokenu. Wartości niskie wyostrzają rozkład, przez co token najbardziej prawdopodobny wygrywa niemal zawsze. Wartości wysokie spłaszczają rozkład, dając szansę kandydatom mniej oczywistym. Przy wartości zerowej wybór staje się deterministyczny.

Czego temperatura nie robi

Nie zwiększa wiedzy ani nie poprawia rozumowania. Nie czyni modelu ostrożniejszym ani bardziej prawdomównym. Wysoka temperatura nie jest też miarą kreatywności — częściej daje po prostu teksty mniej spójne, bo dopuszcza kontynuacje słabo pasujące do kontekstu.

Zero nie znaczy powtarzalnie w każdych warunkach

Nawet przy temperaturze zerowej ten sam prompt potrafi dać nieco inne wyniki, gdy zmienia się infrastruktura, wersja modelu albo sposób grupowania zapytań po stronie dostawcy. Determinizm dotyczy wyboru z rozkładu, nie całego stosu wykonawczego.

Jak dobierać

Do ekstrakcji danych, klasyfikacji i generowania struktur używa się wartości bliskich zeru. Do tekstów wariantywnych — wartości wyższych, dobieranych eksperymentalnie. Warto ustawiać temperaturę jawnie, bo wartości domyślne różnią się między modelami, a przy migracji różnica potrafi zmienić zachowanie całego wdrożenia.

Powiązane pojęcia

halucynacja modeluWygenerowanie treści brzmiącej wiarygodnie, ale niezgodnej z faktami lub kontekstem. Nie jest błędem implementacji — wynika z tego, że model wybiera tokeny według prawdopodobieństwa, nie prawdziwości, i nie ma osobnego sygnału "nie wiem". Ogranicza się ją poza modelem: RAG, walidacja, structured output.wnioskowanie modeluUżycie wytrenowanego modelu do wygenerowania odpowiedzi, przy zamrożonych wagach. Dzieli się na przetworzenie promptu i sekwencyjne generowanie token po tokenie — stąd różne stawki za tokeny wejściowe i wyjściowe oraz to, że długa odpowiedź kosztuje czasowo więcej niż długi prompt.próbkowanieWarstwa wybierająca jeden token z rozkładu prawdopodobieństwa zwróconego przez model. Sterowana temperaturą, top-p i top-k. Odpowiada za niepowtarzalność odpowiedzi — ale nie zmienia wiedzy modelu, więc nie usuwa halucynacji.

Źródła

arxiv.org