Inference to moment, w którym model faktycznie pracuje. Trening zdarzył się raz; inference dzieje się przy każdym twoim zapytaniu i to za nie płacisz.
Czym jest inference
Inference to użycie wytrenowanego modelu do wygenerowania odpowiedzi. Wagi są w tym czasie zamrożone — model niczego się nie uczy. Przebieg dzieli się na dwie fazy: przetworzenie całego promptu, a następnie generowanie odpowiedzi token po tokenie, gdzie każdy nowy token wymaga osobnego przejścia przez model.
Dlaczego to ma znaczenie dla kosztu i opóźnienia
Te dwie fazy mają różną charakterystykę. Przetworzenie promptu liczy się równolegle i jest stosunkowo szybkie, natomiast generowanie jest sekwencyjne — nie da się wygenerować dziesiątego tokenu przed dziewiątym. Dlatego długa odpowiedź wydłuża czas bardziej niż długi prompt, a cenniki rozdzielają stawki za tokeny wejściowe i wyjściowe.
Ten sam prompt, inna odpowiedź
Model zwraca rozkład prawdopodobieństwa, a wybór konkretnego tokenu należy do warstwy samplingu. Przy ustawieniach dopuszczających losowość ta sama treść wejściowa daje różne odpowiedzi w kolejnych przebiegach. To nie jest usterka, lecz właściwość procesu — i praktyczny powód, dla którego testowanie agenta wymaga wielokrotnych przebiegów, a nie jednego sprawdzenia.
Gdzie to działa
Inference może odbywać się u dostawcy przez API albo lokalnie, na własnym sprzęcie. Wybór wpływa na koszt, opóźnienie, prywatność danych i na to, czy model może się zmienić bez twojej wiedzy — model dostępny przez API bywa aktualizowany, co jest częstą przyczyną nagłego spadku jakości działającego wdrożenia.