Generowanie jest sekwencyjne: dziesiątego tokenu nie da się policzyć przed dziewiątym. Dekodowanie spekulatywne obchodzi to ograniczenie, nie łamiąc go.
Jak działa
Mały, szybki model proponuje kilka kolejnych tokenów naraz. Duży model sprawdza tę propozycję jednym przebiegiem — a weryfikacja kilku tokenów naraz jest znacznie tańsza niż wygenerowanie ich po kolei. Tokeny zgodne z tym, co duży model wybrałby sam, zostają przyjęte. Pierwszy niezgodny i wszystko po nim jest odrzucane, a proces zaczyna się od tego miejsca.
Dlaczego wynik jest identyczny
To jest kluczowa własność: przyjmowane są wyłącznie tokeny, które duży model i tak by wybrał. Odpowiedź jest więc taka sama jak bez tej techniki — zmienia się tempo, nie treść. To odróżnia dekodowanie spekulatywne od kwantyzacji czy destylacji, gdzie za szybkość płaci się jakością.
Kiedy działa najlepiej
Zysk zależy od tego, jak często mały model trafia. Przy tekstach przewidywalnych — kodzie, dokumentach o powtarzalnej strukturze, tłumaczeniach — trafność jest wysoka i przyspieszenie znaczące. Przy tekstach nietypowych propozycje są częściej odrzucane i zysk maleje.
Gdzie to spotkasz
Głównie po stronie dostawców i w silnikach serwujących modele lokalnie. Dla korzystającego z API technika jest niewidoczna — objawia się wyłącznie tym, że odpowiedzi przychodzą szybciej. Warto o niej wiedzieć przy stawianiu własnego serwowania, bo bywa jedną z najtańszych optymalizacji opóźnienia.