Słownik Webflux Agentic Web
Infrastruktura techniczna

tokeny na sekundę

Metryka mierząca tempo fazy decode, czyli jak szybko rozwija się odpowiedź po pojawieniu się pierwszego słowa. Zależy od rozmiaru modelu i przepustowości pamięci, a nie od mocy obliczeniowej — i jest niezależna od czasu do pierwszego tokena, z którym bywa mylona.

W Polsce nazywane też:

tokeny na sekundętempo generowaniaprzepustowość generowania

Kiedy ktoś pyta, który dostawca jest szybszy, pytanie nie ma odpowiedzi bez dopowiedzenia, co się robi. Są dwie metryki i mierzą różne fazy pracy modelu.

Czym są tokeny na sekundę

Tokeny na sekundę to tempo generowania odpowiedzi w fazie decode, mierzone od pojawienia się pierwszego tokenu. Odpowiadają za to, jak szybko rozwija się tekst w strumieniu — nie za to, jak długo trwała cisza przed jego rozpoczęciem.

Od czego zależą

Przede wszystkim od przepustowości pamięci podzielonej przez rozmiar modelu, bo każdy pojedynczy token wymaga przeczytania wszystkich wag. Stąd bezpośredni związek z kwantyzacją: mniejszy plik to więcej tokenów na sekundę przy tym samym sprzęcie.

W drugiej kolejności od wielkości partii — dopóki wąskim gardłem jest odczyt wag, dokładanie równoległych rozmów nie zmienia tempa pojedynczej. Powyżej pewnego progu wąskim gardłem stają się rdzenie i wtedy tempo zaczyna spadać dla wszystkich.

Dlaczego nie wystarcza

Ta metryka i czas do pierwszego tokena bywają ze sobą w konflikcie. Dostawca agresywnie łączący żądania w partie poprawia przepustowość całego systemu i pogarsza czas oczekiwania. Który jest „szybszy”, zależy wyłącznie od tego, czy twoje zadanie ma długi prompt i krótką odpowiedź, czy odwrotnie.

Czego nie mierzy

Niczego o jakości. Tempo generowania jest własnością maszynerii, a nie modelu — ten sam model serwowany przez dwóch dostawców da odpowiedzi tej samej jakości w bardzo różnym tempie.

Powiązane pojęcia

przetwarzanie partiami w trybie ciągłymTechnika serwowania modeli, w której wiele równoległych rozmów dzieli jeden odczyt wag z pamięci, a żądania dołączają i opuszczają partię w trakcie jej przetwarzania. Podstawa ekonomii API — bez niej koszt tokenu byłby wielokrotnie wyższy.czas do pierwszego tokenaMetryka mierząca czas od wysłania żądania do otrzymania pierwszego tokenu odpowiedzi. Obejmuje sieć, bramę, kolejkę i prefill. Jest niezależna od liczby tokenów na sekundę i bywa z nią sprzeczna, bo optymalizacje poprawiające przepustowość systemu pogarszają czas oczekiwania.przetwarzanie promptu i generowanieDwie fazy pracy modelu o przeciwnej charakterystyce. Prefill przetwarza cały prompt równolegle, obciąża rdzenie i decyduje o czasie do pierwszego tokena. Decode generuje odpowiedź sekwencyjnie, obciąża pamięć i decyduje o liczbie tokenów na sekundę.przepustowość pamięciIlość danych, jaką sprzęt przepycha między pamięcią a rdzeniami w ciągu sekundy. Przy generowaniu odpowiedzi to ona, a nie moc obliczeniowa, wyznacza sufit prędkości — bo każdy pojedynczy token wymaga przeczytania wszystkich wag modelu.Opóźnienie agentoweŁączny czas od zlecenia zadania agentowi do dostarczenia wyników — suma wywołań modelu, narzędzi, retrieval i orchestration overhead. Kluczowa metryka dla interaktywnych zastosowań wymagająca decyzji: równoległe wywołania, cachowanie, dobór modelu, sync vs async.