Nazwa modelu, którą podajesz w zapytaniu, nie wskazuje maszyny. Wskazuje pulę maszyn — prawdopodobnie w kilku regionach, prawdopodobnie na sprzęcie różnych generacji.
Czym jest router żądań
Router żądań to warstwa po stronie dostawcy decydująca, która instancja silnika inferencyjnego obsłuży konkretne wywołanie. Działa między bramą a kolejką i jest niewidoczna z poziomu API — nie masz na nią wpływu ani wglądu w jej decyzje.
Czym się kieruje
Bieżącym obciążeniem poszczególnych instancji i długością ich kolejek.
Regionem, z którego przyszło żądanie.
Coraz częściej także tym, czy któraś z maszyn ma już w pamięci podręcznej początek twojego kontekstu — bo skierowanie żądania tam, gdzie cache już istnieje, jest tańsze dla wszystkich.
Co z tego wynika dla ciebie
Trafienia w cache promptu bywają mniej powtarzalne, niż wynikałoby z samej treści promptu. Możesz mieć kontekst skonstruowany bezbłędnie i mimo to nie trafić, bo żądanie poszło na inną maszynę.
Opóźnienie przy identycznych zapytaniach waha się nie tylko z powodu kolejki, ale i dlatego, że trafiłeś na sprzęt innej generacji.
Zachowanie modelu bywa nieznacznie różne między wywołaniami, jeśli pula zawiera instancje o różnej precyzji wag albo różnym runtime.
Czego router nie robi
Nie wybiera za ciebie modelu. To osobny mechanizm, spotykany w produktach czatowych, gdzie zapytanie bywa kierowane do modelu mniejszego lub większego w zależności od oceny trudności — i tam faktycznie zmienia to, z czym rozmawiasz.
