Modele rozumujące — czym różni się „thinking” i kiedy za nie przepłacasz
To samo pytanie, dwa modele. Pierwszy odpowiada po sekundzie. Drugi milczy pół minuty, wypisuje komunikat o myśleniu, a potem odpowiada — i na rachunku widnieje wielokrotność tego, co kosztował pierwszy. Za tę różnicę czasem warto zapłacić dziesięciokrotnie. Czasem...
Rozmiar, kwantyzacja, destylacja — kiedy mniejszy model wygrywa
Domyślna decyzja przy większości wdrożeń brzmi: bierzemy największy dostępny model, bo będzie najlepszy. Rzadko kiedy jest to decyzja — częściej brak decyzji. Bywa słuszna. Ale przy zadaniach, które w praktyce stanowią większość ruchu w produkcji — klasyfikacja,...
Dlaczego długi kontekst jest drogi — KV cache i koszt kwadratowy
W artykule o inference padło zdanie, że każdy kolejny token wymaga osobnego przejścia przez cały model. Brzmi to jak katastrofa obliczeniowa — i byłoby nią, gdyby przy każdym kroku model liczył wszystko od nowa. Nie liczy. To jest miejsce na sprostowanie uproszczenia,...
Multimodalność — model, który widzi, kontra agent z narzędziem
Wrzucasz zdjęcie faktury i dostajesz poprawnie wyciągnięte dane. Wygląda na jedną rzecz. Pod spodem mogą być dwie zupełnie różne architektury i różnica jest niewidoczna z zewnątrz — dopóki nie trafisz na przypadek, w którym jedna działa, a druga nie. To rozróżnienie...