W poprzednim artykule w kodzie pętli siedziała linia obrot < 8. Wpisana na sztywno, bez komentarza, żeby przykład się nie rozjechał. Ta jedna linia jest tematem całego tego tekstu. Bez niej pętla kręci się dopóty, dopóki model prosi o narzędzia — a model potrafi...
Pętla agenta to trzydzieści linii kodu. Prawie nikt ich nie napisał, bo prawie wszyscy używają frameworka — i to jest rozsądne. Problem zaczyna się wtedy, gdy agent zachowuje się dziwnie, a ty nie wiesz, co dokładnie dzieje się między pytaniem użytkownika a...
Przeszliśmy przez cały model: tokeny, znaczenie, uwagę, trening, generowanie, koszt, rozmiar, rozumowanie. Został ostatni krok, który jest zarazem najważniejszy praktycznie. Nie „co model robi”, tylko czego nie robi — i gdzie dokładnie przebiega linia, za którą...
To samo pytanie, dwa modele. Pierwszy odpowiada po sekundzie. Drugi milczy pół minuty, wypisuje komunikat o myśleniu, a potem odpowiada — i na rachunku widnieje wielokrotność tego, co kosztował pierwszy. Za tę różnicę czasem warto zapłacić dziesięciokrotnie. Czasem...
Domyślna decyzja przy większości wdrożeń brzmi: bierzemy największy dostępny model, bo będzie najlepszy. Rzadko kiedy jest to decyzja — częściej brak decyzji. Bywa słuszna. Ale przy zadaniach, które w praktyce stanowią większość ruchu w produkcji — klasyfikacja,...
W artykule o inference padło zdanie, że każdy kolejny token wymaga osobnego przejścia przez cały model. Brzmi to jak katastrofa obliczeniowa — i byłoby nią, gdyby przy każdym kroku model liczył wszystko od nowa. Nie liczy. To jest miejsce na sprostowanie uproszczenia,...
