Przeszliśmy przez cały model: tokeny, znaczenie, uwagę, trening, generowanie, koszt, rozmiar, rozumowanie. Został ostatni krok, który jest zarazem najważniejszy praktycznie. Nie „co model robi”, tylko czego nie robi — i gdzie dokładnie przebiega linia, za którą...
To samo pytanie, dwa modele. Pierwszy odpowiada po sekundzie. Drugi milczy pół minuty, wypisuje komunikat o myśleniu, a potem odpowiada — i na rachunku widnieje wielokrotność tego, co kosztował pierwszy. Za tę różnicę czasem warto zapłacić dziesięciokrotnie. Czasem...
Domyślna decyzja przy większości wdrożeń brzmi: bierzemy największy dostępny model, bo będzie najlepszy. Rzadko kiedy jest to decyzja — częściej brak decyzji. Bywa słuszna. Ale przy zadaniach, które w praktyce stanowią większość ruchu w produkcji — klasyfikacja,...
W artykule o inference padło zdanie, że każdy kolejny token wymaga osobnego przejścia przez cały model. Brzmi to jak katastrofa obliczeniowa — i byłoby nią, gdyby przy każdym kroku model liczył wszystko od nowa. Nie liczy. To jest miejsce na sprostowanie uproszczenia,...
Wrzucasz zdjęcie faktury i dostajesz poprawnie wyciągnięte dane. Wygląda na jedną rzecz. Pod spodem mogą być dwie zupełnie różne architektury i różnica jest niewidoczna z zewnątrz — dopóki nie trafisz na przypadek, w którym jedna działa, a druga nie. To rozróżnienie...
Poprosiłeś o źródła. Dostałeś pięć pozycji z nazwiskami, tytułami i rocznikami. Cztery istnieją. Piąta wygląda dokładnie tak samo i nie istnieje w ogóle. Nic w odpowiedzi tego nie zasygnalizowało. Ta piąta pozycja nie została napisana ciszej, ostrożniej ani z...
