Maszyneria modelu

Plik z wagami jest martwy. Nie ma w nim pętli, nie ma decyzji, nie ma niczego, co samo się uruchomi. Żeby powstała odpowiedź, ktoś musi ten plik wczytać, rozłożyć na operacje, rozdzielić je na sprzęt i policzyć — token po tokenie, od nowa przy każdym słowie.

Ta warstwa nazywa się runtime i to ona decyduje o wszystkim, co użytkownik naprawdę odczuwa: ile czeka na pierwsze słowo, ile go to kosztuje, gdzie kończy się kontekst i dlaczego ten sam model raz odpowiada natychmiast, a raz stoi w kolejce.

Te same wagi żyją dziś w trzech zupełnie różnych maszyneriach. Na dysku użytkownika, gdzie widać wszystko. Za HTTP, gdzie nie widać niczego. I w oknie czatu, gdzie między człowiekiem a modelem stoi jeszcze cały produkt. Prawie wszystko, co przypisujemy modelowi, robi jedna z tych trzech.

Ta seria jest o nich.

Dwanaście artykułów w trzech torach — od tego, co runtime robi z plikiem wag, przez kwantyzację, pamięć i dwie fazy generowania, po kolejki, batching i cache po stronie dostawcy, aż po to, co okno czatu dokłada od siebie. Każdy artykuł jest samodzielny. Razem odpowiadają na jedno pytanie: ile z tego, co widzisz, to naprawdę model.

Tor lokalny jest tu grupą kontrolną, nie tematem. Nie chodzi o uruchamianie modeli u siebie — chodzi o to, że jest to jedyne miejsce, w którym mechanizm da się zobaczyć, zanim wytłumaczymy ten sam mechanizm tam, gdzie jest schowany za cudzym serwerem.

Dlatego w tej serii nie ma kodu do wklejenia. Jest kod, który już działa: część artykułów ma widget, w którym mechanizm wykonuje się na urządzeniu czytelnika, na jego danych, w trakcie czytania. Tekst i widget da się czytać osobno.

Jeśli czytałeś Anatomię LLM — tamta mówi, z czego model jest zbudowany, ta mówi, co go wykonuje. Jeśli czytałeś Maszynerię agenta — tamta idzie od granicy modelu w górę, ta schodzi od niej w dół. Jeśli zaczynasz tutaj, zacznij od artykułu pierwszego. Bez benchmarków, bez „odpal sobie LLM w pięć minut", z linkami do słownika przy każdym nowym pojęciu.