Plik z wagami to miliardy liczb ustalonych na koniec treningu. Od tej chwili nie zmienia się nic — ani podczas twojej rozmowy, ani podczas cudzej.
Czym są zamrożone wagi
Zamrożone wagi to parametry modelu utrwalone po zakończeniu treningu i wykorzystywane w trybie tylko do odczytu podczas odpowiadania. Odpowiadanie nie modyfikuje ich w żaden sposób — jest wyłącznie przepuszczeniem danych przez ustaloną strukturę.
Dlaczego muszą być zamrożone
Ten sam plik obsługuje jednocześnie wszystkich użytkowników dostawcy. Jest wczytany raz do pamięci akceleratora i czytany przy każdym tokenie każdej z dziesiątek równoległych rozmów. Zapis czegokolwiek oznaczałby zapis w danych, z których w tej samej chwili korzysta ktoś inny.
Co to znaczy praktycznie
Model nie uczy się z twojej rozmowy. Poprawienie go — „nie, to jest błędne, zapamiętaj” — działa w obrębie jednej sesji, bo poprawka siedzi w kontekście. Następna rozmowa zacznie od tego samego miejsca.
Model nie jest spersonalizowany. Wszystko, co wygląda na znajomość twoich preferencji, zostało doklejone do kontekstu z zewnętrznej bazy.
Model można zmienić tylko osobnym treningiem — dostrajaniem albo pełnym przetrenowaniem — a to jest proces offline, kosztowny i wykonywany przez właściciela modelu.
Skąd bierze się odczucie, że model się zmienia
Bo maszyneria wokół niego się zmienia. Dostawca aktualizuje instrukcję systemową, podmienia wariant modelu w puli, zmienia precyzję wag albo runtime. Etykieta zostaje ta sama, zachowanie nie.