Pretraining to etap, w którym model uczy się języka, a nie zachowania. Po nim potrafi dokończyć każdy tekst, ale niekoniecznie odpowiedzieć na pytanie.
Czym jest pretraining
Pretraining to pierwszy i najkosztowniejszy etap treningu: model przechodzi przez ogromny zbiór tekstów, za każdym razem próbując przewidzieć kolejny token, a wagi są korygowane w zależności od błędu. Nie ma tu etykiet ani ludzkich ocen — sygnałem uczącym jest sam tekst. Efektem jest model bazowy, który zna wzorce języka i sporo faktów, ale nie ma nawyku bycia asystentem.
Co dzieje się dalej
Model bazowy przechodzi następnie dostrajanie na przykładach pożądanych odpowiedzi, a potem etap uczenia z ludzkiego lub automatycznego feedbacku, w którym wzmacnia się odpowiedzi ocenione jako lepsze. To właśnie te etapy nadają modelowi charakter: ton, gotowość do odmowy, format odpowiedzi. Dwa modele o zbliżonym rozmiarze mogą zachowywać się zupełnie inaczej głównie z tego powodu.
Data odcięcia wiedzy
Wiedza z pretrainingu jest zamrożona w momencie zakończenia zbierania danych. Model nie dowie się o niczym późniejszym, dopóki nie dostanie tego w kontekście — przez wyszukiwanie, RAG albo wprost w prompcie. To nie jest kwestia aktualizacji, tylko tego, że nowa informacja nie ma jak trafić do wag.
Dlaczego to ważne przy wyborze modelu
Skład danych treningowych decyduje o tym, jak dobrze model radzi sobie z polszczyzną, z konkretną dziedziną i z formatami, których używasz. Rozmiar modelu nie zastąpi obecności odpowiednich danych — mniejszy model trenowany na właściwym materiale bywa lepszy w konkretnym zadaniu niż większy ogólny.