Trening — skąd model ma charakter: pretraining, SFT, RLHF
Weź dwa modele o zbliżonej liczbie parametrów, od dwóch różnych dostawców. Zadaj im to samo pytanie. Jeden odpowie w trzech zdaniach, drugi w trzech akapitach. Jeden odmówi, drugi nie. Jeden zacznie od zastrzeżeń, drugi od konkretu. Różnica prawie nigdy nie leży w...
Attention — jak model decyduje, na co patrzeć
„Zamek był zardzewiały.” Przeczytałeś to i już wiesz, że nie chodzi o budowlę. Wiesz dzięki jednemu słowu, które stoi obok. Gdyby zamiast „zardzewiały” było „otoczony fosą”, to samo słowo znaczyłoby coś zupełnie innego. W poprzednim artykule...
Embeddingi — czym jest znaczenie dla maszyny
Wpisz w dowolną wyszukiwarkę semantyczną „auto”, a znajdzie ci dokumenty o samochodach. Nie dlatego, że ktoś ręcznie wpisał synonimy. Te dwa słowa nie mają wspólnego rdzenia, nie mają wspólnej odmiany, a mimo to maszyna traktuje je jako bliskie. To jest jedyne...
Tokenizacja — jak tekst przestaje być tekstem (i dlaczego polski kosztuje więcej)
W artykule pierwszym padło zdanie, że model dostaje ciąg tokenów. Teraz pytanie, które zadaje się samo: skąd te tokeny się biorą i kto je robi. Odpowiedź jest zaskakująco prozaiczna. Robi je zwykły algorytm, który niczego się nie nauczył i nigdy się nie nauczy. A mimo...