Słownik Webflux Agentic Web
Wnętrze modelu

kwantyzacja grupowa

Sposób kwantyzacji, w którym wagi dzieli się na małe grupy sąsiadujących liczb i każda dostaje własny współczynnik skalujący. Różnica między kwantyzacją, która działa, a taką, która zamienia model w generator bełkotu — kosztem kilku dodatkowych bajtów na grupę.

W Polsce nazywane też:

kwantyzacja grupowagrupowanie wagskala na grupęrozmiar grupy

Zapis czterobitowy daje szesnaście możliwych wartości na parametr. Nie szesnaście tysięcy — szesnaście. Pierwsza reakcja każdego, kto to słyszy, jest taka sama: to nie ma prawa działać.

Działa, ale tylko dzięki jednej decyzji inżynierskiej.

Czym jest kwantyzacja grupowa

Kwantyzacja grupowa to sposób redukcji precyzji wag, w którym nie stosuje się jednego współczynnika skalującego dla całego modelu ani nawet dla całej warstwy, lecz dzieli wagi na małe grupy sąsiadujących liczb — najczęściej po 32, 64 lub 128 — i każda z nich dostaje własną skalę wyznaczoną z zakresu wartości w tej grupie.

Dlaczego to konieczne

Wyobraź sobie, że masz zapisać ceny wszystkich produktów w sklepie, ale wolno ci użyć tylko szesnastu etykiet cenowych. Jeśli sprzedajesz warzywa i wszystko kosztuje między dwa a dwanaście złotych, szesnaście etykiet wystarczy. Ale jeśli w tym samym sklepie stoi jedna butelka wina za cztery tysiące, skala musi się do niej rozciągnąć i wszystkie warzywa wylądują na jednej etykiecie.

Grupowanie to osobny cennik na każdą półkę. Wino przestaje psuć marchewkę.

Podatek od skal

Każda grupa musi gdzieś zapisać swoją skalę, zwykle w szesnastu bitach. Im mniejsze grupy, tym lepsza dokładność i tym większy narzut.

Przy grupach po 128 wag narzut jest znikomy. Przy grupach po 32 model opisany jako czterobitowy zajmuje realnie około czterech i pół bitu na parametr. Przy grupach po osiem — ponad sześć.

Dlatego etykieta „4 bity” mówi tyle, co „samochód benzynowy”, a uczciwą miarą jest efektywna liczba bitów na parametr, liczona razem ze skalami.

Co z tego wynika

Dwa pliki z identycznym oznaczeniem wariantu mogą różnić się jakością i rozmiarem, bo różnią się rozmiarem grupy, doborem chronionych warstw i tym, czy przed kwantyzacją przepuszczono przez model dane kalibracyjne.

Powiązane pojęcia

kalibracja kwantyzacjiPrzepuszczenie przez model reprezentatywnej próbki tekstu przed kwantyzacją, żeby sprawdzić, które wagi faktycznie pracują i które warstwy są wrażliwe. Odróżnia kwantyzację ślepą od świadomej — i sprawia, że dobór danych kalibracyjnych wpływa na jakość modelu w konkretnym języku.precyzja mieszanaZapisanie różnych części modelu z różną precyzją: większość wag nisko, warstwy wrażliwe i wartości odstające wysoko. Stąd oznaczenia wariantów typu q4f16 — większość w czterech bitach, część w szesnastu.przepustowość pamięciIlość danych, jaką sprzęt przepycha między pamięcią a rdzeniami w ciągu sekundy. Przy generowaniu odpowiedzi to ona, a nie moc obliczeniowa, wyznacza sufit prędkości — bo każdy pojedynczy token wymaga przeczytania wszystkich wag modelu.wartości odstającePojedyncze wagi lub aktywacje wielokrotnie większe od sąsiadów, występujące konsekwentnie w tych samych miejscach niezależnie od architektury. Nie są błędem treningu — model sam je wyhodował i ich potrzebuje. Przy kwantyzacji rozciągają skalę grupy i psują dokładność pozostałych wag.kwantyzacjaZapisanie wag modelu z mniejszą precyzją liczbową, co zmniejsza zużycie pamięci i przyspiesza obliczenia kosztem dokładności. Umożliwia uruchamianie dużych modeli lokalnie. To nie to samo co destylacja — kwantyzacja zmienia zapis tych samych wag, destylacja tworzy nowy, mniejszy model.