kwantyzacja

Zapisanie wag modelu z mniejszą precyzją liczbową, co zmniejsza zużycie pamięci i przyspiesza obliczenia kosztem dokładności. Umożliwia uruchamianie dużych modeli lokalnie. To nie to samo co destylacja — kwantyzacja zmienia zapis tych samych wag, destylacja tworzy nowy, mniejszy model.

W Polsce nazywane też:

kwantyzacja modeluredukcja precyzji wag

Kwantyzacja to powód, dla którego model, który teoretycznie wymaga serwerowni, uruchamia się na zwykłym komputerze. Płaci się za to dokładnością — pytanie tylko, ile jej realnie ubywa.

Czym jest kwantyzacja

Kwantyzacja to zapisanie wag modelu z mniejszą precyzją liczbową — zamiast pełnej dokładności zmiennoprzecinkowej używa się reprezentacji o mniejszej liczbie bitów. Model zajmuje wtedy odpowiednio mniej pamięci i szybciej się liczy, bo mniej danych trzeba przenosić między pamięcią a procesorem.

Co się traci

Spadek jakości bywa niewielki przy umiarkowanej redukcji precyzji i rośnie przy agresywnej. Nie rozkłada się jednak równomiernie: najbardziej cierpią zadania wymagające precyzyjnego rozumowania, długiego łańcucha kroków i pracy w językach słabiej reprezentowanych w danych treningowych. Dla polskich zastosowań ma to praktyczne znaczenie — spadek bywa większy niż sugerują benchmarki anglojęzyczne.

Kwantyzacja to nie destylacja

Kwantyzacja zmienia sposób zapisu tych samych wag. Destylacja to trenowanie mniejszego modelu tak, by naśladował większy — powstaje inny model, o innej liczbie parametrów. Oba podejścia zmniejszają wymagania, ale robią to na zupełnie różnym poziomie.

Kiedy ma sens

Kwantyzacja jest podstawowym narzędziem przy uruchamianiu modeli lokalnie: gdy dane nie mogą opuścić infrastruktury, gdy zależy ci na przewidywalnym koszcie albo gdy potrzebujesz działania bez połączenia. Decyzję warto podejmować na własnym zestawie testowym, a nie na ogólnych benchmarkach.

Powiązane pojęcia

wnioskowanie modeluUżycie wytrenowanego modelu do wygenerowania odpowiedzi, przy zamrożonych wagach. Dzieli się na przetworzenie promptu i sekwencyjne generowanie token po tokenie — stąd różne stawki za tokeny wejściowe i wyjściowe oraz to, że długa odpowiedź kosztuje czasowo więcej niż długi prompt.Lokalny model językowyModel językowy uruchamiany lokalnie — bez zewnętrznego API — zapewniający prywatność danych, działanie offline i przewidywalne koszty. Llama, Mistral, Phi jako popularne modele. Ollama jako de facto standard dla developerów.Benchmarking modeli AISystematyczne porównywanie modeli AI przez zestandaryzowane testy — MMLU, HumanEval, Chatbot Arena, MATH. Pułapka: model #1 na benchmarku akademickim może być słabszy dla twojego konkretnego zadania. Buduj własny zestaw testów dla swojego use case.Destylacja modeluTechnika trenowania mniejszego modelu przez imitowanie zachowania większego — "nauczyciel" (GPT-4o) uczy "ucznia" (Llama 3B) zachowywać się na specyficznym zadaniu przy ułamku kosztu i latencji. Model zdystylowany na fakturach może przewyższyć generalistę na tym zadaniu.

Źródła

arxiv.org