Słownik Webflux Agentic Web
Wnętrze modelu

mieszanka ekspertów

Architektura, w której model zawiera wiele podsieci zwanych ekspertami, a mechanizm kierujący aktywuje dla każdego tokenu tylko kilka z nich. Rozdziela liczbę parametrów posiadanych od używanych na token: model jest pojemny wiedzowo i tani obliczeniowo, ale nadal drogi pamięciowo.

W Polsce nazywane też:

mieszanka ekspertówmodel rzadkiparametry aktywne

Model może mieć bilion parametrów i przy każdym tokenie używać tylko niewielkiej ich części. To nie sprzeczność, tylko architektura rzadka.

Na czym polega

Zamiast jednej wielkiej warstwy przetwarzającej każdy token, model zawiera wiele mniejszych podsieci nazywanych ekspertami oraz mechanizm kierujący, który dla każdego tokenu wybiera kilku z nich. Reszta ekspertów przy tym tokenie pozostaje nieaktywna.

Co to daje

Rozdzielenie dwóch liczb, które w klasycznej architekturze były jedną: liczby parametrów, jakie model posiada, i liczby parametrów, jakich używa na jeden token. Model może być pojemny wiedzowo, pozostając stosunkowo tani w obliczeniach.

To dlatego porównywanie modeli po samej liczbie parametrów przestało mieć sens — deklarowany rozmiar nie mówi już, ile pracy kosztuje odpowiedź.

Co to kosztuje

Wszystkie parametry muszą być załadowane do pamięci, nawet te nieużywane przy danym tokenie. Model rzadki jest więc tani obliczeniowo i drogi pamięciowo — co ma bezpośrednie znaczenie przy uruchamianiu lokalnie.

Dochodzi też nierównomierność: jakość potrafi się różnić między dziedzinami, zależnie od tego, jak wyspecjalizowali się poszczególni eksperci podczas treningu.

Dlaczego warto o tym wiedzieć

Większość dużych modeli dostępnych dziś przez API ma taką architekturę. Przy wyborze modelu do uruchomienia u siebie liczba parametrów aktywnych mówi o szybkości, a liczba całkowita o wymaganiach sprzętowych — i obie trzeba sprawdzić osobno.

Powiązane pojęcia

wnioskowanie modeluUżycie wytrenowanego modelu do wygenerowania odpowiedzi, przy zamrożonych wagach. Dzieli się na przetworzenie promptu i sekwencyjne generowanie token po tokenie — stąd różne stawki za tokeny wejściowe i wyjściowe oraz to, że długa odpowiedź kosztuje czasowo więcej niż długi prompt.kwantyzacjaZapisanie wag modelu z mniejszą precyzją liczbową, co zmniejsza zużycie pamięci i przyspiesza obliczenia kosztem dokładności. Umożliwia uruchamianie dużych modeli lokalnie. To nie to samo co destylacja — kwantyzacja zmienia zapis tych samych wag, destylacja tworzy nowy, mniejszy model.transformerArchitektura sieci neuronowej oparta na mechanizmie uwagi, opisana w 2017 roku i stanowiąca podstawę dzisiejszych dużych modeli. Przetwarza całą sekwencję równolegle, co umożliwiło trening na dużą skalę. Wagi są zamrożone po treningu — model nie zapisuje niczego podczas rozmowy.Model bazowyDuży model AI trenowany na ogromnych zbiorach danych służący jako fundament dla szerokiego zakresu zastosowań — przez fine-tuning lub prompting. GPT-4o, Claude, Gemini, Llama to foundation models. AI Act definiuje je jako GPAI z konkretnymi obowiązkami dla dostawców.Lokalny model językowyModel językowy uruchamiany lokalnie — bez zewnętrznego API — zapewniający prywatność danych, działanie offline i przewidywalne koszty. Llama, Mistral, Phi jako popularne modele. Ollama jako de facto standard dla developerów.

Artykuły na webflux.pl

Źródła