Przez dwadzieścia lat strona internetowa nie miała jak policzyć niczego poważnego. Procesor przeglądarki wystarczał do interfejsu i nie do niczego więcej.
Czym jest WebGPU
WebGPU to standard W3C udostępniający stronom internetowym kartę graficzną użytkownika — zarówno do renderowania grafiki, jak i do obliczeń ogólnego przeznaczenia realizowanych przez tak zwane shadery obliczeniowe. Jest następcą WebGL, zaprojektowanym wokół nowoczesnych interfejsów sprzętowych i, w odróżnieniu od poprzednika, nadającym się do zadań niegraficznych.
Dlaczego to zmienia sytuację modeli
Inferencja modelu językowego to w większości mnożenie macierzy, czyli dokładnie ten typ pracy, do którego karta graficzna została zbudowana. Bez dostępu do niej model w przeglądarce działa na procesorze i jest wolniejszy o rząd wielkości.
Z WebGPU model kilkumiliardowy w niskiej precyzji działa na przeciętnym laptopie na tyle sprawnie, żeby nadawał się do zadań praktycznych — streszczania, klasyfikacji, wyszukiwania semantycznego.
Co z tego wynika dla stron
Inferencja przestaje wymagać serwera. Dane nie opuszczają urządzenia, koszt tokenu wynosi zero, a funkcja działa bez połączenia z siecią.
Cena jest inna: użytkownik musi raz pobrać model, co przy wariantach użytecznych oznacza setki megabajtów, a przy większych — gigabajty.
Ograniczenia
Wsparcie przeglądarek różni się między systemami operacyjnymi i wersjami, więc wykrycie obecności interfejsu i ścieżka zapasowa są obowiązkowe. Pamięć karty jest wspólna z resztą systemu, a dłuższa praca na urządzeniu mobilnym prowadzi do ograniczania wydajności z powodu temperatury.