Przez lata uruchomienie modelu uczenia maszynowego wymagało serwera, środowiska w Pythonie i rachunku za tokeny. Transformers.js usuwa wszystkie trzy pozycje — kosztem jednorazowego pobrania.
Czym jest Transformers.js
Transformers.js to biblioteka JavaScript rozwijana przez Hugging Face, uruchamiająca modele uczenia maszynowego bezpośrednio w przeglądarce, w Node i w pokrewnych środowiskach. Stanowi warstwę nad środowiskiem uruchomieniowym ONNX: dostarcza tokenizatory, szablony rozmowy, potoki zadaniowe oraz przetwarzanie wstępne i końcowe, a samo liczenie zleca WebGPU albo WASM.
Jak wygląda łańcuch
Model eksportuje się do ONNX i kwantyzuje. Biblioteka pobiera plik i zapisuje go w pamięci podręcznej przeglądarki, więc koszt pobrania ponosi się raz. Inferencję uruchamia się w osobnym wątku roboczym, żeby nie blokować interfejsu.
Do czego się nadaje
Najlepiej do zadań mniejszych niż generowanie tekstu: embeddingi do wyszukiwania semantycznego bez zaplecza, rozpoznawanie mowy, klasyfikacja, rozpoznawanie encji, przeszeregowanie wyników, synteza mowy, usuwanie tła z obrazów. Modele w tych zadaniach ważą od kilkudziesięciu do kilkuset megabajtów i uruchamiają się niemal natychmiast.
Gdzie są granice
Generowanie tekstu przez model kilkumiliardowy działa, ale wymaga pobrania rzędu gigabajta i daje jakość nieporównywalną z modelami serwowanymi przez API. Jako główna funkcja produktu ma sens wtedy, gdy praca offline albo nieopuszczanie urządzenia przez dane są twardym wymogiem.
Co zmienia dla autora strony
Model przestaje być czymś, co dostawca przeglądarki wdraża bez pytania. Staje się czymś, co autor wdraża świadomie: z wybranym wariantem, znaną wersją i pełną kontrolą nad tym, co dokładnie zostaje przetworzone.