Dostawca ma do rozwiązania problem układania klocków: obciążenie jest nierówne w ciągu doby, a karty muszą się zwracać przez całą dobę. Tryb wsadowy jest odpowiedzią na ten problem i dlatego jest tańszy.
Czym jest tryb wsadowy
Tryb wsadowy to osobny sposób wywołania modelu, w którym zgłaszasz zestaw zadań bez oczekiwania na natychmiastową odpowiedź, a dostawca realizuje je w oknie czasowym liczonym w godzinach, w zamian obniżając stawkę za token.
Dlaczego jest tańszy
Żądanie interaktywne wymaga, żeby w partii było dla ciebie miejsce w momencie, w którym piszesz. Żądanie wsadowe nie wymaga niczego — dostawca dołoży je wtedy, gdy partia i tak byłaby niepełna.
Nie płacisz więc mniej za gorszy model ani za gorszą jakość. Płacisz mniej za to, że pozwalasz ułożyć klocki wygodnie.
Kiedy ma sens
Wszędzie tam, gdzie nikt nie patrzy na ekran: wzbogacanie bazy danych, generowanie opisów, klasyfikacja zaległych rekordów, przetwarzanie archiwum, ewaluacja na dużym zbiorze testowym.
Kiedy nie ma sensu
Wszędzie tam, gdzie wynik jednego wywołania jest wejściem następnego. Pętla agenta z natury nie znosi odroczenia — każdy krok czeka na poprzedni, więc okno liczone w godzinach zamienia zadanie na kilkanaście minut w zadanie na kilka dni.
Czego się spodziewać
Deklarowane okno realizacji jest górną granicą, nie obietnicą. W godzinach niskiego obciążenia zadania wsadowe bywają realizowane w kilkanaście minut, w szczycie potrafią zająć całe okno. Przy planowaniu przyjmuj wartość deklarowaną, nie obserwowaną.
