koszt kumulacyjny pętli

Sumaryczny koszt zadania agentowego, wynikający z tego, że przy każdym obrocie pętli cały rosnący kontekst jest wysyłany do modelu od nowa. Nie jest iloczynem liczby kroków i kosztu wywołania, lecz sumą rosnącego ciągu — dziesięć kroków potrafi kosztować kilkukrotnie więcej, niż sugeruje intuicja.

W Polsce nazywane też:

narastanie kontekstukoszt przebiegu agentakumulacja tokenów

Agent, który w testach na trzech krokach kosztował grosze, na produkcji przy dwunastu potrafi kosztować wielokrotnie więcej, niż wynikałoby z liczby wywołań. To nie anomalia — to arytmetyka pętli.

Na czym polega

Przy każdym obrocie pętla wysyła do modelu cały dotychczasowy kontekst: instrukcje, definicje narzędzi, historię kroków i wszystkie zebrane wyniki. Kontekst rośnie z każdym obrotem, więc rośnie także koszt każdego kolejnego wywołania. Sumaryczny koszt zadania nie jest iloczynem liczby kroków i kosztu jednego wywołania — jest sumą rosnącego ciągu.

Przykład rachunkowy

Instrukcje i definicje narzędzi zajmują tysiąc tokenów, każdy krok dokłada pięćset. Pierwszy obrót wysyła półtora tysiąca, drugi dwa tysiące, dziesiąty sześć tysięcy. Suma tokenów wejściowych za całe zadanie to około trzydziestu siedmiu tysięcy — mniej więcej dwudziestopięciokrotność pojedynczego zapytania przy dziesięciokrotnej liczbie wywołań.

Co ten koszt napędza najbardziej

Nie liczba kroków, lecz wielkość wyników narzędzi. Jednorazowo obszerna odpowiedź — pięćdziesiąt rekordów zamiast trzech pól — podnosi koszt wszystkich kolejnych obrotów, bo od tego momentu jest wysyłana ponownie przy każdym wywołaniu. To najtańsza do naprawienia i najczęściej pomijana pozycja w rachunku.

Co realnie obniża

Przycinanie wyników narzędzi do tego, co potrzebne. Cache promptu, czyli utrzymanie stałego początku sekwencji bez żadnych zmiennych elementów. Kompakcja historii przy długich przebiegach. Oraz limit budżetu jako warunek zakończenia, który zatrzyma przebieg, zanim rachunek wymknie się spod kontroli.

Powiązane pojęcia

warunek zakończeniaReguła w kodzie pętli rozstrzygająca, czy wykonać kolejny obrót, czy zwrócić wynik. Występuje w czterech wariantach: naturalny, limit kroków, limit budżetu i limit czasu. Sam warunek naturalny nie wystarcza — model potrafi prosić o narzędzia w nieskończoność.pamięć podręczna klucz-wartośćPamięć podręczna przechowująca pośrednie reprezentacje dotychczasowych tokenów, dzięki której generowanie kolejnego tokenu nie wymaga przeliczania całej sekwencji. Rośnie liniowo z długością kontekstu i liczbą sesji — to główny konsument pamięci przy inference. Podstawa mechanizmu cache promptu.kompakcja kontekstuZwięzłe zastępowanie starszej historii agenta jej streszczeniem, by utrzymać roboczą warstwę okna w skończonym rozmiarze przy długich przebiegach.Koszt tokenówKoszt operacji modelu językowego mierzony w tokenach — funkcja rozmiaru kontekstu, długości outputu i ceny modelu. Kluczowa metryka projektowa dla agentów w skali. Context window bloat jako główny winowajca wysokich kosztów. Model routing i prompt caching jako strategie optymalizacji.Pętla agentaPodstawowy cykl działania autonomicznego agenta AI — powtarzająca się sekwencja percepcji, planowania, akcji i oceny wyniku — która kontynuuje się aż agent osiągnie cel lub zostanie zatrzymany. Fundament architektoniczny każdego agenta który działa wielokrokowo.