Słownik Webflux Agentic Web
TODO: Ewaluacja agentów

ewaluacja trajektorii

Ocena całej sekwencji kroków agenta — planów, wywołań narzędzi, interpretacji i decyzji — a nie tylko końcowej odpowiedzi. Łapie agenta, który dał dobry wynik złą drogą.

W Polsce nazywane też:

ocena trajektoriiewaluacja ścieżki agenta

Agent dał dobrą odpowiedź — ale czy doszedł do niej właściwą drogą? Ewaluacja trajektorii to pytanie, którego sam wynik końcowy nie zadaje.

Czym jest ewaluacja trajektorii

Ewaluacja trajektorii to ocena całej sekwencji kroków agenta — planów, wywołań narzędzi z parametrami, interpretacji wyników i decyzji o następnym kroku — a nie tylko końcowej odpowiedzi. Trajektoria to ślad, który agent zostawia, przechodząc przez pętlę ReAct od zadania do wyniku.

Dlaczego wynik to za mało

Agent może osiągnąć dobry wynik złą drogą: zgadnąć parametr narzędzia, który przypadkiem zadziałał; wykonać osiem kroków tam, gdzie wystarczały trzy; albo zapętlić się i mimo to trafić. We wszystkich tych przypadkach metryka task completion pokazuje sukces, a agent jest faktycznie kruchy — przy pierwszym odchyleniu od testowanego scenariusza zawiedzie.

Trzy wymiary oceny

– Trafność kroków — czy agent szedł właściwą ścieżką (porównanie z oczekiwaną trajektorią),
– Efektywność — stosunek kroków wykonanych do minimalnych; poniżej 0,5 to sygnał ostrzegawczy,
– Jakość parametrów — czy agent wydedukował parametry narzędzi z kontekstu, czy je zgadł lub zhalucynował.

Warunek konieczny

Ewaluacja trajektorii jest niemożliwa bez logowania kroków pośrednich. Standardowe logowanie input → output wystarcza do task completion, ale nie do oceny drogi. Trzeba zapisywać każdy obrót pętli.

Powiązane pojęcia

zestaw referencyjnyReferencyjny zestaw testów z oczekiwanymi odpowiedziami i kryteriami sukcesu, służący jako baseline jakości agenta. Uruchamiany przed i po zmianie, by wykryć poprawę lub regresję.Ewaluacja agentaSystematyczny proces mierzenia jakości agenta AI — przez zestawy testowe, metryki (task completion, tool call accuracy, faithfulness) i powtarzalne uruchomienia statystyczne — pozwalający wykryć regresje przy zmianach i porównywać konfiguracje. LLM-as-judge jako popularny wzorzec.Obserwowalność agentówMonitorowanie agentów AI w produkcji — strukturalne logowanie kroków agent loop, metryki (latency, token cost, error rate) i narzędzia do debugowania konwersacji. Trzy poziomy: tracing, metryki, alerty. Token cost observability jako kluczowa dla kontroli kosztów.Łańcuch myśleniaTechnika promptowania w której model generuje explicite kroki wnioskowania przed odpowiedzią — znacząco poprawiająca jakość przy zadaniach wieloetapowych. Zero-shot CoT: "Myślmy krok po kroku". W agentach: ReAct łączy CoT z agent loop.Używanie narzędzi przez AIZdolność modelu językowego do wywoływania zewnętrznych funkcji, API i serwisów w trakcie generowania odpowiedzi — model sięga po narzędzia żeby zebrać aktualne dane lub wykonać akcję zamiast odpowiadać wyłącznie z wiedzy treningowej. Fundament który odróżnia agenta od chatbota.

Artykuły na webflux.pl