Słownik Webflux Agentic Web
TODO: Ewaluacja agentów

strategia próbkowania

Strategia doboru próbki konwersacji do oceny jakościowej w produkcji, zamiast oceniania całego ruchu. Łączy próbkowanie losowe (puls) z celowanym (przypadki wysokiego ryzyka).

W Polsce nazywane też:

strategia próbkowaniadobór próbki

Przepuszczanie każdej produkcyjnej rozmowy przez sędziego LLM podwaja koszt każdej rozmowy. Dlatego nie oceniasz wszystkiego — próbkujesz, i to mądrze.

Czym jest sampling strategy

Sampling strategy to strategia doboru próbki konwersacji do oceny jakościowej w produkcji. Zamiast oceniać 100% ruchu (drogo i zbędnie), wybierasz reprezentatywny i celowany wycinek, który daje obraz jakości bez kosztu oceny wszystkiego.

Dwa rodzaje próbkowania

– Losowe — stały procent ruchu (np. 10%), żeby mieć reprezentatywny, ciągły puls ogólnej jakości,
– Celowane — 100% przypadków wysokiego ryzyka i niepewności: eskalacje, rozmowy o niskiej efektywności trajektorii, akcje nieodwracalne, nowe kategorie pytań.

Reguła

Losowe próbkowanie mówi „jak jest średnio”, celowane mówi „gdzie jest najgorzej”. Potrzebujesz obu — pierwsze wykrywa ogólny trend, drugie skupia ocenę tam, gdzie błąd kosztuje najwięcej.

Powiązane pojęcia

cicha regresjaNiewidoczna degradacja jakości agenta spowodowana cichą zmianą modelu przez providera, bez powiadomienia. Nie wywołuje jej żadna Twoja zmiana, więc nie złapie jej ewaluacja przed deployem.Ewaluacja agentaSystematyczny proces mierzenia jakości agenta AI — przez zestawy testowe, metryki (task completion, tool call accuracy, faithfulness) i powtarzalne uruchomienia statystyczne — pozwalający wykryć regresje przy zmianach i porównywać konfiguracje. LLM-as-judge jako popularny wzorzec.Obserwowalność agentówMonitorowanie agentów AI w produkcji — strukturalne logowanie kroków agent loop, metryki (latency, token cost, error rate) i narzędzia do debugowania konwersacji. Trzy poziomy: tracing, metryki, alerty. Token cost observability jako kluczowa dla kontroli kosztów.

Artykuły na webflux.pl