przeciążenie narzędziami

Spadek trafności wyboru narzędzia wraz ze wzrostem liczby dostępnych narzędzi, połączony ze wzrostem kosztu każdego obrotu pętli. Wynika z tego, że wszystkie definicje trafiają do kontekstu przy każdym wywołaniu i konkurują ze sobą. Remedium: ładowanie warunkowe, grupowanie i rozdzielenie ról.

W Polsce nazywane też:

zbyt wiele narzędzirozrost katalogu narzędziładowanie warunkowe narzędzi

Dodanie kolejnego narzędzia wygląda na czynność bezkosztową. Nie jest — pogarsza trafność wyboru wszystkich pozostałych i podnosi cenę każdego obrotu pętli.

Na czym polega problem

Wszystkie definicje narzędzi trafiają do kontekstu przy każdym wywołaniu modelu. Wraz z ich liczbą rośnie długość kontekstu, rośnie liczba kandydatów do wyboru i rośnie prawdopodobieństwo pomyłki między narzędziami o zbliżonym opisie. Model nie przegląda listy metodycznie — waży wszystko naraz, więc podobne opisy realnie ze sobą konkurują.

Dwa koszty naraz

Koszt jakościowy: spada trafność wyboru, zwłaszcza przy narzędziach pokrewnych. Koszt finansowy: definicje są wysyłane w każdym obrocie, więc mnożą się przez liczbę kroków — dwadzieścia rozbudowanych schematów potrafi zająć więcej miejsca niż samo zadanie.

Co z tym robić

Ładowanie warunkowe: udostępniać modelowi tylko narzędzia istotne dla bieżącego etapu zadania zamiast całego katalogu.

Grupowanie: zamiast pięciu wariantów wyszukiwania jedno narzędzie z parametrem określającym zakres.

Rozdzielenie ról: przy dużej liczbie narzędzi rozważyć podział zadania między wyspecjalizowane role, z których każda widzi tylko swój wycinek.

Łączenie kroków: jeśli dwa narzędzia zawsze są wywoływane po sobie, warto rozważyć jedno narzędzie wykonujące obie czynności.

Ile to jest za dużo

Nie ma progu uniwersalnego — zależy od tego, jak bardzo narzędzia są do siebie podobne i jak długie są ich opisy. Miarą właściwą nie jest liczba, lecz trafność wyboru mierzona na własnym zestawie zapytań przed dodaniem narzędzia i po nim.

Powiązane pojęcia

koszt kumulacyjny pętliSumaryczny koszt zadania agentowego, wynikający z tego, że przy każdym obrocie pętli cały rosnący kontekst jest wysyłany do modelu od nowa. Nie jest iloczynem liczby kroków i kosztu wywołania, lecz sumą rosnącego ciągu — dziesięć kroków potrafi kosztować kilkukrotnie więcej, niż sugeruje intuicja.definicja narzędziaOpis narzędzia przekazywany modelowi: nazwa, opis słowny, schemat parametrów i pola wymagane. To jedyne, co model o narzędziu wie — więc opis jest promptem i decyduje o trafności wyboru. Trafia do kontekstu przy każdym obrocie pętli, więc jest też stałą pozycją w rachunku.planer i wykonawcaWzorzec rozdzielający w pętli rolę planowania od roli wykonania, z możliwością użycia różnych modeli i ustawień dla każdej z nich. Planowanie zyskuje na modelu rozumującym, wykonanie na szybkim i niskolosowym. To nie to samo co system wieloagentowy — tu jest jedna pętla, jeden stan i jeden warunek zakończenia.Używanie narzędzi przez AIZdolność modelu językowego do wywoływania zewnętrznych funkcji, API i serwisów w trakcie generowania odpowiedzi — model sięga po narzędzia żeby zebrać aktualne dane lub wykonać akcję zamiast odpowiadać wyłącznie z wiedzy treningowej. Fundament który odróżnia agenta od chatbota.Protokół kontekstu modeluOtwarty standard Anthropic umożliwiający agentom AI łączenie się z zewnętrznymi narzędziami, bazami danych i API w ustandaryzowany sposób — jak USB dla modeli językowych.