Surowy dump z API to nie kontekst. To materiał, z którego dopiero trzeba kontekst zrobić. Cztery poprzednie wpisy odpowiadały na pytanie „co i ile” wrzucić do okna. Został ostatni wymiar: w jakiej formie. Bo nawet trafnie dobrany fragment, podany w złym...
Jeden dobry przykład mówi modelowi więcej niż akapit instrukcji. Pięć złych — zjada budżet i uczy nie tego. Z pięciu warstw okna została nam ostatnia: przykłady. Few-shot, czyli pokazanie modelowi kilku wzorców „o, takiej odpowiedzi oczekuję” zamiast opisywania...
Retrieval pobierzesz na nowo. Historię własnych kroków agent ma tylko raz. W poprzednim wpisie ustaliliśmy, że wiedzę z zewnątrz najlepiej pobierać na żądanie — bo zawsze możesz sięgnąć po nią ponownie. Ale jest część kontekstu, która tej własności nie ma. To historia...
Okno to nie jeden tekst. To pięć warstw walczących o to samo miejsce. W poprzednim wpisie ustaliliśmy, że okno kontekstu jest budżetem, nie workiem. Zostało pytanie, które każdy buduje sobie sam przy pierwszym agencie: skoro budżet jest skończony — co konkretnie do...
Wrzuciłeś modelowi wszystko, co masz. I właśnie dlatego przestał trafiać. Jest taki moment przy budowie pierwszego agenta, w którym wydaje się, że problem rozwiąże więcej kontekstu. Agent się myli? Dodaj mu całą historię rozmowy. Dalej się myli? Dorzuć dokumentację....
