wierność wobec kontekstu

Miara tego, w jakim stopniu odpowiedź opiera się wyłącznie na dostarczonym kontekście, bez uzupełniania wiedzą z treningu. Nie to samo co poprawność — odpowiedź może być prawdziwa i niewierna albo wierna i fałszywa. Mierzona przez rozłożenie odpowiedzi na twierdzenia i sprawdzenie każdego wobec źródła.

W Polsce nazywane też:

ugruntowanie odpowiedzioparcie w źródlezgodność z kontekstem

Odpowiedź może być prawdziwa i jednocześnie zła — jeśli nie wynika z materiału, który agent dostał. To rozróżnienie jest podstawą oceny każdego wdrożenia RAG.

Czym jest wierność

Miara tego, w jakim stopniu odpowiedź opiera się wyłącznie na dostarczonym kontekście, bez uzupełniania jej wiedzą z treningu ani wnioskami wykraczającymi poza materiał. Odpowiedź wierna to taka, której każde twierdzenie da się wskazać w źródle.

Dlaczego to nie to samo co poprawność

Model może podać fakt prawdziwy, którego w dokumencie nie było. W zastosowaniach informacyjnych bywa to nieszkodliwe. W zastosowaniach, gdzie liczy się umocowanie w konkretnym dokumencie — umowach, regulaminach, dokumentacji technicznej, informacji o produkcie — jest to błąd, bo odpowiedź przestaje odzwierciedlać źródło, na które się powołuje.

Odwrotna sytuacja też występuje: odpowiedź wierna wobec kontekstu, ale fałszywa, bo fałszywy był dokument.

Jak się to mierzy

Odpowiedź rozkłada się na pojedyncze twierdzenia i dla każdego sprawdza, czy znajduje potwierdzenie w dostarczonych fragmentach. Sprawdzenie wykonuje zwykle model w roli oceniającego, z dostępem do źródła.

Obok wierności mierzy się zwykle trafność pobranych fragmentów — czy w kontekście w ogóle była odpowiedź. Niska wierność przy dobrym materiale to inny problem niż niska wierność przy złym.

Praktyka

Najprostszym sposobem poprawy jest wymaganie, by odpowiedź wskazywała fragment, na którym się opiera — i sprawdzanie, czy wskazany fragment naprawdę zawiera to twierdzenie.

przeszeregowanie wynikówDrugi etap wyszukiwania, w którym model ocenia parę pytanie–dokument widząc oba teksty naraz, zamiast porównywać osobno policzone wektory. Dokładniejszy i wolniejszy, więc stosowany do krótkiej listy kandydatów z etapu pierwszego. Radzi sobie z negacją i niuansami, na których wyszukiwanie wektorowe zawodzi.model jako sędziaUżycie modelu językowego do oceny wyników innego modelu według zadanych kryteriów. Ma znane obciążenia: preferencję pozycji, preferencję długości i łaskawość wobec własnego stylu. Wiarygodne tylko wtedy, gdy oceniający ma dostęp do materiału, wobec którego weryfikuje, i został skalibrowany na ocenach człowieka.halucynacja modeluWygenerowanie treści brzmiącej wiarygodnie, ale niezgodnej z faktami lub kontekstem. Nie jest błędem implementacji — wynika z tego, że model wybiera tokeny według prawdopodobieństwa, nie prawdziwości, i nie ma osobnego sygnału "nie wiem". Ogranicza się ją poza modelem: RAG, walidacja, structured output.ugruntowanieOpieranie odpowiedzi modelu na dostarczonych, konkretnych danych (pobranych lub podanych w kontekście), zamiast na samej wiedzy parametrycznej modelu.Generowanie wspomagane wyszukiwaniemArchitektura systemu AI łącząca model językowy z zewnętrzną bazą wiedzy — model otrzymuje w czasie rzeczywistym fragmenty dokumentów odnalezione przez wyszukiwanie semantyczne i generuje odpowiedź na podstawie aktualnej, specyficznej dla kontekstu wiedzy zamiast polegać wyłącznie na danych treningowych.