Odpowiedź może być prawdziwa i jednocześnie zła — jeśli nie wynika z materiału, który agent dostał. To rozróżnienie jest podstawą oceny każdego wdrożenia RAG.
Czym jest wierność
Miara tego, w jakim stopniu odpowiedź opiera się wyłącznie na dostarczonym kontekście, bez uzupełniania jej wiedzą z treningu ani wnioskami wykraczającymi poza materiał. Odpowiedź wierna to taka, której każde twierdzenie da się wskazać w źródle.
Dlaczego to nie to samo co poprawność
Model może podać fakt prawdziwy, którego w dokumencie nie było. W zastosowaniach informacyjnych bywa to nieszkodliwe. W zastosowaniach, gdzie liczy się umocowanie w konkretnym dokumencie — umowach, regulaminach, dokumentacji technicznej, informacji o produkcie — jest to błąd, bo odpowiedź przestaje odzwierciedlać źródło, na które się powołuje.
Odwrotna sytuacja też występuje: odpowiedź wierna wobec kontekstu, ale fałszywa, bo fałszywy był dokument.
Jak się to mierzy
Odpowiedź rozkłada się na pojedyncze twierdzenia i dla każdego sprawdza, czy znajduje potwierdzenie w dostarczonych fragmentach. Sprawdzenie wykonuje zwykle model w roli oceniającego, z dostępem do źródła.
Obok wierności mierzy się zwykle trafność pobranych fragmentów — czy w kontekście w ogóle była odpowiedź. Niska wierność przy dobrym materiale to inny problem niż niska wierność przy złym.
Praktyka
Najprostszym sposobem poprawy jest wymaganie, by odpowiedź wskazywała fragment, na którym się opiera — i sprawdzanie, czy wskazany fragment naprawdę zawiera to twierdzenie.