Ocenianie odpowiedzi agenta ręcznie nie skaluje się dalej niż do kilkudziesięciu przypadków. Model w roli oceniającego skaluje się dowolnie — pod warunkiem, że wiadomo, czego mu nie wolno powierzyć.
Czym jest
Użycie modelu językowego do oceny wyników innego modelu według zadanego kryterium. Oceniający dostaje odpowiedź, kryteria oceny, a najlepiej także materiał źródłowy, i zwraca werdykt wraz z uzasadnieniem.
Znane obciążenia
Metoda ma udokumentowane skłonności, które trzeba uwzględnić w projekcie oceny.
Preferencja pozycji: przy porównywaniu dwóch odpowiedzi kolejność prezentacji wpływa na wynik. Obejściem jest ocenianie obu kolejności i uśrednianie.
Preferencja długości: odpowiedzi dłuższe bywają oceniane wyżej niezależnie od jakości — to ten sam mechanizm, który podczas treningu premiował rozwlekłość.
Preferencja własnego stylu: model bywa łaskawszy dla tekstów wygenerowanych przez siebie lub przez modele z tej samej rodziny. Stąd zalecenie, by oceniającym był model innego dostawcy niż oceniany.
Warunek sensowności
Ocena jest wiarygodna, gdy oceniający ma dostęp do czegoś, wobec czego weryfikuje — dokumentu źródłowego, oczekiwanej odpowiedzi, definicji poprawności. Bez tego mamy drugi model zgadujący i oceniający zgadywanie pierwszego.
Praktyka
Oceniającego trzeba skalibrować na zestawie przypadków ocenionych przez człowieka i sprawdzać tę zgodność okresowo. Ocena wielostopniowa bywa mniej stabilna niż binarna — przy prostych kryteriach warto pytać o „tak lub nie”, a nie o notę.