Lost in the middle to efekt dokumentowany empirycznie w badaniach nad modelami językowymi: gdy do okna kontekstu trafia długi dokument lub wiele dokumentów, model lepiej radzi sobie z informacją umieszczoną na początku i końcu niż tą w środku.
Nierówna uwaga modelu
Modele językowe nie przetwarzają sekwencji tokenów z równą uwagą. Mechanizm attention ma tendencję do skupiania się na pierwszych i ostatnich elementach sekwencji — środkowe fragmenty długiego kontekstu są obsługiwane gorzej, nawet jeśli zawierają kluczową informację.
Implikacje dla architektury kontekstu
Kolejność, w jakiej układasz informacje w oknie, ma mierzalny wpływ na wynik — nie tylko to, czy informacja w ogóle jest w kontekście. Najważniejsze dane (instrukcja, kluczowy fakt, cel zadania) powinny znaleźć się na początku lub końcu okna — nie w środku długiego bloku tekstu.
Praktyczna zasada
Jeśli nie masz pewności gdzie umieścić ważny fragment — umieść go na początku. Jeśli musisz użyć wielu dokumentów — rozważ ich streszczenie lub selekcję zamiast sekwencyjnego układania w jednym bloku.