Kontextové okno a ako s ním hospodáriť
Prečo „viac kontextu" nie je vždy lepšie a ako držať prompty čisté.
Kontextové okno je množstvo textu, ktoré model „vidí” naraz. Aj keď je dnes veľké, neznamená to, že ho treba plniť do posledného tokenu.
Menej býva viac
- Šum rozptyľuje. Nepodstatné dáta zhoršujú kvalitu odpovede.
- Stred sa stráca. Modely si horšie pamätajú informácie v strede dlhého vstupu.
- Náklady rastú. Každý token niečo stojí — v peniazoch aj v latencii.
Ako na to
- Dodaj len relevantné úryvky (viď RAG).
- Dôležité inštrukcie daj na začiatok aj na koniec.
- Zhrň staršiu časť konverzácie namiesto posielania celej histórie.