Контекстное окно
Также: context window, окно контекста, контекст
Максимальный объём текста (в токенах), который модель «держит в голове» за один раз.
Контекстное окно — это лимит на то, сколько токенов модель может учитывать одновременно: ваш запрос, историю диалога, приложенные файлы и свой ответ. Всё это должно поместиться в окно.
Размер окна у моделей разный — от тысяч до миллионов токенов. Чем больше окно, тем больше кода или документов можно подать за раз, но тем дороже запрос.
Когда диалог упирается в лимит, модель «забывает» начало. Поэтому в длинных задачах важно подавать только нужный контекст, а не всё подряд.
Связанные термины
Токен
Кусочек текста (часто часть слова), которыми модель измеряет вход и выход — и по которым считается оплата.
Большая языковая модель (LLM)
Нейросеть, обученная на огромных объёмах текста, которая предсказывает следующее слово и так генерирует ответы.
RAG (генерация с поиском)
Подход, когда модель перед ответом подтягивает нужные документы и отвечает на их основе.