Контекстное окно
Контекстное окно — это максимальный объём текста, который языковая модель способна учитывать одновременно в рамках одного сеанса. В него входит всё: ваши сообщения, ответы модели, а если подключены документы или дополнительные инструкции — то и они. Пока переписка умещается в это «окно», модель видит всю историю диалога и может отвечать с учётом того, что говорилось раньше. Как только суммарный объём начинает превышать лимит, модель перестаёт «видеть» то, что вышло за его пределы — как правило, это начало разговора.
На практике это проявляется незаметно: модель не сообщает «я больше не помню начало». Она просто начинает отвечать без учёта деталей, которые вы упоминали раньше. Если в самом начале длинного диалога вы объяснили, для кого пишете, задали тон или обозначили ограничения — через несколько десятков обменов всё это может выйти за пределы окна. Ответы остаются связными по форме, но теряют учёт той информации, которую вы давали в начале. Именно это ощущение «модель как будто не помнит» — сигнал, что контекстное окно заполнено.
Из этого вытекает простой практический вывод: в длинных рабочих сессиях не стоит рассчитывать, что модель сама удержит все ключевые детали. Если диалог затягивается, лучше периодически напоминать важные параметры задачи — кратко, в одном сообщении. Либо начать новый чат и сразу дать нужный контекст: иногда это быстрее, чем продолжать разговор, в котором нужные детали уже вышли за границу окна. Это не недостаток конкретной модели — структурное свойство любой языковой системы, в которую встроен лимит на объём удерживаемого текста.
Размер контекстного окна у разных моделей и сервисов различается существенно. Измеряется оно в токенах — единицах, которыми модель внутри себя считает текст; один токен примерно соответствует 3–4 символам русского текста, подробнее про это — в справке про токены. На практике разница в размере окна важна тогда, когда вы работаете с большими документами или ведёте очень длинные диалоги. Для большинства повседневных задач — написать письмо, переформулировать абзац, ответить на вопрос — размер окна не играет роли: объём запроса слишком мал, чтобы упереться в лимит.