Как управлять историей чата и размером контекста
Для обычного Chat Completions приложение передаёт историю в messages. Храните сообщения у себя и собирайте контекст для каждого запроса по задаче. Длинный разговор не нужно бесконечно отправлять целиком, но удаление произвольных частей может нарушить смысл и инструментальный цикл.
Отделите правила от пользовательского текста
Системные правила приложения и сообщения пользователя должны оставаться в своих ролях по выбранному протоколу. Не склеивайте всё в одну строку с подписями «system» и «user»: это меняет структуру запроса.
Сверьте роли и формат с Chat Completions или Messages API. При переходе между протоколами перенос истории требует проверки, даже если видимый текст не изменился.
Уберите повторяющиеся вложения
Проверьте, не отправляет ли приложение один и тот же документ после каждого сообщения повторно. Хранение файла в интерфейсе и его повторное включение в запросы API могут иметь разное поведение. Учитывайте фактическое тело вызова.
Если заменяете старые сообщения кратким резюме, сохраните решения и ограничения, которые понадобятся дальше. Резюме может потерять детали. Для точного поиска по документу лучше передать нужный фрагмент с его источником, чем полагаться на непроверенную память модели.
Сохраните целостность tools
Не оставляйте результат инструмента без сообщения с соответствующим вызовом. Не удаляйте вызов из истории, сохраняя только его вывод. Клиент и API должны видеть связь идентификаторов по контракту протокола.
Сокращайте историю целыми завершёнными частями разговора. Для текущего инструментального шага оставьте сообщения, необходимые для продолжения. Поддержку tools проверьте в каталоге модели.
Измеряйте контекст до дорогой задачи
Размер файла в байтах и число символов не совпадают с количеством токенов. Проверьте лимит контекста модели в каталоге. Для совместимых сценариев сверяйтесь с документацией подсчёта токенов, не считайте оценку одного протокола универсальной для всех моделей.
В задаче нужен запас на ответ. Если запрос не помещается, сокращайте ненужные сообщения и документы, затем повторяйте проверку. Смена ключа не уменьшает контекст.
После изменений сравните ответы на ваших контрольных разговорах: коротком, длинном и инструментальном. В журнале запросов проверьте число вызовов, а условия расчёта сверяйте с руководством. Сокращение контекста должно сохранять решение задачи, а не только уменьшать размер запроса.