Перейти к основному содержимому

Долгосрочная обработка превращает управление контекстом в задачу планирования

Большее окно контекста не устраняет ограничение; оно превращает сборку контекста в решение о планировании: что загружать, когда и какой ценой.

Крупный план серверной стойки с рядами индикаторных огней и аккуратно проложенными кабелями в затемнённом дата-центре.

Ошибочное прочтение

Когда окно контекста модели растёт, инстинктивно хочется считать ограничение решённым. Окно превращается в ведро: положить всё внутрь, пусть модель сама разберётся. Это ошибочное прочтение того, для чего нужно окно. Окно — не замена дисциплине retrieval; это бюджет другой формы.

Внимание к нерелевантной истории не нейтрально. Каждый токен, который присутствует, но не релевантен, конкурирует за вес внимания, и качество решений модели падает по мере снижения отношения сигнала к шуму. Эффект не резкий обрыв; это наклон. Прогон, который был бы корректен при плотном контексте, становится правдоподобно звучащим, но неверным, когда тот же запрос разбавлен посторонними артефактами. Режим отказа тихий: модель всё ещё выдаёт беглый вывод, поэтому деградация видна только при проверке вывода против ground truth.

Планирование контекста

Переформулировка проста: сборка контекста — это задача планирования. Вопрос не в том, «сколько мы можем вместить», а в том, «что нужно текущему шагу и когда это нужно». Планировщик решает, что загружать, когда загружать и что вытеснять. В применении к прогону агента это означает разбиение прогона на фазы, каждая с явным контрактом контекста.

Загружайте только то, что нужно текущему шагу

Шаг должен получать необходимые ему артефакты и ничего больше. На практике это означает, что сборщик контекста — не конкатенатор; это селектор с манифестом. Каждый шаг объявляет свои входы: схему, запрос retrieval, набор предыдущих результатов инструментов, срез плана. Сборщик разрешает эти объявления против хранилища состояния прогона и собирает наименьший контекст, удовлетворяющий контракту.

Конкретный механизм: манифест контекста на шаг с типизированными записями.

Close-up of a microscope objective lens in a laboratory

{
  "step": "reconcile_invoice",
  "requires": [
    {"type": "artefact", "id": "invoice_4417", "max_tokens": 1200},
    {"type": "tool_result", "id": "ledger_lookup", "freshness": "current"},
    {"type": "policy", "id": "ap_policy_v3", "pinned": true}
  ],
  "excludes": ["chat_history_older_than_phase", "raw_pdf_bytes"]
}

Сборщик разрешает этот манифест, усекает артефакты, превышающие их бюджет, и записывает, что он загрузил. Именно запись делает прогон аудируемым: когда шаг выдаёт неверный ответ, первый вопрос — присутствовал ли требуемый артефакт, а не был ли способен модель.

Повышайте и понижайте явно

Длинные прогоны склонны накапливать контекст по умолчанию. Каждая фаза добавляет свой вывод, и окно заполняется собственной историей прогона. Альтернатива — явное повышение и понижение между фазами. На границе фазы прогон записывает артефакт-резюме и понижает сырьё, которое он резюмировал. Следующая фаза начинается с резюме, а не с транскрипта.

Это решение о планировании с ценой. Резюме теряют детали; пониженный артефакт может понадобиться позже, и его повторная выборка стоит вызова инструмента и задержки. Компромисс реален: агрессивное понижение сохраняет контекст плотным, но рискует потерять деталь, которая имела значение. Средство смягчения — не хранить всё; а сделать понижение обратимым. Пониженные артефакты остаются в хранилище прогона, индексированные и доступные для выборки, так что более поздний шаг может повысить их обратно по требованию. Окно содержит рабочий набор; хранилище содержит архив.

Контрольные точки состояния, чтобы длинный прогон мог возобновиться

Долгосрочный прогон, который не может возобновиться, — это долгосрочный прогон, который должен воспроизвести всю свою историю после любого прерывания. Это воспроизведение дорого и, что хуже, заново вносит шум, которого планировщик был построен избегать. Контрольные точки состояния на границах фаз развязывают длительность прогона и размер его контекста.

Контрольная точка должна захватывать достаточно, чтобы возобновиться без транскрипта: план и его текущую позицию, артефакты, произведённые на данный момент (по ссылке, а не по значению), результаты инструментов, которые остаются действительными, и манифест того, что потребил каждый завершённый шаг. При возобновлении планировщик восстанавливает контекст текущего шага из контрольной точки плюс всё, что требует манифест шага. История прогона доступна для Close-up of a white Thai keyboard on a wooden desk showing keys and texturesedia/server-rack-closeup-dark-d40599-0ca2dd.jpg)

Здесь окупается рамка планирования. Без контрольных точек контекст длинного прогона — функция его длины. С контрольными точками контекст — функция контракта текущего шага, а длина становится свойством хранилища, а не окна.

Последствие для оценки

Если контекст планируется, то единица оценки — не одно агрегированное число успеха. Прогон, который успешен на горизонте 5 и терпит неудачу на горизонте 50, — не система с 90%; это система с зависящим от горизонта профилем отказов. Агрегат скрывает форму.

Оценка должна сообщать успех как функцию длины горизонта. Конкретно: определите горизонт в терминах шагов или вызовов инструментов, запустите одно и то же семейство задач на возрастающих горизонтах и сообщите кривую. Где успех держится, где он изгибается и что меняется на изгибе? Кривая, которая плоская, а затем падает на определённом горизонте, указывает на отказ планирования: граница фазы, где требуемый артефакт был понижен, контрольная точка, которая пропустила поле, манифест, который недостаточно специфицировал свои входы.

Это также делает компромиссы видимыми. Более агрессивная политика понижения может улучшить стоимость на шаг, сдвигая изгиб раньше. Более разрешительная политика загрузки может продлить горизонт, повышая расходы. Ни то, ни другое не ошибочно в изоляции; кривая — это то, что говорит вам, какое из них у вас есть.

Та же дисциплина применяется к исходному материалу. Утверждения о долгосрочной способности следует читать как утверждения о кривой, а не о точке. Система, которая сообщает одно число для долгосрочной задачи, сообщает среднее распределения, которое она не охарактеризовала, а интересная часть этого распределения — хвост.

Что это меняет на практике

Рассмотрение контекста как задачи планирования меняет три вещи в кодовой базе агента. Сборщик контекста становится селектором с манифестом, а не конкатенатором. Границы фаз становятся явными точками повышения и понижения, с хранилищем, которое делает понижение обратимым. Состояние прогона становится контрольным точкам, так что возобновление не означает воспроизведение.

Ничто из этого не устраняет ограничение контекста. Это меняет то, что ограничивает ограничение. Вместо ограничения того, насколько длинным может быть прогон, оно ограничивает то, насколько хорошо планировщик сопоставляет контекст шагу. Это более разрешимая проблема, и именно её фактически ставит долгосрочная обработка.

ПоделитьсяXLinkedInПостоянная ссылка5 мин чтения

Связанное чтение

На какие вопросы это отвечает

Does a larger context window remove the need for retrieval discipline?

No. A larger window raises the ceiling on what can be loaded, but attention over irrelevant history still degrades decision quality and increases compute per step. The window changes the budget, not the need to select.

What does it mean to schedule context in an agent run?

It means each step declares a context manifest of the artefacts it needs, the builder resolves that manifest against the run's state store, and phase boundaries promote or demote context explicitly rather than accumulating history.

How should long-horizon agent performance be evaluated?

Report success as a function of horizon length rather than a single aggregate number. The curve shows where performance holds and where it bends, which points at scheduling failures such as demoted artefacts or incomplete checkpoints.

What is the trade-off in aggressive context demotion?

Demotion keeps the working set tight but risks losing detail a later step needs. The mitigation is reversible demotion: demoted artefacts stay indexed in the run's store and can be promoted back on demand.