Контекстная инженерия: как управлять контекстом AI-агентов и не дать им запутаться

Контекстная инженерия — это набор стратегий для сбора и поддержания оптимального набора токенов при работе LLM. Anthropic определяет хороший контекст как минимальный набор полезных токенов, повышающих шанс получить нужный результат. В отличие от промпт-инжиниринга, который отвечает только за инструкцию, контекстная инженерия управляет всем, что модель получает вместе с инструкцией: системными промптами, историей сообщений, документами из RAG, описаниями инструментов, результатами вызовов и данными из памяти. RAG добавляет внешние знания, MCP стандартизирует подключение к данным и инструментам, а контекстная инженерия решает, как всё это собрать в контекст для следующего шага агента. Контекст LLM-агента состоит из нескольких слоёв: пользовательский запрос, системный промпт, tools, few-shot примеры, данные из RAG, история сообщений и tool calls, память и текущее состояние. При увеличении используемого контекста качество ответов может снижаться, как показало исследование Chroma на 18 моделях. Дрю Брейниг выделяет четыре типичных сбоя контекста: context poisoning (ошибка попадает в контекст и повторяется), context distraction (нужная информация теряется среди старой истории), context confusion (модель путается из-за похожих инструментов или документов) и context clash (противоречия между частями контекста). Для решения этих проблем LangChain предлагает подход из четырёх действий: write (сохранять важное во внешнее состояние), select (выбирать релевантные части), compress (сжимать контекст) и isolate (выносить часть информации в отдельный контекст).