Self-Harness: Шанхайская лаборатория ИИ научила агентный каркас самоэволюции — прирост до 104% без смены модели
Shanghai Artificial Intelligence Laboratory
MiniMax
Команда Shanghai AI Lab представила Self-Harness — метод, позволяющий агенту самостоятельно улучшать свой внешний каркас (Harness). В экспериментах на Terminal-Bench-2.0, без замены модели, удалось добиться прироста до 104% (Qwen3.5-35B-A3B). Результат привлёк внимание CEO LangChain и бывшего вице-президента OpenAI.
Исследователи из Shanghai AI Lab разработали Self-Harness — подход, при котором агент сам модифицирует свою внешнюю обвязку (Harness), включающую системные промпты, правила вызова инструментов, валидаторы и политики управления временем выполнения. Процесс состоит из трёх этапов: сначала модель анализирует свои неудачные траектории и выявляет повторяющиеся паттерны отказов (Weakness Mining), затем на основе этих данных формулирует предлагаемые изменения Harness (Harness Proposal) и наконец проверяет их через регрессионное тестирование — изменение принимается, если оно улучшает хотя бы один из сплитов (held-in/held-out) и не ухудшает другой (Proposal Validation). Эксперименты на бенчмарке Terminal-Bench-2.0, при неизменных модели, инструментах и среде, показали: для Qwen3.5-35B-A3B общий прирост составил 104%, для MiniMax M2.5 — 28%, для GLM-5 — 24%. При этом разные модели демонстрировали разные слабости: MiniMax медлил с созданием итогового файла, Qwen зацикливался при ошибках инструментов, а GLM испытывал проблемы с управлением состоянием shell и переходом от исследования к реализации. Self-Harness не допускает произвольных изменений: все правки ограничены заранее объявленной поверхностью редактирования, а каждое изменение проходит регрессионную проверку. Работа привлекла внимание сообщества: её упомянули CEO LangChain Харрисон Чейз и бывший вице-президент OpenAI Лилиан Венг.
Источник: QbitAI 量子位 —
оригинал