Контроль усилий при рассуждении в LLM: как работают режимы low/medium/high

В статье рассказывается, как современные LLM обучаются рассуждать с разным уровнем усилий (low, medium, high). Основой обучения является reinforcement learning with verifiable rewards (RLVR) — метод, при котором модель получает сигнал вознаграждения (0 или 1) за правильность ответа в таких областях, как математика (проверка через SymPy или WolframAlpha) и код (проверка через компилятор, юнит-тесты или платформы вроде LeetCode). DeepSeek-R1 показал, что одного RLVR достаточно, чтобы модель научилась генерировать промежуточные рассуждения, возвращаться и исправлять себя — так называемые «моменты Aha». Позже появились модели с гибридными подходами, например Qwen3, где переключение режима рассуждения осуществляется через enable_thinking=True/False в токенизаторе: при False добавляется пустой блок <think></think>, и модель сразу выдает ответ. В GPT-5.6 пользователь может выбрать один из шести уровней усилия рассуждения через системный промпт (e.g., "Reasoning effort: low"), что напрямую влияет на длину ответа и точность. Также обсуждается различие между обучением (training scaling) и инференс-масштабированием (inference scaling): дополнительно к обучению с RLVR можно увеличивать вычислительные ресурсы во время инференса, например с помощью self-consistency (метод большинства голосов при множественных запросах).