Alibaba Qwen выпустила Qwen2.5-Math — лучшие открытые математические языковые модели
Alibaba/Qwen
Китайская компания Alibaba (Qwen) представила серию специализированных математических моделей Qwen2.5-Math. Модели поддерживают решение задач на китайском и английском языках с помощью цепочки рассуждений (CoT) и инструментального вывода (TIR). Флагманская Qwen2.5-Math-72B-Instruct превосходит по математическим показателям GPT-4o, Gemini Math 1.5 Pro и другие модели.
Alibaba Qwen анонсировала Qwen2.5-Math — новое семейство математических больших языковых моделей, включающее базовые модели 1.5B, 7B и 72B параметров, их инструктивные версии, а также математическую модель вознаграждения Qwen2.5-Math-RM-72B. В отличие от предшественника Qwen2-Math, новые модели поддерживают решение задач не только на английском, но и на китайском языке, используя как цепочку рассуждений (CoT), так и интегрированный вывод с инструментами (TIR) — например, вызов Python-интерпретатора для вычислений. Для предобучения использован корпус Qwen Math Corpus v2 объёмом более 1 триллиона токенов. На бенчмарке MATH модель Qwen2.5-Math-72B-Instruct в режиме TIR с RM@8 набрала 92,9 балла. На сложной олимпиадной подборке AIME 2024 модель решила 12 из 30 задач в режиме TIR, тогда как Claude3 Opus, GPT-4 Turbo и Gemini 1.5 Pro — лишь 1–2. Модели 1.5B и 7B также показывают высокие результаты: 1.5B версия с Python-интерпретатором решает около 80% задач MATH, а 7B с RM решает до 21 задачи AIME 2024. Qwen2.5-Math-7B-Instruct превышает производительность Qwen2-Math-72B-Instruct в среднем на 4,7 балла по семи задачам. Все модели доступны на GitHub, Hugging Face и ModelScope.
- Сокращения
- CoT = Chain-of-Thought — цепочка рассуждений
- TIR = Tool-integrated Reasoning — интегрированный вывод с инструментами
- RM = Reward Model — модель вознаграждения
- GRPO = Group Relative Policy Optimization — групповая относительная оптимизация политики
- SFT = Supervised Fine-Tuning — обучение с учителем
- RL = Reinforcement Learning — обучение с подкреплением
Источник: Alibaba Qwen —
оригинал