Alibaba представила Qwen2-VL: модели видения нового поколения с поддержкой видео, агентов и мультиязычности

Команда Alibaba Qwen анонсировала Qwen2-VL — новое поколение моделей видения на основе языковой модели Qwen2. В сравнении с Qwen-VL модель получила ряд улучшений: понимание изображений любого разрешения и соотношения сторон, способность анализировать видео длительностью более 20 минут, агентские возможности для управления мобильными устройствами и роботами, а также многоязычную поддержку — теперь модель понимает текст на изображениях на большинстве европейских языков, японском, корейском, арабском и вьетнамском. Открыты версии Qwen2-VL-2B и Qwen2-VL-7B (лицензия Apache 2.0), а для 72B доступно API. По результатам тестов 72B превосходит такие закрытые модели, как GPT-4o и Claude 3.5-Sonnet, особенно в понимании документов. Модель улучшила распознавание объектов и рукописного текста, получила способности к визуальному решению математических и кодовых задач, а также поддержку Function Calling для взаимодействия с внешними инструментами. В архитектуре реализована динамическая поддержка разрешений (Naive Dynamic Resolution) и мультимодальное вращательное позиционное кодирование (M-ROPE), разделяющее информацию по времени и пространству. Ограничения: модель не извлекает аудио из видео, знания актуальны до июня 2023, возможны ошибки при сложных инструкциях и слабая точность в задачах счёта и распознавания символов.