Alibaba Qwen выпустила Qwen2-Audio: голосовой чат и аудиоанализ без ASR

Alibaba Qwen объявила о выпуске Qwen2-Audio — следующей версии аудио-языковой модели Qwen-Audio. Модель способна принимать аудио- и текстовые входы и генерировать текстовые выходы. Ключевая особенность — голосовой чат: пользователи могут отдавать команды голосом без использования модуля ASR. Модель также поддерживает аудиоанализ, включая речь, звуки и музыку, и понимает более 8 языков и диалектов: китайский, английский, кантонский, французский, итальянский, испанский, немецкий и японский. Qwen2-Audio доступна в двух версиях: Qwen2-Audio-7B и Qwen2-Audio-7B-Instruct, веса открыты на Hugging Face и ModelScope. В бенчмарках модель превосходит предыдущие SOTA и Qwen-Audio. Архитектура включает языковую модель Qwen и аудиоэнкодер, на которые последовательно применяются мультизадачный предтренинг, supervised fine-tuning и direct preference optimization. Модель официально поддерживается трансформерами Hugging Face.