Alibaba выпускает серию моделей Qwen3 Embedding для создания текстовых эмбеддингов и ранжирования

Alibaba выпустила серию моделей Qwen3 Embedding, предназначенных для задач текстового эмбеддинга, поиска и ранжирования. Модели основаны на языковой модели Qwen3 и используют архитектуры dual-encoder (для эмбеддинга) и cross-encoder (для ранжирования). Серия включает три размера для эмбеддинга (0,6B, 4B, 8B) и три для ранжирования (0,6B, 4B, 8B). Эмбеддинг-модель Qwen3-Embedding-8B занимает первое место в многоязычном лидерборде MTEB (по состоянию на 5 июня 2025 года, score 70,58). Все модели поддерживают длину последовательности до 32K токенов, инструкционную настройку, а эмбеддинг-модели — ещё и настраиваемую размерность выходных векторов (MRL). Обучение проходило в несколько этапов: контрастивное предобучение на слабо размеченных данных, затем supervised fine-tuning на качественных данных и финальное объединение моделей. Для ранжирующих моделей supervised обучение проводилось сразу на качественных данных. Код, веса и технический отчёт опубликованы на GitHub, Hugging Face и ModelScope под лицензией Apache 2.0.