ИИ Qwen3.6-27B сжали до 3,9 ГБ: первая 27-миллиардная модель в смартфоне

Стартап PrismML представил Bonsai 27B — сжатые версии открытой модели Qwen3.6-27B, младшая из которых стала первой нейросетью такого класса, поместившейся в память смартфона. Веса выложены на Hugging Face под лицензией Apache 2.0; в демонстрациях модель работает прямо на iPhone 17 Pro Max, рассуждая, вызывая инструменты и анализируя скриншоты без обращения к облаку. В 16-битной точности Qwen3.6-27B занимает около 54 ГБ, 4-битная сборка — 18 ГБ. PrismML выпустила два варианта: троичный (5,9 ГБ, значения {-1, 0, +1}) для ноутбуков и двоичный (3,9 ГБ, {-1, +1}) для смартфонов, с 1,125 бита на вес благодаря общим FP16-множителям на каждую группу из 128 весов. Низкобитное представление применено ко всей сети, без «островков» повышенной точности. iPhone 17 Pro Max имеет 12 ГБ памяти, но приложению доступно не более 6 ГБ; двоичная Bonsai 27B занимает 3,9 ГБ, оставляя место для KV-кэша и активаций. По данным PrismML, троичная версия сохраняет 95% от исходной модели, двоичная — 90%. Математика почти не пострадала (с 95,3 до 93,4 и 91,7), программирование просело умеренно (с 88,7 до 86,0 и 81,9), а агентные задачи — сильнее (с 80,0 до 74,0 и 66,0). Обычные методы квантизации «ломаются» ниже 4 бит; обычная 2-битная сборка Qwen проваливается на длинных бенчмарках (AIME26 — 57,5), тогда как Bonsai хорошо держится при вдвое меньшем размере (3,9 ГБ против 9,4). Сжатые версии сохранили мультимодальность (визуальный энкодер в 4 бита отдельно), контекст 262K токенов и поддержку спекулятивного декодирования. Однако скорость на iPhone 17 Pro Max — лишь 11 токенов/с, что ниже комфортного порога. Релиз критикуют за сырость: LM Studio и Unsloth не поддерживают формат, троичная версия требует фирменных форков, Android пока не поддерживается. CEO PrismML Бабак Хассиби сообщил CNBC, что технологию оценивает Apple, но переговоры на ранней стадии.