Ускорение моделей Gemini Nano на Pixel с помощью замороженного Multi-Token Prediction

Команда Google Research объявила о новом методе ретрофитинга Multi-Token Prediction (MTP) для замороженных производственных моделей, что позволяет ускорить инференс на устройстве без неэффективности отдельных драфтеров. Обычные языковые модели генерируют текст авторегрессивно — по одному токену за раз, что создаёт узкое место и неэффективно использует память и энергию мобильных устройств. Предложенное решение дорабатывает существующую модель Gemini Nano v3: её веса замораживаются, а к финальным слоям добавляется лёгкая трансформерная голова MTP, которая обучается только предсказывать будущие токены. Это гарантирует, что финальный вывод бит-в-бит идентичен исходной модели, а эффективность повышается без ухудшения качества или безопасности. Ключевое нововведение — zero-copy архитектура: голова MTP кросс-вниманием обращается к уже вычисленному KV-кешу основной модели, не поддерживая собственный, что экономит 130 МБ памяти на экземпляр по сравнению со стандартным драфтером. В экспериментах на Pixel 9 MTP даёт ускорение на 50% и более для задач AI Notification Summaries и Proofread, предсказывая в среднем почти на два дополнительных токена за проход инференса, что также снижает энергопотребление. Метод уже развёрнут на устройствах Pixel 9 и 10, и в будущем планируется исследовать параллельное декодирование и другие подходы для дальнейшего уменьшения задержек.