Без NVLink: Baidu Baige запустила 64B-модель мира на 512 картах
Baidu
Компания Baidu объявила, что её платформа распределённых вычислений Baige (百舸) успешно запустила обучение 64-миллиардной модели мира на 512 ускорителях без использования межсоединения NVLink. Это достигнуто благодаря оптимизации топологии сети и программного обеспечения, что позволяет эффективно масштабировать вычисления, обходя ограничения на количество карт в одном узле NVLink.
Компания Baidu сообщила, что её платформа распределённых вычислений Baige (百舸) успешно запустила обучение 64-миллиардной модели мира (World Model) на 512 графических ускорителях без использования технологии межсоединения NVLink. Обычно для работы с моделями такого размера требуется объединение нескольких узлов через NVLink, однако Baidu удалось обойти это ограничение за счёт оптимизации топологии сети связи между узлами и специального программного обеспечения. Как отмечается в сообщении, такой подход позволяет снизить затраты на инфраструктуру и повысить эффективность масштабирования вычислений. Точные параметры производительности не раскрыты.
Источник: Baidu ERNIE (GNews) —
оригинал