NVIDIA выпустила Cosmos 3 Edge — компактную модель с 4 млрд параметров для роботов и ИИ-агентов, работающую на устройстве
NVIDIA
NVIDIA представила Cosmos 3 Edge — открытую модель мира с 4 млрд параметров, разработанную для работы на устройстве. Модель помогает роботам и агентам компьютерного зрения понимать окружение, рассуждать в реальном времени и генерировать действия локально. Она использует гибридную архитектуру Mixture-of-Transformers с двумя башнями и поддерживает общее представление действий для разных робототехнических платформ.
NVIDIA выпустила Cosmos 3 Edge — открытую модель мира с 4 миллиардами параметров, предназначенную для работы непосредственно на устройстве. Она призвана помочь роботам и ИИ-агентам, работающим на граничных устройствах в условиях ограниченной памяти — на заводах, складах и в больницах, — обеспечивая производительность уровня дата-центра. Модель использует архитектуру Mixture-of-Transformers, состоящую из двух башен: авторегрессионная башня обрабатывает токены зрения и текста для понимания и рассуждения, а диффузионная башня обрабатывает токены зрения, аудио и действий для прогнозирования, генерации и нейронной симуляции. Башни разделяют нормализацию и MLP, но имеют общие слои мультимодального внимания, что позволяет согласовывать информацию между языком, видео, аудио и действиями. Cosmos 3 Edge использует плотный трансформер с 2 млрд параметров для рассуждения и поддерживает соглашения сообщений, совместимые с Qwen3-VL, для ввода изображений и видео. Действия различных физических систем (автомобили, камеры, руки роботов, манипуляторы) отображаются в общее компактное геометрическое представление, включающее трансляцию, вращение и состояние манипуляции. Модель способна предсказывать действие вместе с ожидаемым визуальным результатом, а также выводить действие по его эффекту. NVIDIA также выпустила Cosmos 3 Edge Policy (DROID) — политику манипуляции, дообученную на наборе данных DROID для задач pick-and-place, с включёнными скриптами дообучения. Для развёртывания модель нацелена на NVIDIA RTX PRO GPU, DGX, GeForce RTX GPU и Jetson (включая новые модули Jetson T2000 и T3000). На Jetson Thor она достигает разрешения управления 640×360, 32 действия за вывод и частоту 15 Гц в реальном времени. Для генерации поддерживаются разрешения 256p и 480p с частотой 12–30 кадров/с и длительностью 50–150 кадров. Разработчики могут дообучить модель под конкретное воплощение и набор датчиков примерно за день, используя открытый фреймворк Cosmos.
- Сокращения
- GPU = Graphics Processing Unit — графический процессор
- MLP = Multilayer Perceptron — многослойный перцептрон
- RTX = Ray Tracing Texel eXtreme — линейка графических процессоров NVIDIA с поддержкой трассировки лучей (собственное название, без устоявшейся русской расшифровки)
Источник: MarkTechPost —
оригинал