NVIDIA открыла четыре модели Cosmos 3 для интерактивной симуляции роботов и вождения
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Исследователи получили открытую основу для симуляторов, где действие робота или автомобиля меняет следующее наблюдение, а не просто для генерации заранее записанного видео.
Все чекпоинты Cosmos 3 Nano содержат 16 млрд обучаемых параметров и распространяются по лицензии OpenMDW 1.1. Transfer-Auto генерирует синхронные данные до 11 камер и LiDAR с управлением погодой, освещением и дорожной сценой; Sim-Auto превращает их в потоковые наблюдения для интерактивных сценариев вождения. Sim-Transfer создаёт фотореалистичное видео из пространственных контролей физического симулятора, а Sim-Bimanual предсказывает следующие кадры по действиям двурукого робота или камеры. NVIDIA публикует также рецепты дообучения на собственных сенсорах и роботах. Компания отдельно отмечает, что способность таких симуляций достоверно обучать и оценивать политики ещё предстоит измерять.
Источники 1