Все новости

Runway открыла веса и код Praxis-1 — видеомодель научили управлять роботами

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Открытая модель переносит знание движения из обычного видео в управление роботом, давая исследователям готовую основу вместо набора данных с нуля.

Runway опубликовала Praxis-1 под Apache 2.0: модель получает кадры камеры, текстовую команду и положение робота, предсказывает изменение сцены и на каждом новом кадре корректирует движение. В собственных тестах компании она набрала 46,2% успеха на 120 симуляционных задачах RoboLab-120 против 42,9% у FLUX 3 Action, а на реальном манипуляторе Franka выполнила 88 из 100 попыток против 80 у FLUX 3 Action; эти результаты независимо не проверялись. Для адаптации к Franka использовали около 277 часов DROID, для двурукого робота — от 1400 до 2600 часов записей. Базовой модели требуется GPU с 80 ГБ памяти и дообучение под новый робот; она путает похожие предметы и пока не планирует длинные последовательности действий без разбиения на шаги.

Источники 1

История

Разработка робототехнической модели Runway Praxis-1

2 события
  1. Runway открыла веса и код Praxis-1 — видеомодель научили управлять роботамиОткрыто сейчас
  2. Runway показала Praxis-1: открытую модель, которая управляет разными роботами без переобучения