Runway, компания, специализирующаяся на генерации изображений и видео с помощью искусственного интеллекта, объявила о запуске своей первой модели мира под названием GWM-1. Эта модель работает на основе покадрового предсказания, создавая симуляцию с пониманием физики и динамики реального мира. GWM-1 позволяет системе рассуждать, планировать и действовать, не требуя обучения на каждом возможном сценарии.
Модель GWM-1 отличается более универсальными возможностями по сравнению с аналогами и предназначена для создания симуляций, которые помогут обучать агентов в различных областях, таких как робототехника и бионауки. По словам технического директора компании, создание этой модели стало возможным благодаря разработке передовой видеомодели, которая учится предсказывать пиксели — подход, позволяющий достичь универсального моделирования.
Runway выпустила несколько специализированных версий модели: GWM-Worlds, GWM-Robotics и GWM-Avatars. GWM-Worlds — это приложение, позволяющее создавать интерактивные проекты с имитацией сцены, основанной на геометрии, физике и освещении. Модель работает с частотой 24 кадра в секунду и разрешением 720p, что делает её полезной как для игр, так и для обучения агентов навигации в физическом мире.
GWM-Robotics использует синтетические данные с параметрами, такими как изменения погодных условий и появление препятствий, что помогает выявлять возможные нарушения инструкций роботами в различных ситуациях.
GWM-Avatars предназначена для создания реалистичных человеческих аватаров, способных имитировать поведение человека, что имеет применение в коммуникациях и обучении.
Кроме того, Runway обновила основную видеомодель Gen 4.5, добавив нативный звук и возможность создания длинных видео с несколькими кадрами. Теперь пользователи могут создавать минутные видео с последовательностью кадров, диалогами и фоновым звуком, а также редактировать аудио и видео любого размера.
Компания планирует объединить все версии модели в единую систему и собирается предоставить GWM-Robotics через SDK. Ведутся активные переговоры с несколькими компаниями в области робототехники и предприятий для внедрения моделей GWM-Robotics и GWM-Avatars.
