Компания Nvidia анонсировала новые модели искусственного интеллекта, библиотеки и инфраструктуру, предназначенные для разработчиков робототехники. Главным новшеством стал Cosmos Reason — модель с 7 миллиардами параметров, которая сочетает визуальное и языковое понимание для задач, связанных с физическими приложениями и роботами.
В дополнение к уже существующим моделям Cosmos, появились Cosmos Transfer-2, способствующие ускорению генерации синтетических данных из 3D-сцен и пространственных управляющих сигналов, а также облегчённая версия Cosmos Transfers, оптимизированная для высокой скорости работы.
Представленные модели предназначены для создания синтетических наборов данных на основе текста, изображений и видео, которые могут использоваться для обучения роботов и ИИ-агентов. Cosmos Reason отличается способностью к «рассуждению» благодаря встроенной памяти и пониманию физики, что позволяет использовать её для планирования действий роботов, управления данными и анализа видео.
Кроме того, Nvidia представила новые библиотеки для нейронной реконструкции, включая технологии рендеринга, позволяющие разработчикам симулировать реальный мир в 3D на основе данных сенсоров. Эта технология будет интегрирована в популярный открытый симулятор CARLA. Также обновлена программная платформа Omniverse SDK.
Для поддержки рабочих процессов в робототехнике выпущены новые серверы Nvidia RTX Pro Blackwell, обеспечивающие единую архитектуру для задач разработки, а также облачная платформа управления Nvidia DGX Cloud.
Эти нововведения отражают усилия Nvidia по расширению своего присутствия в области робототехники и поиску новых применений для своих AI-ускорителей за пределами дата-центров.
