Лаборатория Thinking Machines Lab, возглавляемая Мирой Муратой, известна своими амбициозными разработками в области искусственного интеллекта. Недавно они представили первые результаты одного из своих проектов — создание моделей ИИ с воспроизводимыми ответами.
В своем исследовательском блоге команда объясняет причину нестабильности ответов современных ИИ-моделей. Например, если задать один и тот же вопрос ChatGPT несколько раз, ответы могут значительно отличаться. Это считается нормой в ИИ-сообществе, так как модели считаются недетерминированными. Однако Thinking Machines Lab считает, что эту проблему можно решить.
По мнению исследователя лаборатории Хораса Хе, источник случайности кроется в том, как обрабатываются вычисления на графических процессорах Nvidia. Маленькие программы — ядра GPU — при выполнении запросов объединяются определённым образом, что и приводит к непредсказуемым результатам. Контролируя этот процесс, можно добиться более стабильных ответов от ИИ.
Помимо повышения надежности ответов, это может улучшить и обучение с подкреплением, при котором модели получают награды за правильные ответы. Если ответы слишком разнообразны, данные становятся «шумными», что усложняет обучение. Создание более согласованных моделей сделает процесс обучения более гладким и эффективным.
Ранее сообщалось, что Thinking Machines Lab планирует использовать обучение с подкреплением для настройки моделей под нужды бизнеса. Первый продукт лаборатории должен появиться в ближайшие месяцы и будет полезен исследователям и стартапам, создающим кастомные модели ИИ.
Лаборатория также намерена регулярно публиковать исследования, исходный код и другую информацию в открытом доступе, чтобы способствовать развитию науки и улучшению собственной исследовательской культуры. Это редкий случай открытости среди стартапов Кремниевой долины, работающих в области ИИ.
Таким образом, Thinking Machines Lab решает одни из самых важных задач в развитии искусственного интеллекта, и следующий шаг — подтвердить свои разработки реальными продуктами, оправдывающими высокую оценку компании.
