В 2022 году Хантер Лайтман присоединился к OpenAI исследователем и стал свидетелем стремительного запуска ChatGPT — одного из самых быстрорастущих продуктов. В то же время он работал над командой, обучающей модели OpenAI решать задачи школьных математических олимпиад.
Сегодня эта команда, известная как MathGen, играет ключевую роль в разработке передовых моделей искусственного интеллекта с навыками рассуждения — технологии, лежащей в основе ИИ-агентов, способных выполнять компьютерные задачи, словно человек.
Целью было улучшить математические способности моделей, которые изначально были далеки от совершенства. Несмотря на то, что современные системы OpenAI все еще совершают ошибки и испытывают трудности с комплексными задачами, их успехи в математическом моделировании впечатляют. Один из ИИ OpenAI недавно завоевал золотую медаль на Международной математической олимпиаде, что подтверждает высокие возможности моделей в области рассуждений.
Проект по созданию ИИ-агентов — результат многолетних усилий компании, направленных на создание универсальных помощников, которые смогут выполнять любые задачи по запросу пользователя. Генеральный директор OpenAI, Сэм Альтман, в 2023 году заявлял, что такие агенты принесут огромную пользу.
Ключевым моментом в развитии стало использование метода обучения с подкреплением (reinforcement learning), который позволяет моделям получать обратную связь и улучшать свои решения. Несмотря на то, что этот метод известен давно, OpenAI смогла успешно интегрировать его с большими языковыми моделями и новыми вычислительными техниками, что привело к значительным прорывам в области ИИ-рассуждений.
OpenAI также сфокусировалась на масштабировании вычислительных ресурсов и времени обработки, что позволило улучшить качество ответов. Это привело к созданию моделей, способных анализировать и планировать свои действия, замечать ошибки и корректировать их, что приближает ИИ к человеческому мышлению.
Однако настоящая сложность заключается в обучении моделей выполнять субъективные задачи, требующие нетривиального понимания и выбора. OpenAI продолжает исследования в этой области и разрабатывает новые методы, позволяющие моделям справляться с менее формализованными задачами.
В перспективе OpenAI стремится создать ИИ-агентов, которые интуитивно поймут желания пользователя и смогут самостоятельно выбирать инструменты и глубину рассуждений для решения поставленных задач. Это видение будущего ChatGPT — универсального помощника, который сможет выполнить любую задачу в интернете по вашему желанию.
Сегодня OpenAI сталкивается с серьезной конкуренцией со стороны крупных игроков индустрии, и вопрос в том, кто первым реализует это видение полностью и эффективно.
