Компания Cohere представила новую семью многоязычных моделей под названием Tiny Aya, рассчитанную на широкий круг приложений и локальных сценариев использования. Модели имеют открытые веса — исходные данные доступны для изучения и модификации — поддерживают более 70 языков и могут работать на обычных устройствах вроде ноутбуков без постоянного подключения к интернету.
В состав семейства входят решения, ориентированные на разные регионы и задачи. Базовая модель содержит 3,35 миллиарда параметров — достаточно, чтобы обеспечивать сложную языковую обработку, но при этом оставаться компактной для локального развёртывания. TinyAya-Global — версия, дообученная для лучшего следования пользовательским инструкциям и подходящая для приложений с широкой языковой поддержкой. Региональные варианты включают TinyAya-Earth (африканские языки), TinyAya-Fire (южноазиатские языки) и TinyAya-Water (страны Азиатско-Тихоокеанского региона, Западной Азии и Европы).
Особое внимание в модели уделено южноазиатским языкам: Bengali, Hindi, Punjabi, Urdu, Gujarati, Tamil, Telugu и Marathi. Благодаря оптимизациям Tiny Aya подходит для приложений, ориентированных на носителей родных языков, — в том числе для офлайн‑перевода и локальных ассистентов.
Модели были обучены на одном кластере из 64 GPU H100 с относительно скромными вычислительными ресурсами по меркам отрасли. Это позволило разработчикам настроить ПО для эффективной работы на устройствах с ограниченной мощностью, снижая требования к вычислениям по сравнению с большинством сопоставимых моделей.
Возможность запускать модели непосредственно на устройстве открывает новые сценарии применения в языково разнообразных странах, где постоянный доступ в сеть не всегда гарантирован: от образовательных приложений и помощников до систем машинного перевода и инструментов для местных сообществ.
Наборы данных для обучения и оценки будут опубликованы вместе с техническим отчётом о методике обучения. Модели доступны для скачивания и локального развёртывания на популярных платформах для обмена и тестирования моделей, включая HuggingFace, Kaggle и Ollama.
