GigaChat от Сбера вошел в пятерку лучших языковых моделей мира

Нейросеть GigaChat, разработанная Сбером, вошла в пятерку лучших AI-моделей в мире по версии авторитетного делового журнала Arabian Business. Это единственное российское решение, которое вошло в международный бенчмарк.

Эксперты проверяли производительность модели как на ее «родном» языке, так и при ответах на вопросы на другом языке. В оценке моделей использовали метод параллельного тестирования AI-моделей, который был разработан ChipAI для обеспечения справедливого и всестороннего их сравнения. Аналитики провели серию тестов, в ходе которых результаты оценивались экспертами, которые не знали о названии модели, стоящей за каждым ответом. Метод включал в себя множество задач — языковой перевод, творческое письмо, генерация кода и анализ данных для оценки универсальности и глубины понимания каждой модели. Критерии оценки были адаптированы к заявленным возможностям рассматриваемой модели и включали такие показатели, как точность, последовательность, релевантность и...