На конференции ЦИПР Альянс в сфере ИИ представил MERA Industrial — новый стандарт оценки больших языковых моделей (LLM) для решения бизнес-задач в различных отраслях. Платформа уже включает бенчмарки по сельскому хозяйству и медицине, помогая компаниям выбирать LLM, наиболее подходящие для их целей.
В настоящее время доступны три датасета: ruTXTAgroBench (2935 вопросов по агрономии), ruTXTAquaBench (1102 задания по аквакультуре) и ruTXTMedQFundamental (270 вопросов по 17 медицинским дисциплинам). Все они разработаны на русском языке при участии ведущих вузов, включая Сколтех, Кубанский аграрный университет и НМИЦ им. Алмазова. MERA Industrial позволяет не только оценивать LLM, но и формировать новые задачи для их внедрения в бизнес-процессы.
«Сегодня искусственный интеллект становится неотъемлемой частью бизнес-процессов в самых разных отраслях. И бизнесу как никогда нужны надежные инструменты для оценки больших языковых моделей, способных решать реальные отраслевые задачи с высокой точностью и достоверностью. Запуск нового бенчмарка MERA Industrial на площадке Альянса в сфере ИИ – это значимый шаг в сторону прозрачности и качества LLM моделей в различных отраслях, где важен каждый аспект: от проверки знаний модели до её способности работать с уникальными бизнес-кейсами. В Сбере мы активно используем подобные инструменты оценки, чтобы внедрять только проверенные и эффективные решения для наших клиентов», — сказал старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка Андрей Белевцев.