Сбер усовершенствовал рейтинг русскоязычных нейросетей

Сбер представил новую версию лидерборда Russian SuperGLUE (General Language Understanding Evaluation) — первого рейтинга нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста.

Лидерборд разработан командой SberAI совместно со специалистами Huawei и Высшей школы экономики. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными нейросетями. Результаты рейтинга публикуются на сайте.

Современные нейросети, которые применяются для обработки текстов, настолько сложны, что для их оценки используются задачи, схожие с IQ-тестом для человека. Проект Russian SuperGLUE — первый рейтинг для сравнения нейросетевых моделей для русского языка. Объективные метрики оценки позволяют измерять наш прогресс на пути к построению надёжных интеллектуальных систем, что в конечном счёте приближает нас к созданию AGI — «сильного» искусственного интеллекта.

Александр Ведяхин

Первый заместитель Председателя Правления Сбербанка

В Russian SuperGLUE 1.1 по сравнению с первой версией лидерборда обновлены и расширены наборы заданий, посвящённые вопросно-ответным системам и пониманию смысла текстов. Кроме того, существенно увеличена кодовая база: проект представляет готовые решения для оценки качества больших языковых моделей: GPT-3, BERT, mBERT, mBART, GPT-2, XLM-MLM, XLM-Roberta. В новой версии рейтинга также повышена надёжность системы оценки моделей. 

В середине ноября проект был успешно представлен на крупнейшей международной конференции EMNLP (The Conference on Empirical Methods in Natural Language Processing). В пятницу пройдёт его презентация в Huawei University — на семинаре, посвящённом NLP (Natural Language Processing, обработка естественного языка).

Вопросы, связанные с развитием искусственного интеллекта, будут обсуждаться на конференции AI Journey — крупнейшей площадке для получения актуальной информации про AI и его применению в России и за рубежом. Мероприятие проводится Сбербанком совместно с ведущими российскими и зарубежными компаниями. В 2019 году конференция AI Journey проходила в офлайн-формате, привлекла более 150 спикеров — ведущих экспертов отрасли и по количеству участников вошла в топ-5 мировых DS&AI-конференций.

В этом году ожидаются выступления около 200 ведущих российских и международных специалистов. Своё участие уже подтвердили такие известные эксперты, как Mike Davies, директор лаборатории нейроморфных вычислений Intel; Laurens van der Maaten, директор по исследованиям Facebook AI Research; Jurgen Schmidhuber, директор лаборатории IDSIA.