ММЛУ ⇐ Васина Википедия

[wiki_en]

'''Измерение понимания языка в условиях массовой многозадачности''' ('''MMLU''') является эталоном для оценки возможностей больших языковых моделей|языковых моделей. Он состоит из около 16 000 вопросов с несколькими вариантами ответов, охватывающих 57 академических предметов, включая математику, философию, право и медицину. Это один из наиболее часто используемых тестов для сравнения возможностей больших языковых моделей.

MMLU был выпущен командой исследователей в 2020 году и был разработан как более сложный, чем существовавшие на тот момент тесты, такие как GLUE (2018), в которых новые языковые модели достигали точности, превосходящей человеческую. На момент выпуска MMLU большинство существующих языковых моделей работали примерно на уровне случайности (25%), при этом наиболее эффективная модель GPT-3 имела точность 43,9%. По оценкам разработчиков MMLU, эксперты в области человеческой деятельности достигают точности около 89,8%. По состоянию на 2024 год сообщалось, что некоторые из самых мощных языковых моделей, такие как Claude 3 и GPT-4, достигли оценки в середине 80-х годов. Модель Gemini Ultra от Google достигла 90 %, что является самым высоким показателем за всю историю.

==Примеры==
Следующие примеры взяты из заданий «Абстрактная алгебра» и «Международное право» соответственно. Правильные ответы выделены жирным шрифтом:

Найти все c в \mathbb{Z}_3 такие, что \mathbb{Z}_3[x]/(x^2 + c)< /math> — это поле.
(А) 0 '''(Б) 1''' (В) 2 (Г) 3


Будет ли оговорка к определению пытки в МПГПП приемлемой в современной практике?

(A) Это приемлемая оговорка, если в законодательстве страны, сделавшей оговорку, используется другое определение

'''(B) Это неприемлемая оговорка, поскольку она противоречит объекту и цели МПГПП'''

(C) Это неприемлемая оговорка, поскольку определение пытки в МПГПП соответствует обычному международному праву

(D) Это приемлемая оговорка, поскольку согласно общему международному праву государства имеют право делать оговорки к договорам