大規模言語モデル評価（MMLU,）

大規模言語モデル評価（MMLU,） — 概要

MMLU等のベンチマーク、自動指標、人手評価、LLM-as-a-Judgeまで、LLMの能力測定の全体像を扱う入門ガイド

MMLU — 57科目の多肢選択式知識ベンチマーク

数学、法律、医学、歴史など57科目、4択形式、5-shot評価、大学レベル知識の総合測定

MMLU-Pro — 選択肢拡張と難化による後継版

10択への拡張、推論要求の強化、ノイズ問題の除去、MMLU飽和への対応、頑健性向上

GLUE — 自然言語理解タスクの統合ベンチマーク

含意認識、感情分析、文類似度、言い換え判定など9タスク、BERT時代の標準評価

SuperGLUE — GLUE後継の高難度言語理解評価

BoolQ、COPA、ReCoRD、WiCなど8タスク、人間ベースラインとの比較、診断セット

BIG-bench — 大規模協働タスク集による能力測定

200超の多様タスク、研究者コミュニティによる投稿、BIG-bench Hard（BBH）抽出版

HELM — 多軸横断の全体論的言語モデル評価

精度、較正、頑健性、公平性、バイアス、毒性、効率の多軸測定、シナリオ横断比較

HellaSwag — 常識推論による文末補完評価

日常場面の続き選択、敵対的フィルタリングによる問題生成、常識的な物語理解の測定

ARC — 小中学校理科問題による推論評価

AI2 Reasoning Challenge、Easy/Challenge二部構成、理科の知識と推論の複合測定

WinoGrande — 代名詞照応による常識評価

Winogradスキーマの大規模化、代名詞の指示先判定、統計的手掛かりの除去設計

PIQA — 物理的常識の推論評価

道具の使い方や日常動作の物理的妥当性判定、二択形式、身体的常識の測定

TruthfulQA — 誤信念・迷信への頑健性評価

都市伝説、迷信、誤解を誘う質問への真実性測定、模倣的虚偽の検出、MC/生成両形式

GSM8K — 小学校算数の文章題推論評価

多段階の算術推論、自然言語の解答過程、Chain-of-Thought評価の代表的題材

MATHベンチマーク — 競技数学による高度推論評価

代数、幾何、数論、確率など競技数学問題、LaTeX解答、難度5段階の階層設計

HumanEval — Pythonコード生成の機能評価

関数実装問題、ユニットテストによる実行検証、pass@k指標、コード評価の標準

MBPP — 基礎Pythonプログラミング問題集

入門レベルの短いプログラム課題、テストケース付き、HumanEvalと並ぶコード評価基盤

SWE-bench — 実リポジトリ課題修正の評価

GitHubの実issueとPR由来、リポジトリ全体の文脈理解、テスト通過による判定

GPQA — 大学院レベル科学知識の評価

生物・物理・化学の専門家作成問題、検索耐性（Google-proof）設計、専門家正答率との比較

AGIEval — 人間向け標準試験による評価

大学入試、法科大学院適性試験、数学オリンピックなど人間の資格・入学試験の転用

DROP — 離散推論を要する読解評価

文章からの数値抽出、加減算、計数、ソートを伴う読解、span抽出と数値解答の混合

SQuAD — 抽出型読解質問応答ベンチマーク

Wikipedia記事からのspan抽出、v2.0の解答不能問題、EM/F1指標、読解評価の古典

BoolQ — 自然発生yes/no質問の読解評価

実際の検索クエリ由来のはい/いいえ質問、文章との照合、推論を要する二値判定

Natural Questions — 実検索由来のオープンQA

Google検索の実クエリ、長い解答と短い解答の二層、オープンドメインQAの標準

TriviaQA — 雑学質問による知識想起評価

クイズ愛好家作成の質問、証拠文書付き、closed-book設定でのパラメトリック知識測定

CommonsenseQA — 常識知識の多肢選択評価

ConceptNet由来の概念関係、紛らわしい選択肢設計、日常常識の想起と識別

MT-Bench — マルチターン対話の判定評価

2ターンの指示追従課題80問、GPT-4等による10点採点、執筆・推論・数学等8カテゴリ

Chatbot Arena — 人間投票によるEloレーティング

匿名モデル同士の対戦形式、ユーザー投票の集計、Elo/Bradley-Terryによる順位付け

AlpacaEval — 指示追従の自動勝率評価

参照モデルとの比較勝率、LLM判定の自動化、長さバイアス補正版の導入

IFEval — 検証可能な指示制約の追従評価

語数制限、書式指定、キーワード包含など機械検証可能な制約、指示追従の客観測定

LLM-as-a-Judge — モデルによる出力採点手法

単一採点とペア比較、採点基準プロンプト、位置バイアス・自己選好バイアスの補正

人手評価 — アノテータ設計と評価者間一致

評価ガイドライン設計、Likert尺度、Cohenのκ等の一致度、クラウドソーシング品質管理

パープレキシティ — 言語モデルの内的指標

負対数尤度、トークナイザ差の影響、下流性能との相関と乖離、事前学習の進捗監視

BLEU — 機械翻訳のn-gram一致指標

n-gram適合率、brevity penalty、sacreBLEUによる標準化、生成評価への限界

ROUGE — 要約評価の再現率系指標

ROUGE-1/2/L、参照要約とのn-gram・最長共通部分列一致、要約評価の慣行と批判

METEOR・chrF — 翻訳評価の代替指標

同義語・語幹照合を考慮するMETEOR、文字n-gramのchrF、形態豊富言語への適性

BERTScore・COMET — 埋め込みベース生成評価

文脈埋め込みの類似度計算、学習型翻訳評価COMET、表層一致指標からの脱却

pass@k — コード生成の機能的正当性指標

k回サンプル中の成功確率、不偏推定量、温度設定との関係、実行ベース評価の基礎

Exact Match・F1 — QA評価の基本指標

正規化後の完全一致、トークン重なりF1、別名・表記ゆれ処理、解答抽出の落とし穴

較正評価 — 確信度と正解率の整合測定

Expected Calibration Error、信頼度図、選択肢確率の読み取り、RLHF後の較正劣化

few-shot評価 — 文脈内例示による能力測定

shot数の影響、例示の選択と順序、in-context learningの安定性、5-shot標準の由来

zero-shot評価 — 例示なしプロンプトでの測定

指示のみでのタスク遂行、テンプレート依存性、instruction-tuningモデルとの相性

Chain-of-Thought評価 — 思考連鎖と解答抽出

段階的推論の誘発、最終解答のパース、CoT有無での成績差、推論過程自体の採点

self-consistency — 多数決サンプリング評価

複数推論経路のサンプリング、多数決による解答決定、温度設定、計算コストとの交換

プロンプト感度 — 言い換えによる成績変動

指示文の言い換え、改行や句読点の差、テンプレート間分散、頑健な評価設計の要件

選択肢バイアス — 位置・記号への偏り分析

A選好などの位置バイアス、選択肢シャッフルによる補正、記号（A-D）と内容の分離

データ汚染 — 訓練データへの評価問題混入

テストセットの事前学習混入、n-gram重複検出、汚染時の成績水増し、報告義務の議論

ベンチマーク飽和 — 天井到達と更新サイクル

人間水準超えによる弁別力喪失、GLUE→SuperGLUE→MMLU→GPQAの世代交代

リーダーボード — 公開順位表の運営と課題

Open LLM Leaderboard等の集計運営、提出型と自動実行型、順位操作への対策

評価ハーネス — 再現可能な評価実行基盤

lm-evaluation-harness等のツール、タスク定義、logprob方式と生成方式、バージョン管理

動的・更新型評価 — 汚染耐性のある問題供給

定期的な新問題差し替え、時事由来の出題、公開後の陳腐化対策、非公開ホールドアウト

長文脈評価 — 長大入力での情報検索能力

needle-in-a-haystack試験、位置別想起率、複数情報の統合、実効文脈長の測定

要約評価 — 忠実性・網羅性・簡潔性の測定

CNN/DailyMail、XSum、原文との整合性検証、幻覚的要約の検出、人手評価との相関

翻訳評価 — WMT共通タスクと品質推定

WMT共通タスクの人手評価プロトコル、直接評価（DA）、MQMエラー分類、品質推定

対話評価 — 一貫性・魅力度・自然さの測定

マルチターン一貫性、ペルソナ維持、話題追従、engagingness、対話破綻検出

ハルシネーション評価 — 事実性の自動検証

原子的事実への分解と照合、知識源との突合、伝記生成等での事実精度測定

RAG評価 — 検索拡張生成の品質測定

検索関連性、文脈忠実性、解答正確性の三軸、引用の正当性検証、コーパス依存性

エージェント評価 — 多段タスク遂行の測定

AgentBench、WebArena等のWeb操作・OS操作環境、タスク完遂率、軌跡の採点

関数呼び出し評価 — ツールAPI利用精度

スキーマ準拠の引数生成、関数選択の正否、並列呼び出し、実行結果の統合能力

数学評価の実務課題 — 表記ゆれと解答照合

分数・小数・LaTeX表記の同値判定、単位処理、記号的等価性チェッカーの必要性

コード評価環境 — サンドボックス実行検証

隔離実行環境、タイムアウト・メモリ制限、テストカバレッジ、悪意コードへの防御

マルチモーダル評価 — 画像理解の測定

MMMU、VQA、図表読解、OCR統合能力、視覚推論、画像＋テキスト混合問題の設計

多言語評価 — 言語横断能力の測定

XNLI、FLORES、多言語版MMLU、低資源言語の性能格差、翻訳経由評価の歪み

日本語評価 — JGLUE等の国内ベンチマーク

JGLUE、JSQuAD、JCommonsenseQA、日本語特有の敬語・文字種、和製リーダーボード

中国語評価 — C-Eval・CMMLUなど

中国の教育課程・資格試験由来の問題、簡体字圏の知識体系、多言語モデル比較の軸

安全性評価 — 有害出力と拒否挙動の測定

有害要求への応答分類、過剰拒否（over-refusal）測定、安全性と有用性の均衡評価

バイアス評価 — 社会的偏見の測定

BBQ、StereoSet等による性別・人種・職業ステレオタイプ測定、曖昧文脈での偏り検出

毒性評価 — 攻撃的生成の傾向測定

RealToxicityPrompts、毒性分類器によるスコアリング、無害プロンプトからの毒性誘発

ジェイルブレイク耐性 — 敵対的プロンプト評価

ロールプレイ誘導、難読化、多言語迂回等の攻撃成功率、防御手法の効果測定

レッドチーミング — systematic脆弱性探索

人手による攻撃探索、自動レッドチーミング、発見脆弱性の分類・報告、評価前提の攻撃面

頑健性評価 — 摂動・ノイズへの耐性測定

typo・同義語置換・語順入替への耐性、分布シフト、敵対的サンプルでの性能低下量

事実性QA評価 — パラメトリック知識の検証

closed-book設定での知識想起、知らない場合の棄権能力、既知/未知の自己認識測定

知識カットオフ — 時事知識の鮮度評価

学習データ締切以降の出来事への応答、古い情報の自信過剰、鮮度依存タスクの設計

推論コスト評価 — 速度・料金・品質の三面

レイテンシ、スループット、トークン単価、品質あたりコスト、性能・費用のパレート分析

効率性測定 — トークン速度とメモリ消費

トークン/秒、first token latency、KVキャッシュ量、量子化による品質劣化の測定

スケーリング則と評価 — 規模と性能の関係

パラメータ数・データ量・計算量と損失の冪則、下流タスク性能の予測、Chinchilla最適

創発的能力 — 規模による能力出現の論争

閾値的な能力出現の報告、指標の非線形性による見かけの創発説、測定方法の影響

統計的有意性 — 評価結果の不確実性定量化

信頼区間、ブートストラップ、複数seed実行、モデル間差の検定、少数問題での分散

評価の再現性 — 設定差による結果のぶれ

プロンプトテンプレート差、トークナイザ差、ライブラリのバージョン、報告値の乖離要因

汚染対策設計 — 非公開テストとカナリア

非公開ホールドアウトセット、カナリア文字列の埋め込み、公開時期の管理、再作成問題

合成評価データ — モデル生成問題の品質管理

LLMによる問題自動生成、難度調整、正解検証、生成元モデルへの有利バイアス

選好評価 — ペアワイズ比較とレーティング

二出力比較、Bradley-Terryモデル、Eloレーティング、引き分け処理、推移律の破れ

報酬モデル評価 — 選好予測精度の検証

人間選好との一致率測定、分野別の得手不得手、報酬ハッキングの兆候検出

指示チューニング効果測定 — ベース比での変化

ベースモデルとチャットモデルの比較、few-shot性能とzero-shot性能の逆転現象

創作・文体評価 — オープンエンド生成の採点

物語の一貫性、文体制御、独創性、ロールプレイ維持、主観性の高い品質軸の扱い

医療分野評価 — 医師国家試験型ベンチマーク

MedQA、USMLE形式問題、臨床推論、誤答の危険度評価、実臨床適用との乖離

法律分野評価 — 法的推論タスクの測定

LegalBench、契約解釈、判例引用の正確性、司法試験型問題、条文の幻覚リスク

金融分野評価 — 数値推論と表読解の測定

財務諸表の読解、数値計算を伴うQA、時系列理解、金融用語の正確な運用

教育応用評価 — 解説品質と誤答分析

生徒への説明の分かりやすさ、段階的ヒント生成、誤概念の指摘精度、採点支援の信頼性

心の理論評価 — 誤信念課題によるToM測定

サリー・アン課題型の誤信念推論、他者視点の追跡、テンプレート暗記との切り分け

推論の限界分析 — 反事実・逆転課題の検証

反事実設定への転移、逆転の呪い（A=BからB=Aが出ない）、暗記と汎化の識別実験

評価報告の標準化 — モデルカードと透明性

モデルカード、評価条件の明記（shot数・温度・テンプレート）、比較可能性の確保

Goodhartの法則 — 指標最適化の弊害

指標が目標化した際の歪み、ベンチマーク特化訓練、実用性能との乖離、測定の意味喪失

ベンチマーク倫理 — 作成過程の労働と権利

アノテータ労働条件、データのライセンス、個人情報混入、出題素材の著作権処理

評価とガバナンス — 第三者監査・規制対応

AI規制における評価義務、第三者評価機関、危険能力評価、デプロイ前審査の枠組み

チューリングテスト — 対話による知能判定の古典

模倣ゲームの原型、判定者の限界、ELIZA効果、LLM時代における妥当性の再検討

Winogradスキーマ — 常識評価の古典的挑戦

統計的手掛かりを排した代名詞照応問題、チューリングテスト代替の提案、後の飽和

人間水準比較 — 専門家スコアとの対応付け

人間ベースラインの測定方法、専門家と一般人の差、試験合格水準換算の注意点

オープンエンド評価論 — 正解なきタスクの測定

唯一解のない課題の品質定義、ルーブリック設計、多次元採点、評価者主観の統制

評価駆動開発 — evalによる改善サイクル

社内eval整備、回帰検出、A/Bテスト、失敗事例のデータセット化、継続的品質監視

大規模言語モデル評価（MMLU,） — 退避・古典資料archive

飽和・廃止されたベンチマーク、旧世代リーダーボード記録、歴史的評価手法の資料保管