モデル性能比較データ（SOTA精度）

モデル性能比較データ（SOTA精度） — 概要

ベンチマーク、リーダーボード、評価指標を通じてAIモデルの最高性能（SOTA）を比較・追跡する領域の入門ガイド

SOTAの概念 — 最高性能の定義と更新の追跡

state-of-the-artの定義、ベンチマーク基準値、性能更新の系譜、論文報告値と再現値の差

ベンチマークデータセット総論 — 訓練/検証/テスト分割

標準データセットの構築、train/dev/test分割、ラベル品質、公開テストと隠しテストの運用

リーダーボード運営 — 公開順位表と提出プロトコル

Papers with Code、Kaggle、提出回数制限、隠しテストサーバ、順位表の透明性と検証可能性

ImageNet画像分類 — Top-1/Top-5精度の系譜

ILSVRC、AlexNet以降の精度向上、ResNet、EfficientNet、ViT、Top-1/Top-5誤り率の推移

CIFAR/MNIST系ベンチマーク — 小規模画像分類の標準

MNIST、Fashion-MNIST、CIFAR-10/100、SVHN、小規模データでの手法比較と飽和問題

物体検出ベンチマーク — COCOとmAP評価

MS COCO、PASCAL VOC、mAP、IoU閾値、Faster R-CNN、YOLO、DETR系の性能比較

セグメンテーション評価 — 画素単位精度とmIoU

Cityscapes、ADE20K、mIoU、パノプティック品質PQ、インスタンス/セマンティック分割の比較

顔認識・人物照合評価 — 検証精度と誤受入率

LFW、MegaFace、照合精度、FAR/FRR、NISTのFRVT評価、大規模ギャラリーでの識別性能

動画行動認識評価 — 時系列映像の分類精度

Kinetics、UCF101、HMDB51、クリップ精度、3D CNNとVideo Transformerの性能比較

GLUEベンチマーク — 自然言語理解の総合評価

GLUEの9タスク、CoLA、SST-2、MNLI、総合スコア、BERT以降の人間水準超えと飽和

SuperGLUE — 高難度言語理解タスク群

BoolQ、COPA、ReCoRD、WiC、人間ベースライン、GLUE飽和後の後継設計思想

SQuAD読解評価 — EM/F1と無回答問題

SQuAD 1.1/2.0、Exact Match、F1スコア、無回答判定、抽出型読解の人間水準比較

MMLU — 多分野知識の一斉試験型評価

57科目の多肢選択、人文・STEM・社会科学、5-shot評価、LLM世代間の知識性能比較

BIG-bench — 大規模協働ベンチマーク

200超の多様タスク、BIG-bench Hard、創発的能力の観測、スケールと性能の非線形関係

常識推論評価 — HellaSwagとWinograd系

HellaSwag、WinoGrande、PIQA、CommonsenseQA、選択肢バイアス、常識知識の測定限界

数学推論評価 — GSM8KとMATHデータセット

GSM8K小学算数、MATH競技数学、思考連鎖プロンプト、答え一致率、途中式の採点方式

コード生成評価 — HumanEvalとpass@k

HumanEval、MBPP、pass@k指標、単体テスト実行による自動採点、関数合成能力の比較

機械翻訳評価 — WMTとBLEUスコア

WMT共通タスク、BLEU、chrF、COMET、人手評価との相関、言語対ごとの難易度差

要約評価 — ROUGEと忠実性の測定

CNN/DailyMail、XSum、ROUGE-1/2/L、抽出型と生成型、事実整合性と情報網羅性の評価

音声認識評価 — LibriSpeechと単語誤り率

LibriSpeech、Switchboard、WER/CER、clean/otherセット、雑音条件下の頑健性比較

音声合成評価 — MOSと自然性判定

平均オピニオン評点MOS、ABX試験、話者類似度、了解度、主観評価の設計と統計処理

画像生成評価 — FIDとInception Score

FID、IS、CLIPスコア、精度と多様性のトレードオフ、GAN・拡散モデルの世代間比較

テキスト生成の自動評価 — パープレキシティと類似度

perplexity、BLEU、METEOR、BERTScore、参照ベース評価の限界と生成多様性の測定

チャットボット対戦評価 — Arena方式とEloレーティング

Chatbot Arena、匿名一対比較、Eloレーティング、Bradley-Terryモデル、投票バイアス

LLM-as-a-Judge — モデルによる自動採点

MT-Bench、GPT系判定器、位置バイアス、自己選好バイアス、人手評価との一致率検証

HELM型全体評価 — 多軸での言語モデル測定

精度・頑健性・公平性・毒性・効率の多軸評価、シナリオ網羅、標準化された比較枠組み

分類指標の基礎 — 正解率・適合率・再現率・F1

accuracy、precision、recall、F1、マクロ/マイクロ平均、クラス不均衡下の指標選択

ROC曲線とAUC — 閾値非依存の判別性能

ROC、AUC、PR曲線、感度・特異度、較正曲線、閾値設定と運用性能の関係

回帰評価指標 — RMSE・MAE・決定係数

RMSE、MAE、MAPE、R²、外れ値への感度差、予測区間評価、スケール依存性の扱い

ランキング評価指標 — NDCGとMRR

NDCG、MRR、MAP、Recall@k、段階的関連度、検索・推薦での順位品質の定量化

交差検証と評価プロトコル — 汎化性能の推定法

k-fold交差検証、hold-out、層化抽出、時系列分割、リークを防ぐ分割設計

統計的有意性検定 — 性能差の信頼性評価

ブートストラップ、t検定、McNemar検定、多重比較補正、信頼区間つき報告の作法

ベンチマーク汚染 — 訓練データへのテスト混入

データ汚染検出、n-gram重複、記憶と汎化の区別、ウェブ規模コーパス時代の混入問題

リーダーボード過適合 — 順位表への過学習

テストセットへの多重提出、検証セット過学習、adaptive overfitting、提出制限の設計

指標の形骸化 — Goodhartの法則と評価の歪み

指標が目標化した際の劣化、BLEU偏重の弊害、ショートカット学習、代理指標の限界

ベンチマーク飽和 — 人間水準超えと更新停滞

GLUE・SQuAD等の飽和、天井効果、識別力低下、後継ベンチマークへの移行判断

スケーリング則 — 計算量・データ量と性能の関係

パラメータ数・トークン数・計算量のべき乗則、Chinchilla最適配分、損失予測と外挿

計算効率の評価 — FLOPs・レイテンシ・スループット

FLOPs、推論レイテンシ、スループット、メモリ使用量、精度対計算コストのパレート比較

パラメータ効率比較 — モデルサイズ対精度

パラメータ数対精度曲線、小型高効率モデル、蒸留モデルの位置づけ、効率系リーダーボード

エネルギー・炭素評価 — 訓練と推論の環境コスト

消費電力量、CO2排出推定、訓練コスト報告、グリーンAI、性能あたりエネルギーの比較

頑健性評価 — 破損画像と敵対的攻撃への耐性

ImageNet-C、敵対的摂動、PGD攻撃下精度、認証済み頑健性、頑健精度と通常精度の両立

分布外汎化評価 — OOD検出とドメインシフト

分布外検出AUROC、ドメイン汎化ベンチマーク、ImageNet-R/A、シフト下での精度低下測定

公平性評価 — 属性間の性能格差測定

群間精度差、デモグラフィックパリティ、等化オッズ、バイアス測定データセット、公平性指標の対立

毒性・安全性評価 — 有害出力の定量測定

毒性スコア、有害プロンプト耐性、レッドチーミング、拒否率と過剰拒否のバランス評価

真実性評価 — TruthfulQA型の誤情報耐性測定

TruthfulQA、通説的誤答の誘発、真実性と情報量の両立、模倣的虚偽の検出設計

ハルシネーション評価 — 事実整合性の自動検証

幻覚率測定、根拠文書との整合判定、引用検証、知識境界の自己認識、事実性ベンチマーク

長文脈評価 — 長大入力での情報保持測定

needle-in-a-haystack試験、長文書QA、コンテキスト長対精度曲線、中間情報の見落とし

多言語評価 — 言語横断ベンチマーク

XTREME、FLORES、多言語QA・翻訳・分類、低資源言語の性能格差、言語間転移の測定

日本語ベンチマーク — JGLUE等の国内評価基盤

JGLUE、日本語常識推論・読解、日本語LLMリーダーボード、形態素差を踏まえた指標設計

中国語・他言語圏ベンチマーク — CLUEとC-Eval

CLUE、C-Eval、CMMLU、科挙型試験問題、非英語圏独自ベンチマークの発展と比較可能性

オープンドメインQA評価 — 知識検索型質問応答

Natural Questions、TriviaQA、WebQuestions、closed-book対retrieval型、EM採点

対話システム評価 — 一貫性・魅力度・目的達成

対話一貫性、タスク完遂率、ペルソナ整合、人手対話評価、自動指標と人間評価の乖離

情報検索評価 — TRECからBEIRまで

TREC、MS MARCO、BEIR、プーリング法、関連性判定、密検索と疎検索の横断比較

埋め込みモデル評価 — MTEB型の多タスク比較

文埋め込み、意味類似度STS、検索・クラスタリング・分類の一括評価、次元数対性能

マルチモーダル評価 — VQAと視覚言語理解

VQA、MMMU、図表読解、視覚推論、画像＋テキスト混合入力のベンチマーク設計

画像キャプション評価 — CIDErと意味的一致

COCO Captions、CIDEr、METEOR、SPICE、参照文複数化、記述の具体性と正確性の測定

動画理解・生成評価 — 時間的整合性の測定

動画QA、時間的グラウンディング、動画生成のFVD、フレーム間一貫性、長時間映像理解

音響・音楽AI評価 — 音イベント検出と生成品質

音響イベント検出、DCASE系タスク、音源分離のSDR、音楽生成の主観評価と類似度指標

強化学習ベンチマーク — Atari・MuJoCo・スコア正規化

Atari 57、人間正規化スコア、MuJoCo連続制御、Procgen汎化、サンプル効率の比較

ゲームAIの性能測定 — Eloと自己対戦評価

チェス・囲碁・将棋のEloレーティング、自己対戦、AlphaGo系の強さ推定、人間棋士比較

ロボティクス評価 — 操作タスクの成功率測定

把持成功率、シミュレーションベンチマーク、sim-to-real性能差、タスクスイート横断比較

自動運転ベンチマーク — KITTIとnuScenes

KITTI、nuScenes、Waymo Open Dataset、3D検出AP、軌道予測、閉ループ運転評価

医用画像AI評価 — Dice係数と診断性能

Dice係数、病変検出感度、放射線科医との比較読影、外部検証、多施設データでの汎化

タンパク質構造予測評価 — CASPとGDTスコア

CASP競技、GDT_TS、AlphaFold2の飛躍、pLDDT信頼度、実験構造との精度比較

推薦システム評価 — 精度と多様性の両立測定

MovieLens、Recall@k、NDCG、多様性・新規性・カバレッジ、オフライン評価の限界

時系列予測評価 — M系列コンペと予測誤差

Mコンペティション、MASE、sMAPE、統計手法対機械学習、予測ホライズン別の性能比較

表形式データ評価 — OpenMLと勾配ブースティング比較

OpenML、表形式ベンチマーク群、XGBoost・LightGBM対深層学習、データセット横断の平均順位

グラフ学習評価 — OGBとノード・リンク予測

Open Graph Benchmark、ノード分類、リンク予測、グラフ分類、大規模グラフでのスケール評価

科学計算AI評価 — 気象予測・物理シミュレーション

AI天気予報の数値予報比較、RMSE・アノマリー相関、偏微分方程式近似、物理的整合性検証

Kaggleコンペ文化 — 実データ競技での性能比較

public/privateリーダーボード、shake-up現象、アンサンブル戦略、実務データでの手法検証

学術コンペティション史 — ILSVRCとNetflix Prize

ILSVRC 2012の転換点、Netflix Prize、DARPAグランドチャレンジ、競技が駆動した技術進歩

エージェント評価 — SWE-benchと実タスク遂行率

SWE-bench、WebArena、GAIA、実リポジトリ課題解決率、多段タスクの成功判定設計

ツール使用・関数呼び出し評価 — API操作の正確性

関数呼び出しの引数正確性、ツール選択精度、多段呼び出し、実行環境での自動検証

高難度数学評価 — 競技数学とAIME型問題

AIME型問題、数学オリンピック水準課題、証明の採点、形式的検証との組合せ評価

専門職試験型評価 — 司法・医師国家試験水準の測定

医師国家試験・司法試験型問題、USMLE水準QA、資格試験合格ラインとの比較、専門知識の測定限界

人間評価の設計 — アノテーションと品質管理

クラウドソーシング評価、評価指示書設計、注釈者訓練、ゴールド問題による品質管理

評価者間一致 — kappa係数と信頼性統計

Cohenのkappa、Fleissのkappa、Krippendorffのalpha、一致率の解釈、主観課題の信頼性

オンライン評価 — A/Bテストと実運用指標

A/Bテスト、クリック率・滞在時間、オフライン指標との乖離、インターリービング比較法

再現性問題 — 乱数シード・実装差・報告基準

シード分散、ハイパーパラメータ探索予算の不公平、実装差による性能差、再現性チェックリスト

モデルカード・データシート — 性能情報の標準開示

モデルカード、データセットのデータシート、想定用途・制限事項・評価条件の文書化規範

評価ハーネス — 統一実行基盤による横並び比較

lm-evaluation-harness等の評価基盤、プロンプト書式統一、few-shot設定、再現可能な一括評価

動的ベンチマーク — 敵対的データ収集と更新型評価

Dynabench型のhuman-in-the-loop収集、モデルを騙す事例の追加、静的評価の陳腐化対策

few-shot/zero-shot評価 — 事例数条件の統一

zero-shot、few-shot、in-context例の選び方、shot数による性能変動、公平な条件統一

プロンプト感度 — 表現差による評価の不安定性

言い換えによるスコア変動、選択肢順序バイアス、書式依存性、頑健な評価プロトコル設計

圧縮モデルの精度比較 — 量子化・蒸留・枝刈りの影響

INT8/INT4量子化の精度低下、知識蒸留、枝刈り、圧縮率対精度のトレードオフ測定

MLPerf — ハードウェア横断の標準性能測定

MLPerf Training/Inference、目標精度到達時間、スループット、アクセラレータ間の公平比較

推論最適化と精度 — 高速化手法の品質影響

投機的デコーディング、KVキャッシュ圧縮、バッチング、最適化前後の出力品質検証

アンサンブルとSOTA — 複数モデル統合の性能押し上げ

多数決・平均化・スタッキング、単一モデルとの公平比較、計算コスト増と限界効用

誤差分析 — 混同行列とエラーカテゴリ分類

混同行列、誤り事例の類型化、スライス別性能、難易度層別分析、改善優先度の特定

ベンチマーク設計論 — 妥当性・難易度・寿命の設計

構成概念妥当性、難易度較正、識別力、飽和までの寿命設計、測りたい能力と課題の対応

SOTA進歩のメタ分析 — 性能向上率の定量研究

分野別の精度向上曲線、進歩の減速・加速の実証分析、報告バイアス、真の進歩の推定

年次AI動向報告 — AI Index型の性能トラッキング

AI Index Report等の年次集計、ベンチマーク横断の進歩指標、政策・投資判断への活用

性能予測と予測市場 — 将来SOTAの見積もり

スケーリング則外挿、専門家予測調査、予測市場、マイルストーン達成時期の予測精度検証

ベンチマークの社会的影響 — 研究方向の誘導効果

評価基準が研究資源配分を導く構造、過度な順位競争、多様な評価軸の必要性の議論

オープン対クローズドモデル比較 — 公開度と性能差

オープンウェイト対API限定モデル、検証可能性の差、性能格差の推移、比較時の条件統制

評価のガバナンス — 第三者監査と標準化動向

独立評価機関、AI安全性評価の制度化、NIST等の評価枠組み、自己申告値の外部検証

汎用能力評価 — ARC型の抽象推論測定

Abstraction and Reasoning Corpus、少数例からの規則発見、流動性知能の測定、汎化の定義論争

飽和後の評価設計 — 次世代ベンチマークの構想

人間超え後の測定法、実世界タスク移行、長期的課題設計、専門家水準を超える能力の検証手法

モデル性能比較データ（SOTA精度） — 退避・古典資料archive

飽和・引退したベンチマーク、旧世代リーダーボード記録、歴代SOTA一覧など歴史的資料の保管