機械学習ベンチマークデータ（MNIST,）

機械学習ベンチマークデータ（MNIST,） — 概要

MNISTからImageNet・GLUE・MMLFまで機械学習の性能比較を支える標準データセットと評価文化の入門ガイド

MNIST — 手書き数字認識の定番データセット

7万枚28×28画素の手書き数字、LeCunらによる整備、NIST由来、深層学習入門の標準課題

Fashion-MNIST — 衣類画像によるMNIST代替

Zalando提供の衣類10クラス7万枚、MNIST互換フォーマット、難度向上、分類器比較の新標準

EMNIST・KMNIST — 文字認識の拡張データセット

英字を含むEMNIST、くずし字仮名のKMNIST（日本古典籍由来）、文字認識課題の多様化と派生系譜

CIFAR-10・CIFAR-100 — 小型カラー画像分類

32×32画素6万枚、10クラスと100クラス、Krizhevskyら整備、CNN研究の標準ベンチマーク

SVHN — 実世界の数字認識データ

Google Street View由来の番地数字画像、60万枚超、実環境ノイズ、半教師あり学習の評価にも利用

ImageNet — 大規模画像認識の転換点

1400万枚超・WordNet階層準拠、Fei-Fei Liら構築、深層学習ブームの起点、事前学習の標準

ILSVRC — ImageNet大規模認識コンペ

2010-2017年開催、1000クラス分類、AlexNet(2012)の躍進、ResNetの人間超え精度、歴史的意義

STL-10・Tiny ImageNet — 中小規模画像ベンチ

教師なし事前学習向けSTL-10、200クラス縮約版Tiny ImageNet、計算資源の限られた研究での利用

Caltech-101・Caltech-256 — 初期物体認識データ

カテゴリ別物体画像集、2000年代の物体認識研究標準、SIFT・Bag-of-Visual-Words時代の主戦場

PASCAL VOC — 物体検出・分割の古典ベンチ

20クラスの検出・セグメンテーション・分類、2005-2012年チャレンジ、mAP評価法の普及に寄与

MS COCO — 物体検出・キャプションの標準

80クラス33万枚、物体検出・セグメンテーション・キャプション生成、COCO mAP指標、Microsoft整備

Open Images — Google発の超大規模画像データ

900万枚・数千クラスのラベル・バウンディングボックス・関係アノテーション、大規模検出研究に利用

Places365・LSUN — シーン認識データセット

場所・シーンカテゴリの大規模画像、MITのPlaces、寝室・教会等のLSUN、GAN評価にも頻用

LFW・CelebA — 顔認識・顔属性データ

有名人顔画像のLabeled Faces in the Wild、40属性付きCelebA、顔認証評価とプライバシー議論

細粒度分類データ — CUB-200・iNaturalist

鳥類200種のCUB-200-2011、市民科学由来のiNaturalist、種同定など微差識別課題の評価

KITTI — 自動運転ビジョンの先駆ベンチ

車載カメラ・LiDAR収録、ステレオ・オプティカルフロー・3D検出・トラッキング課題、独カールスルーエ発

Cityscapes — 都市街路セグメンテーション

欧州50都市の街路画像、精緻な画素単位アノテーション、セマンティックセグメンテーション標準評価

ADE20K — 汎用シーン解析データセット

MIT整備の2万枚超、150カテゴリの画素ラベル、シーンパーシング・セグメンテーションモデル比較

nuScenes・Waymo Open Dataset — 自動運転大規模データ

360度カメラ・LiDAR・レーダー同期収録、3D物体検出・予測課題、企業公開データの代表例

医用画像ベンチマーク — 胸部X線・皮膚病変

ChestX-ray14、ISIC皮膚病変、BraTS脳腫瘍など、診断支援AI評価と患者プライバシー配慮

UCI機械学習リポジトリ — 古典データの宝庫

カリフォルニア大アーバイン校運営、数百の表形式データセット、古典的機械学習研究の共通基盤

Iris — 統計学習の最古典データセット

Fisherが1936年に用いたアヤメ3種150標本、がく片・花弁の4特徴量、分類入門の定番教材

住宅価格データ — Boston Housing・California Housing

回帰課題の定番、Boston Housingの倫理的問題による非推奨化、California Housingへの移行

Adult (Census Income) — 公平性研究の標準データ

米国国勢調査由来の所得予測課題、性別・人種属性を含むためアルゴリズム公平性研究の題材に

Titanic — データ分析入門の定番課題

乗客の生存予測、Kaggle入門コンペの象徴、特徴量エンジニアリングと欠損値処理の学習教材

Wine・Breast Cancer Wisconsin — 小規模分類の古典

ワイン品種判別、乳がん診断データ、scikit-learn同梱、アルゴリズム動作確認の標準素材

20 Newsgroups・Reuters — テキスト分類の古典

ニュースグループ投稿2万件、ロイター通信記事、トピック分類・TF-IDF・ナイーブベイズ評価の定番

IMDb・SST — 感情分析ベンチマーク

映画レビュー5万件のIMDb、構文木付きStanford Sentiment Treebank、極性分類の標準評価

GLUE — 自然言語理解の総合ベンチ

含意認識・類似度・文法性など9課題の集合、BERT時代の標準評価、人間水準到達による飽和

SuperGLUE — GLUE後継の高難度言語理解

BoolQ・COPA・WiC等の難課題、GLUE飽和を受けた設計、汎用言語モデル比較の里程標

SQuAD — 読解質問応答の標準データ

Wikipedia記事への質問10万件、抽出型QA、無解答問題を加えたSQuAD 2.0、EM・F1評価

Natural Questions・TriviaQA — 実検索由来QA

Google実検索クエリ由来のNQ、雑学クイズのTriviaQA、オープンドメイン質問応答の評価基盤

MS MARCO・BEIR — 情報検索ベンチマーク

Bing実クエリのMS MARCO、多領域ゼロショット検索のBEIR、密ベクトル検索・リランカー評価

Penn Treebank・WikiText — 言語モデル評価コーパス

構文注釈付きPTB、Wikipedia由来WikiText-103、パープレキシティによる言語モデル比較の伝統

Common Crawl・C4 — Web由来大規模コーパス

Web全体のクロールアーカイブ、T5学習用に清浄化したC4、大規模言語モデル事前学習の主原料

The Pile・LAION — オープン大規模学習データ

EleutherAIの825GBテキスト集、画像・テキスト対のLAION、オープンモデル開発と著作権論争

WMT — 機械翻訳の共通評価キャンペーン

毎年開催の翻訳シェアドタスク、対訳コーパス提供、統計翻訳からニューラル翻訳への転換を記録

BLEU・ROUGE — 生成テキスト自動評価指標

n-gram一致に基づく翻訳評価BLEU、要約評価ROUGE、限界批判とBERTScore等の後継指標

MMLU — 大規模マルチタスク知識評価

57科目の多肢選択問題、法律・医学・数学等の専門知識、LLM時代の代表的総合ベンチマーク

BIG-bench — 協働構築の多様課題集

200超の多様なタスクを研究者コミュニティが寄稿、創発能力の観測、BIG-bench Hard抽出版

常識推論ベンチ — HellaSwag・WinoGrande

文脈の自然な続きを選ぶHellaSwag、Winogradスキーマ拡張のWinoGrande、常識の機械理解を測定

ARC — 科学試験問題ベンチマーク

米国小中学校水準の理科多肢選択問題、EasyとChallengeの二部構成、推論能力評価の定番

数学推論ベンチ — GSM8K・MATH

小学校水準文章題のGSM8K、競技数学のMATH、思考連鎖プロンプトの効果検証で著名

コード生成ベンチ — HumanEval・MBPP

関数仕様からのPython実装課題、pass@k指標、単体テストによる機能的正しさの自動判定

TruthfulQA — 真実性・誤情報耐性の評価

人間が誤りやすい俗説・誤解を突く質問集、モデルの迎合的誤答傾向の測定、安全性評価の一角

LibriSpeech — 音声認識の標準コーパス

オーディオブック朗読1000時間、clean/otherの難度別評価、単語誤り率WERによる比較の基準

Common Voice — クラウドソース多言語音声

Mozilla主導の寄付型音声収集、100超の言語、低資源言語の音声認識開発を支える公開データ

TIMIT・Switchboard — 音声研究の古典コーパス

音素注釈付き朗読音声TIMIT、電話会話Switchboard、LDC配布、HMM時代からの評価系譜

AudioSet・ESC-50 — 環境音・音響イベント認識

YouTube由来200万クリップのAudioSet、環境音50種のESC-50、音響イベント検出の評価基盤

VoxCeleb — 話者認識ベンチマーク

有名人インタビュー動画由来の話者データ、話者照合・識別課題、実環境雑音下の頑健性評価

動画行動認識 — UCF101・Kinetics

101行動クラスのUCF101、YouTube由来数十万クリップのKinetics、時空間モデルの標準評価

MovieLens — 推薦システム研究の定番データ

ミネソタ大GroupLens収集の映画評価データ、100K〜25Mの規模別版、協調フィルタリング評価

Netflix Prize — 推薦コンペの歴史的事例

100万ドル賞金の評価予測コンペ(2006-2009)、行列分解手法の隆盛、匿名化破り問題の教訓

レビューデータ — Amazon・Yelpデータセット

大規模商品レビュー・店舗レビュー、感情分析・推薦・要約研究、利用規約と研究利用の境界

OGB — グラフ機械学習の統一ベンチ

Open Graph Benchmark、ノード分類・リンク予測・グラフ分類、標準分割とリーダーボード運営

引用ネットワーク — Cora・Citeseer・Pubmed

論文引用グラフの小規模三点セット、グラフニューラルネットワーク初期研究の標準評価素材

分子データセット — QM9・MoleculeNet

量子化学計算による分子物性QM9、創薬向け課題集MoleculeNet、グラフ表現学習の応用評価

タンパク質構造 — PDB・CASP

実験構造の公共データバンクPDB、構造予測の盲検評価CASP、AlphaFold躍進の舞台

Atari ALE — 深層強化学習の標準環境

Arcade Learning Environment、Atari 2600ゲーム57本、DQN評価の原点、人間正規化スコア

OpenAI Gym・Gymnasium — 強化学習環境API

CartPole・MountainCar等の統一インターフェース、環境の標準化、後継Gymnasiumへの移管

連続制御ベンチ — MuJoCo・DeepMind Control Suite

物理シミュレータ上の歩行・操作課題、Hopper・Walker・Humanoid、方策勾配法の標準評価

D4RL — オフライン強化学習ベンチ

事前収集軌跡データからの方策学習評価、多様な収集方策の混在、分布外行動の課題検証

MLPerf — 機械学習システム性能ベンチ

MLCommons運営、学習・推論の速度計測、ハードウェア・フレームワーク横断の公正比較規約

DAWNBench — 到達時間・費用の効率ベンチ

Stanford発、目標精度到達までの時間と費用を競う設計、MLPerfへ合流した効率評価の先駆

Papers with Code — リーダーボード文化

論文・コード・ベンチ成績の紐付けサイト、SOTA追跡、再現性運動とベンチ偏重批判の両面

Hugging Face Datasets — データセット配布基盤

数万データセットのハブ、datasetsライブラリ、ストリーミング読込、データカードによる文書化

TFDS・torchvision — フレームワーク同梱データ

TensorFlow Datasets、torchvision.datasets、ダウンロード・前処理・分割の標準化されたAPI

Kaggle — コンペ形式のデータ公開基盤

企業課題のコンペ開催、公開データセット共有、隠しテストセットとリーダーボードの運用

OpenML — 実験結果共有プラットフォーム

データセット・タスク・実験結果の構造化共有、自動機械学習研究の基盤、メタ学習への活用

データ分割 — 訓練・検証・テストの設計

train/validation/test三分割、ホールドアウト法、時系列分割、層化抽出、分割固定の重要性

交差検証 — k-fold・leave-one-out

k分割交差検証、一個抜き法、入れ子交差検証、小規模データでの汎化性能推定と分散低減

分類評価指標 — 精度・適合率・再現率・F1

accuracy、precision、recall、F1スコア、混同行列、マクロ/マイクロ平均、不均衡データでの選択

検出・分割評価 — mAP・IoU

Intersection over Union、平均適合率AP、COCO式mAP@[.5:.95]、閾値設定と評価プロトコル

ROC曲線とAUC — 閾値非依存の識別評価

真陽性率と偽陽性率のトレードオフ、AUC-ROC、PR曲線との使い分け、不均衡下の解釈注意

回帰評価指標 — RMSE・MAE・決定係数

二乗平均平方根誤差、平均絶対誤差、R²、MAPE、外れ値感度の違いと課題に応じた選択

データリーク — 評価を歪める情報漏洩

前処理でのテスト情報混入、目的変数の代理特徴、時間的リーク、重複サンプル、検出と防止策

テストセット汚染 — LLM時代の評価危機

事前学習コーパスへのベンチ問題混入、暗記による見かけ性能、汚染検出手法、新問への差替え

ベンチマーク過適合 — 飽和とグッドハートの法則

リーダーボード最適化の弊害、指標が目標化した際の測定劣化、GLUE飽和、頻繁提出による過適合

データセットバイアス — 収集・選択の偏り

収集元の偏り、地理・人口統計の不均衡、ステレオタイプの反映、クロスデータセット汎化の低下

ラベルノイズ — アノテーション誤りの影響

ImageNet・CIFARのラベル誤り研究、テストセット誤りが順位に与える影響、ノイズ耐性学習

頑健性ベンチ — ImageNet-C・ImageNet-R

ノイズ・ぼかし・天候等の破損画像、描画風変換画像、分布シフト下の精度低下を体系的に測定

分布外検出ベンチ — OODと未知クラス

学習分布外サンプルの検出評価、near-OODとfar-OOD、不確実性推定、開集合認識との関係

敵対的頑健性評価 — RobustBench・攻撃耐性

敵対的摂動への耐性の標準化評価、AutoAttack、頑健精度と通常精度のトレードオフ測定

少数ショット学習ベンチ — Omniglot・miniImageNet

手書き文字1623種のOmniglot、N-way K-shot評価プロトコル、メタ学習手法の標準比較基盤

長尾分布データ — クラス不均衡ベンチ

iNaturalist・ImageNet-LT等の裾長クラス分布、頭部/中間/尾部別評価、再重み付け手法の検証

データ拡張 — 学習データの人工的増強

回転・切り抜き・色変換、Mixup・CutMix、RandAugment、テキスト逆翻訳、評価公平性への配慮

合成データ — シミュレーション由来の学習素材

レンダリング画像・物理シミュレーション・生成モデル出力、sim-to-realギャップ、稀少事例の補完

データセット蒸留 — 少数サンプルへの圧縮

学習効果を保つ小規模合成集合の生成、コアセット選択、学習高速化と継続学習への応用

アノテーション作業 — クラウドソーシングと品質管理

Mechanical Turk等の分散作業、ガイドライン設計、多数決集約、アノテータ間一致度、労働倫理

データセット文書化 — Datasheets・データカード

Datasheets for Datasets提案、収集目的・構成・制約の明示、モデルカードと並ぶ透明性実践

データライセンス — 利用条件と著作権

CC系ライセンス、研究限定利用、Web収集データの著作権論争、学習利用の適法性を巡る各国動向

プライバシーと匿名化 — 個人情報を含むデータ

顔・音声・医療データの扱い、匿名化と再識別リスク、差分プライバシー、同意取得の実務

データセットの撤回 — 倫理問題による公開停止

Tiny Imagesの公開終了、顔認識データの削除要請、不適切ラベル問題、撤回後の再現性課題

多言語ベンチマーク — XTREME・言語間転移評価

40言語横断のXTREME、翻訳版評価の限界、低資源言語カバレッジ、言語間転移性能の測定

日本語ベンチマーク — JGLUE・国内評価資源

日本語版言語理解ベンチJGLUE、livedoorニュースコーパス、青空文庫、日本語LLM評価の整備動向

ベンチマーク設計論 — 良い評価課題の条件

構成的妥当性、天井効果の回避、統計的検定力、複数指標の併用、実タスクとの乖離への警鐘

動的ベンチマーク — Dynabenchと敵対的収集

人間がモデルを騙す例を継続収集する方式、静的ベンチ飽和への対抗、評価の陳腐化防止の試み

人間評価とアリーナ方式 — Eloレーティング比較

Chatbot Arenaの対戦形式評価、Eloスコア集計、人間選好との整合、LLM-as-a-judgeの利点と偏り

機械学習ベンチマークデータ（MNIST,） — 退避・古典資料archive

役割を終えた旧ベンチマーク、廃止データセット、過去のコンペ記録・歴代リーダーボードの保管庫