モデル評価設計（精度・再現率・F1・AUC）

モデル評価設計（精度・再現率・F1・AUC） — 概要

混同行列に基づく分類指標からROC/AUC、交差検証、公平性・頑健性まで、機械学習モデル評価設計の全体像を示す入門ガイド

混同行列 — 分類評価の基本構造

真陽性TP、偽陽性FP、偽陰性FN、真陰性TN、2×2表、多クラス拡張、誤分類パターンの読み取り

正解率（Accuracy） — 定義と限界

全体正答率、クラス不均衡時の見かけ上の高精度、多数派予測ベースライン、誤用例と代替指標

適合率（Precision） — 陽性予測の的中率

TP/(TP+FP)、偽陽性コスト、スパム判定・情報検索での重視理由、再現率とのトレードオフ

再現率（Recall・感度） — 取りこぼしの少なさ

TP/(TP+FN)、偽陰性コスト、疾病スクリーニング・不正検知での重視理由、感度との同義性

特異度（Specificity） — 陰性の正しい識別

TN/(TN+FP)、偽陽性率との補完関係、感度・特異度の同時報告、医療検査評価での役割

F1スコア — 適合率と再現率の調和平均

調和平均の性質、低い方の指標への感度、単一値要約の利点と欠点、陰性クラス無視の注意点

Fβスコア — 重み付き調和平均

F0.5とF2、βによる再現率重視・適合率重視の調整、業務コストに応じたβ選択の設計指針

ROC曲線 — 真陽性率と偽陽性率の軌跡

閾値走査による曲線描画、対角線＝ランダム分類、左上隅への近さ、信号検出理論に由来する背景

ROC-AUC — 曲線下面積による順位性能評価

AUCの確率的解釈（正例が負例より高スコアを得る確率）、0.5〜1.0の意味、閾値非依存性の利点

PR曲線とPR-AUC — 適合率・再現率平面での評価

Average Precision、不均衡データでROC-AUCより敏感な理由、ベースラインが陽性率に依存する性質

判定閾値の設計 — スコアから決定への変換

既定値0.5の妥当性検証、F1最大化点、業務コスト基準の閾値、検証データでの閾値決定手順

Youden指数 — 感度＋特異度による最適カットオフ

J=感度+特異度-1、ROC曲線上で対角線から最も遠い点、診断検査のカットオフ値決定への応用

クラス不均衡下の評価 — 指標選択の落とし穴

1:1000不均衡での精度の無意味化、PR-AUC・MCC推奨、リサンプリング後評価の注意、少数クラス重視設計

マクロ平均・マイクロ平均 — 多クラス指標の集計方式

クラス別指標の単純平均（マクロ）とサンプル集計（マイクロ）、少数クラスの扱いの違い、選択基準

加重平均F1 — クラスサイズ考慮の集計

サポート数による重み付け、マクロ/マイクロとの中間的性質、scikit-learnのaverage引数の使い分け

多クラス混同行列の分析 — 誤分類構造の可視化

ヒートマップ表示、混同しやすいクラス対の特定、One-vs-Rest分解、階層的クラスでの誤り評価

Cohenのκ係数 — 偶然一致を補正した一致度

観測一致率と期待一致率、アノテータ間一致・分類器評価への適用、重み付きκ、解釈の目安

Matthews相関係数（MCC） — 混同行列全体の相関評価

四象限すべてを使う-1〜+1の指標、不均衡データでの頑健性、F1との比較、二値分類の総合指標

バランス精度（Balanced Accuracy） — クラス別再現率の平均

感度と特異度の算術平均、不均衡データでの精度代替、多クラスへの拡張、chance levelの補正

対数損失（Log Loss） — 確率予測の罰則付き評価

交差エントロピー、自信過剰な誤予測への大きな罰則、確率出力モデルの学習目的関数との関係

Brierスコア — 確率予測の二乗誤差評価

予測確率と実現値の平均二乗誤差、気象予報由来、キャリブレーションと分離度への分解

キャリブレーション — 予測確率の信頼度較正

reliability diagram、Platt scaling、isotonic回帰、温度スケーリング、確率の額面通りの解釈可能性

期待キャリブレーション誤差（ECE） — 較正度の定量化

確信度ビン別の精度と信頼度の乖離、ビン数依存性、深層モデルの過信傾向の測定、MCEとの併用

回帰評価：MSE・RMSE — 二乗誤差系指標

平均二乗誤差、外れ値への敏感さ、元単位に戻すRMSE、損失関数としての性質と最小二乗法との関係

回帰評価：MAE・MAPE — 絶対誤差系指標

平均絶対誤差の頑健性、パーセント誤差の解釈性、ゼロ近傍でのMAPE破綻、SMAPEなど代替案

決定係数R² — 分散説明率による回帰評価

全変動に対する説明率、負のR²の意味、自由度調整済みR²、相関係数の二乗との関係と誤用例

順位相関による評価 — Spearman・Kendall

順位の一致度測定、外れ値への頑健性、スコアの単調変換不変性、推薦・検索スコアの妥当性検証

NDCG — 段階的関連度を考慮したランキング評価

DCGの対数割引、理想順位による正規化、検索エンジン・推薦システムの標準指標、カットオフkの設定

MRR（平均逆順位） — 最初の正解位置の評価

最上位正解の逆数順位平均、質問応答・エンティティリンキングでの利用、単一正解タスクへの適合性

Precision@k / Recall@k — 上位k件での評価

検索結果上位のみの適合率・再現率、kの業務的決定、Hit Rate、推薦リスト長と指標の関係

mAP — 物体検出の平均適合率評価

クラス別APの平均、IoU閾値0.5や0.5:0.95、PASCAL VOCとCOCO評価プロトコルの違い

IoU（Intersection over Union） — 領域重なりの評価

予測枠と正解枠の共通部分/和集合、検出の正誤判定基準、Jaccard係数との同一性、GIoUなど拡張

セグメンテーション評価 — Dice係数・mIoU

画素単位の重なり評価、Dice係数とF1の等価性、クラス平均IoU、医用画像・自動運転での利用

BLEU — 機械翻訳のn-gram一致評価

n-gram適合率の幾何平均、brevity penalty、複数参照訳、文単位評価の限界とコーパス単位の推奨

ROUGE — 要約評価の再現率系指標

ROUGE-N・ROUGE-L（最長共通部分列）、参照要約との重なり、抽出型・生成型要約での使い分け

METEOR・chrF・BERTScore — 生成テキスト評価の発展

同義語・語幹を考慮するMETEOR、文字n-gramのchrF、埋め込み類似度によるBERTScore、人手評価との相関

パープレキシティ — 言語モデルの予測性能評価

交差エントロピーの指数、語彙・トークナイザ依存性、モデル間比較の注意点、下流タスク性能との乖離

WER・CER — 音声認識の誤り率評価

編集距離に基づく単語誤り率・文字誤り率、置換・挿入・削除の内訳、日本語での文字単位評価の意義

生成画像の評価 — Inception Score・FID

分類器特徴量分布間のFréchet距離、多様性と忠実度、サンプル数依存性、人間評価との補完関係

埋め込み・類似度タスクの評価 — 検索精度と意味的類似度

コサイン類似度、意味的テキスト類似度ベンチマーク、Recall@kによる近傍検索評価、クラスタ妥当性

ホールドアウト法 — 訓練・検証・テスト分割

三分割の役割分担、テストセットの封印原則、分割比率の目安、単一分割の分散という限界

k分割交差検証 — 汎化性能の安定推定

k-fold CVの手順、k=5/10の慣行、推定の分散とバイアスのトレードオフ、計算コストとの兼ね合い

層化交差検証 — クラス比率を保つ分割

Stratified k-fold、少数クラスの各foldへの均等配分、グループ付き分割（GroupKFold）との併用

Leave-One-Out交差検証 — 極小データでの評価

n分割の極限形、ほぼ不偏だが高分散な推定、計算量の問題、小規模医療データ等での利用場面

時系列交差検証 — 時間順序を守る分割

ローリングウィンドウ、拡張ウィンドウ、未来情報の遮断、シャッフル分割が時系列で禁忌となる理由

ネストした交差検証 — チューニングと評価の分離

内側ループでハイパーパラメータ探索、外側ループで汎化推定、検証データへの過適合の防止

ブートストラップ評価 — 再標本化による性能推定

復元抽出、out-of-bag評価、632法、指標の信頼区間構築、小標本での分散推定への応用

データリーク防止 — 評価の汚染を防ぐ設計

前処理の分割後適用、重複・近縁サンプルの分割跨ぎ、ターゲットリーク、時間的リークの点検手順

学習曲線による診断 — 過学習と過少学習の判別

訓練・検証スコアの乖離パターン、データ追加の効果予測、高バイアス/高バリアンスの見分け方

バリデーション曲線 — ハイパーパラメータ感度の評価

正則化強度・木の深さ等に対する性能変化、最適域の特定、早期終了（early stopping）の判断基準

統計的有意性検定 — 性能差は偶然か

McNemar検定、対応のあるt検定、並べ替え検定、単一テストセットでの検定の前提と限界

評価指標の信頼区間 — 不確実性の定量化

二項比率の区間推定、ブートストラップ信頼区間、AUCの標準誤差、テストサイズと区間幅の関係

複数モデル・複数データセット比較 — 順位に基づく検定

Wilcoxon符号順位検定、Friedman検定、平均順位の比較、ベンチマーク横断比較の統計的作法

多重比較補正 — 多数の実験からの偽発見防止

Bonferroni補正、Holm法、偽発見率（FDR）制御、ハイパーパラメータ探索での見かけの改善への警戒

ベンチマークデータセット — 共通課題による比較基盤

MNIST、CIFAR、ImageNet、GLUE、SQuAD等の役割、標準分割・標準指標の共有、分野発展への寄与

リーダーボード運用 — 公開競争型評価の設計

提出回数制限、隠しテストセット、公開/非公開スコアの分離、Kaggle等コンペでの評価設計の工夫

ベンチマーク飽和と過適合 — テスト再利用の弊害

コミュニティ全体のテストセット過適合、天井効果、データセット更新版の作成、適応的データ解析の問題

A/Bテスト — 本番環境でのオンライン評価

無作為割付、クリック率・コンバージョン等の業務KPI、サンプルサイズ設計、早期打ち切りの統計的注意

オフライン評価とオンライン評価の乖離 — 指標と実効果のずれ

ログデータの選択バイアス、反実仮想評価（off-policy evaluation）、代理指標と真の目的の不一致

インターリービング — 検索ランキングの対比較評価

二つのランキングの混合提示、クリックによる勝敗判定、A/Bテストより高感度な比較手法

人手評価の設計 — 主観評価の信頼性確保

評価者間一致（κ・級内相関）、評価尺度設計、ペア比較とLikert尺度、クラウドソーシング品質管理

ゴールドスタンダード構築 — 正解データの品質設計

アノテーションガイドライン、多重アノテーションと多数決、専門家判定、ラベルノイズの推定と影響

大規模言語モデルの評価 — 多面的ベンチマークの設計

知識・推論・コード生成等の課題別評価、few-shot設定、選択式と自由記述、汚染（学習データ混入）検査

LLM-as-a-Judge — モデルによる自動採点

生成文の品質をLLMで採点する手法、位置バイアス・冗長性バイアス、人手評価との一致検証、採点プロンプト設計

頑健性評価 — 摂動・敵対的入力への耐性測定

敵対的サンプル、ノイズ・回転等の変換に対する精度低下、認証済み頑健性、頑健精度と通常精度の両立

分布シフト評価 — 学習時と運用時のずれへの対処

共変量シフト、ドメイン外（OOD）検出、破損データベンチマーク、シフト下での性能低下の測定設計

公平性指標 — 属性間の格差測定

デモグラフィックパリティ、機会均等（equalized odds）、予測パリティ、指標間の両立不可能性定理

サブグループ・スライス分析 — 部分集団別の性能点検

属性・条件別の指標分解、最悪グループ性能、隠れた性能格差の発見、スライス発見の自動化

不確実性推定の評価 — 予測区間とカバレッジ

予測区間の被覆率と幅、分位点損失（pinball loss）、共形予測（conformal prediction）の保証評価

コスト考慮型評価 — 誤りの重み付けと期待損失

コスト行列、偽陽性と偽陰性の非対称コスト、期待損失最小化、業務金額換算による閾値・指標設計

リフトチャート・ゲインチャート — 施策対象選定の評価

スコア上位からの累積捕捉率、ランダム施策比の改善倍率、ダイレクトマーケティングでの活用

KS統計量 — スコア分布の分離度評価

陽性・陰性の累積分布の最大乖離、信用スコアリングでの慣行、閾値位置の示唆、AUCとの併用

Gini係数とAUCの関係 — 与信評価の慣用指標

Gini=2×AUC−1の関係、CAP曲線（累積精度プロファイル）、金融実務でのモデル識別力の報告様式

感度分析 — 入力変動に対する出力応答の評価

特徴量の摂動実験、部分依存プロット、単調性・妥当性の検証、モデル挙動の物理的整合性確認

推論速度・レイテンシ評価 — 実運用性能の測定

スループット、p50/p99レイテンシ、バッチサイズ依存性、精度と速度のパレート比較、実機測定の作法

モデル規模・計算量の評価 — パラメータ数とFLOPs

パラメータ数、FLOPs、メモリ使用量、量子化・蒸留後の精度劣化測定、効率とのトレードオフ分析

エネルギー・環境負荷の評価 — 学習と推論のコスト測定

消費電力量、GPU時間、CO2排出量推定、効率指標の報告慣行、グリーンAIの評価観点

異常検知の評価 — 極端な不均衡下の指標設計

PR-AUC重視の理由、検知遅延、誤報率と見逃し率、ラベル希少時の評価データ構築、時系列異常の区間評価

推薦システムの多面評価 — 精度を超える品質軸

カバレッジ、多様性、新規性、セレンディピティ、人気バイアス、長期エンゲージメントとの関係

クラスタリング評価 — 内部指標と外部指標

シルエット係数、Davies-Bouldin指数、調整ランド指数（ARI）、正規化相互情報量（NMI）、正解なし評価の難しさ

トピックモデルの評価 — 一貫性と解釈可能性

トピック一貫性（coherence）、パープレキシティとの乖離、人手によるトピック品質判定、単語侵入テスト

生存時間分析の評価 — C-indexと打ち切りデータ

コンコーダンス指数、打ち切り（censoring）の扱い、時間依存AUC、医療予後モデルの識別力評価

医療診断モデルの評価 — 感度・特異度の臨床運用

スクリーニングと確定診断での指標要件差、ROC曲線の臨床的読み方、外部検証コホートの必要性

PPV・NPVと有病率 — 陽性的中率の集団依存性

陽性的中率・陰性的中率、有病率による変動、ベイズの定理による換算、稀な疾患での偽陽性問題

誤り分析 — エラーの分類と改善サイクル

誤分類サンプルの目視検査、エラーカテゴリ分類、原因仮説の検証、データ追加・特徴量改善への還元

アブレーションスタディ — 構成要素の寄与分解

モジュール除去・置換による性能変化測定、特徴量群の寄与、公平な比較条件の統制、論文での報告慣行

再現性の確保 — 乱数・環境・実験管理

乱数シード固定、複数シード実行と分散報告、実験追跡ツール、環境固定（コンテナ）、報告チェックリスト

評価パイプラインの自動化 — CI組み込みと回帰テスト

評価スクリプトの標準化、モデル更新時の自動再評価、性能回帰の検知、指標のバージョン管理

本番モデル監視 — ドリフト検知と継続評価

データドリフト・概念ドリフトの統計検知、遅延ラベルでの性能追跡、再学習トリガー、アラート閾値設計

評価結果の文書化 — モデルカードと報告設計

モデルカード、データシート、想定用途と制約の明記、サブグループ別性能の開示、利害関係者向け報告

メタ評価 — 評価指標そのものの妥当性検証

自動指標と人手評価の相関分析、指標の識別力・安定性、新指標提案時の検証手順、評価の評価という視点

Goodhartの法則と指標ハッキング — 目標化した指標の劣化

指標最適化による本来目的からの乖離、報酬ハッキング、代理指標の限界、複数指標・定性確認による防御

ヒューマンインザループ評価 — 人とAIの協働性能測定

人間単独・AI単独・協働の三条件比較、自動化バイアス、信頼の較正、支援ツールとしての有効性評価

総合スコアの設計 — 複数指標・複数タスクの集約

指標の正規化と重み付け、平均方式による順位逆転、多目的最適化のパレート表示、集約の恣意性への注意

挙動テスト用データ設計 — 対照集合とテンプレート検査

反実仮想例、コントラストセット、最小対立ペア、チェックリスト型挙動テストによる能力別診断

チャンピオン・チャレンジャー運用 — 段階的モデル入替評価

シャドーモード並走、カナリアリリース、現行モデルとの同条件比較、切替判断基準と巻き戻し設計

規制・監査対応の評価 — 高リスクAIの適合性確認

リスク管理枠組みに沿った評価文書、第三者監査、性能・公平性・頑健性の証跡、継続的適合性の維持

評価データの倫理 — プライバシーと同意の設計

個人情報を含むテストデータの管理、匿名化・仮名化、同意範囲内の利用、公開ベンチマーク化の可否判断

モデル評価設計（精度・再現率・F1・AUC） — 退避・古典資料archive

旧版の評価プロトコル、廃止された指標定義、過去のベンチマーク結果など歴史的資料の退避領域