検索性能指標（精度・再現率）

総合・百科・序論 — 検索性能指標（精度・再現率） 概要

総合・百科・序論分野の検索性能指標（精度・再現率）領域の概要と入門ガイド

Cranfield評価実験

シリル・クレヴァードンの1960年代実験から、共通文書・質問・正解で検索方式を比較する

適合率

Cranfield研究で定着したprecisionから、取得文書のうち質問へ適合する割合を測る

再現率

Cranfield研究のrecallから、全適合文書のうち検索システムが取得できた割合を測る

F1スコア

ファン・ライスベルヘンの1979年情報検索論から、適合率と再現率の調和平均を算出する

Fベータスコア

ファン・ライスベルヘンのF尺度から、用途に応じ再現率または適合率を強く重み付けする

正解率

MNISTが1998年に公開された分類課題を例に、全判定に占める正答の割合を測る

特異度

WHOの診断検査評価を例に、非該当資料を検索結果から正しく除外した割合を測る

陰性的中率

Cochraneの診断精度レビューを例に、非該当と判定した資料が実際に非該当である割合を読む

平均適合率MAP

TREC評価で用いるMean Average Precisionから、複数質問の順位品質を平均する方法を学ぶ

平均逆順位MRR

Googleの質問応答評価でも使われるMRRから、最初の正解が現れる順位の逆数を平均する

累積利得DCG

ヤルヴェリンとケケライネンの2002年論文から、順位と段階的適合度を同時に評価する

正規化DCG

Microsoft Bingなどの順位評価で使うnDCGから、理想順位に対する検索結果の利得を測る

Precision at k

TREC Web Trackを例に、上位十件など利用者が見る範囲だけの適合率を測る

Recall at k

Facebook AIの2020年DPR評価から、上位百件内に正解文書を含む質問割合を測る

Hit Rate

Netflix Prizeの2006年推薦課題を例に、上位候補へ一件以上の正解が入る割合を測る

R精度

TREC評価のR-precisionから、正解文書数と同じ順位までに得た適合率を算出する

ROC-AUC

ファウセットの2006年解説から、閾値全体で真陽性率と偽陽性率の交換関係を測る

PR-AUC

デイヴィスとゴードリッチの2006年論文から、希少な正解を探す際の適合率再現率曲線を読む

期待逆順位ERR

チャプリらの2009年指標から、利用者が満足して閲覧を止める確率を順位ごとに評価する

bpref

バックリーとヴォーヒーズの2004年指標から、不完全な正解判定でも順位品質を測る方法を学ぶ

TRECプーリング

NISTが1992年より用いるpoolingから、複数システムの上位結果を集め正解候補を作る

適合性判定

TREC評価者が文書をrelevant・nonrelevantへ分類する手順から、正解集合の作り方を学ぶ

判定者間一致

ジェイコブ・コーエンの1960年カッパ係数から、複数評価者の一致を偶然分だけ補正する

質問難易度

TREC Robust Track 2004から、検索方式間で一貫して成績が低い難問を特定する

検索応答時間

Googleが2009年に公表した速度実験を例に、質問送信から結果表示までの中央値を測る

検索スループット

Elasticsearchが2010年に公開された事例から、一秒間に処理できる検索要求数を測る

ゼロ件率

Algoliaが2012年以降提供する分析から、一件も結果を返さない検索語の割合を測る

検索放棄率

AOLの2006年検索ログ研究から、結果をクリックせず終了した質問の割合を読む

オンラインA/B評価

Googleが2000年代より行う検索実験から、順位案ごとのクリック率と再検索率を比較する

入力揺れへの頑健性

Microsoft Researchの2013年スペル訂正研究から、誤字・略語・語順変更時の性能低下を測る