公平性・バイアス評価データ

公平性・バイアス評価データ — 概要

機械学習の公平性指標、バイアス類型、評価ベンチマーク、監査手法・ツール、規制動向を体系的に扱う領域の入門ガイド

集団公平性と個人公平性 — 公平性定義の二大分類と選択指針

人口統計的パリティ、均等化オッズ、個人公平性、独立・分離・充足の三基準、定義選択の考え方

人口統計的パリティ — 属性群間で陽性予測率を揃える基準

統計的パリティ差、選択率、Disparate Impact比、独立性基準、資格差を無視する限界と批判

均等化オッズ — 真陽性率と偽陽性率の群間均等基準

equalized odds、分離性基準、誤り率格差、群別ROC曲線比較、後処理による閾値調整

機会均等基準 — 有資格者に限った真陽性率の均等化

equal opportunity、再現率の群間差、正例条件付き独立、融資・採用審査への適用例

較正と充足性 — 予測スコアの群間一貫性の評価

キャリブレーション、充足性基準、信頼度図、予測値条件付き独立、リスクスコアの群別検証

公平性指標の不可能性定理 — 複数基準の同時充足の理論的限界

較正と均等化オッズの両立不能性、基底率の群間差、COMPAS論争、指標選択のトレードオフ

個人公平性 — 類似する個人への類似処遇という原則

課題固有の距離計量、Lipschitz条件、計量学習、類似性定義の困難、集団公平性との関係

反実仮想公平性 — 因果グラフに基づく公平性の定義

因果DAG、介入と反実仮想推論、経路特定効果、構造方程式モデル、属性を変えた場合の予測不変性

手続き的公平性 — 決定プロセス自体の正当性を問う評価

使用特徴の道徳的許容性、説明可能性、異議申立て手続、適正手続、当事者の納得感の測定

交差性バイアス — 複合属性サブグループでの格差評価

性別×人種などの交差サブグループ、複合的差別、少数セルの統計的検出力、多重比較の補正

歴史的バイアス — 過去の社会的不平等がデータに残る問題

過去の差別の写像、賃金格差、逮捕記録の偏り、正解ラベル自体の歪み、世界の状態と理想の乖離

表現バイアス — 母集団に対する標本構成の偏り

サンプリング偏向、過少代表グループ、カバレッジ欠落、収集経路・プラットフォーム依存の偏り

測定バイアス — 特徴量とラベルの測定過程に潜む歪み

代理指標と真の構成概念のずれ、群別の測定精度差、センサー特性、診断・審査基準の運用差

ラベルバイアス — アノテーション過程で混入する偏り

アノテーター主観、ガイドラインの曖昧性、多数決集約の偏り、ゴールドラベルの系統誤差

集約バイアス — 単一モデル適用による群間差の無視

一律モデルの限界、群ごとの条件付き分布差、層別モデリング、平均性能最適化の弊害

評価バイアス — ベンチマーク自体の偏りによる誤った結論

評価データの非代表性、指標の不適合、ベンチマーク過適合、テスト集合の属性構成の検証

デプロイメントバイアス — 想定外の運用文脈で生じる害

目的外使用、自動化バイアス、人間の解釈誤り、訓練環境と運用環境のギャップ、誤用シナリオ

フィードバックループ — 予測が現実を変えて偏りを増幅する動態

予測的取締りの循環、推薦の自己強化、予測結果によるラベル生成、格差増幅のシミュレーション

代理変数問題 — 保護属性と相関する特徴量の影響

郵便番号、氏名、購買履歴からの属性漏出、冗長エンコーディング、属性除去の不十分性

バイアスの分類学 — 発生源とライフサイクルによる体系整理

データ・アルゴリズム・人間認知の三系統、収集から運用までの段階別分類、用語の標準化

COMPAS再犯予測データ — 刑事司法アルゴリズム論争の中心事例

ProPublica調査、再犯リスクスコア、偽陽性率の人種間差、較正対誤り率均等の論争

Adult所得予測データ — 公平性研究の定番となった表形式データ

UCI公開の国勢調査由来データ、年収5万ドル分類、性別・人種属性、定番化への批判と代替案

German Creditデータ — 与信審査の公平性評価に使う古典データ

UCIの信用リスクデータ、年齢・性別属性、誤分類コスト行列、表形式公平性実験の標準題材

顔分析の精度格差検証 — 性別と肌色の交差による性能監査

Gender Shades研究、商用顔分析APIの比較、肌色スケール、交差サブグループの精度格差

均衡設計の顔画像データ — 属性バランスを意図した顔データ集

FairFace、人種・性別・年齢の均衡サンプリング、顔属性推定の公平な訓練・評価用途

共参照解決の性別バイアス — 職業名詞と代名詞の連想評価

WinoBias、WinoGender、職業ステレオタイプ、ステレオタイプ順行/逆行文の性能差比較

ステレオタイプ測定ベンチマーク — 言語モデルの固定観念の定量化

StereoSet、CrowS-Pairs、対照文ペアの尤度比較、ステレオタイプスコア、測定妥当性への批判

QA形式のバイアス評価 — 曖昧文脈での回答偏向の測定

BBQベンチマーク、曖昧・明確文脈の対比、社会的偏見カテゴリ、根拠なき属性推測の検出

自由生成テキストの偏り評価 — オープンエンド生成の分布測定

BOLD、職業・性別・宗教・政治のプロンプト群、感情・敬意スコアリング、生成分布の群間比較

毒性誘発プロンプト評価 — 有害生成の起こりやすさの測定

RealToxicityPrompts、毒性分類器による採点、無害な文頭からの脱線率、期待最大毒性

毒性判定の属性語バイアス — 集団言及語による過剰検知

Jigsaw毒性コメントデータ、属性言及文の誤検知、サブグループAUC、意図せぬバイアス指標

単語埋め込みのバイアス検定 — 語の連想構造の統計的測定

WEAT検定、職業語と性別語の連想、アナロジー課題の偏り、埋め込み空間のデバイアス評価

文埋め込み・文脈化表現の検定 — 文レベルでの連想バイアス測定

SEAT、文テンプレートへの語埋込み、文脈化エンコーダの評価、検定結果の不安定性の課題

機械翻訳の性別バイアス — 訳出時の性別選択の系統評価

WinoMT、職業名詞の性別訳し分け、文法性を持つ言語への翻訳、性別一致精度の測定

音声認識の格差評価 — 方言・アクセント別の誤り率測定

単語誤り率の人種・方言間差、非母語話者音声、高齢者音声、収録コーパスの話者偏在

医療AIのバイアス評価 — 診断支援モデルの群間性能差検証

皮膚画像データの肌色偏り、胸部X線診断の群差、医療費を代理変数とした資源配分の偏り事例

採用アルゴリズムの監査 — 履歴書選考・適性評価の偏り検証

履歴書スクリーニングの性別語彙問題、動画面接解析、採用AIの撤回事例、監査義務化の動き

与信・保険の公平性評価 — 金融サービスにおける差別検出

信用スコアリング、保険料率設定、レッドライニング、公正貸付の法理、代替データ利用の論点

CelebA顔属性データ — 属性ラベル間の相関と偏りの題材

40種の顔属性ラベル、性別と属性の疑似相関、ショートカット学習、頑健性・公平性実験の定番

大規模画像データの表現監査 — ウェブ収集画像の偏りの点検

ImageNet人物カテゴリの問題、侮蔑的ラベルの混入、地理的偏在、クロール由来データの浄化

地理的・言語的偏在 — データの地域偏りと英語中心性の評価

グローバルサウスの過少代表、地理タグ分布の分析、方言・地域変種、非西洋文脈の欠落

多言語モデルのバイアス評価 — 言語横断での公平性測定

バイアスベンチマークの多言語展開、文化固有ステレオタイプ、低資源言語での性能格差

推薦システムの公平性 — 提供者と消費者の双方向の偏り評価

露出の不平等、人気バイアス、二側面公平性、ロングテール項目の可視性、多様性指標

検索・ランキングのバイアス — 順位付けによる露出格差の評価

位置バイアス、公平ランキング指標、注目度の対数減衰、画像検索結果の職業ステレオタイプ

広告配信の偏り検証 — ターゲティング最適化の差別的効果

求人・住宅広告の属性偏配信、入札最適化による歪み、フィールド監査実験、規制当局の調査

AI Fairness 360 — 公平性指標と緩和手法のOSSツールキット

IBM発のPythonライブラリ、70超の指標、前処理・学習内・後処理の緩和アルゴリズム群

Fairlearn — 公平性評価・緩和のオープンソースライブラリ

MetricFrameによる群別集計、格差指標、削減法による制約付き学習、scikit-learn連携

What-If Tool — 対話的なモデル挙動と公平性の探索環境

反実仮想編集、データスライス比較、決定閾値の操作、公平性基準別の閾値最適化の可視化

Aequitas — 政策文脈向けのバイアス監査ツールキット

監査レポート生成、群間指標の決定ツリー、公共部門の意思決定支援、実務者向け設計

データシート — データセットの由来と特性の文書化様式

Datasheets for Datasets、収集動機、構成、前処理、推奨用途、保守計画の定型質問群

モデルカード — 属性別性能を含むモデル報告の標準様式

想定用途と対象外用途、群別・交差別の評価結果、倫理的考慮、制約事項の公開文書化

データステートメント — NLPデータの話者・言語情報の文書化

話者属性、言語変種、キュレーション根拠、アノテーター情報、NLP特化の文書化規範

バイアス監査の設計 — 内部監査と第三者監査の方法論

監査範囲の設定、モデル・データへのアクセス水準、社会技術的監査、監査人の独立性確保

対応実験による差別検出 — 監査調査(Audit Study)の設計

氏名だけ変えた履歴書送付、ペア対応試験、フィールド実験、差別の因果的立証と法的証拠力

前処理による緩和 — 学習前のデータ補正とその評価

リウェイティング、リサンプリング、属性除去、公平表現学習、補正後データの品質検証

学習内緩和 — 目的関数への公平性制約の組み込み

敵対的デバイアス、公平性正則化項、制約付き最適化、ラグランジュ緩和、収束と安定性

後処理による緩和 — 出力段階での予測調整手法

群別閾値調整、スコアのキャリブレーション補正、棄却オプション、モデル非依存性の利点

公平性と精度のトレードオフ — 性能損失の定量的な把握

パレートフロンティア、精度公平性曲線、誤分類コスト分析、許容水準の合意形成

緩和手法のベンチマーク比較 — 手法評価の実験計画と落とし穴

手法間の公正な比較条件、ハイパーパラメータ感度、データ分割依存性、再現実験の報告

保護属性の取得と推定 — 属性データが無い場合の評価手法

自己申告収集、姓名・地理情報からの推定(BISG)、推定誤差が格差推定に与える影響、法的制約

サブグループ発見とスライス分析 — 性能が劣化する群の探索

スライス探索、誤りが集中する部分集合の自動発見、隠れた層別、モデルデバッグへの応用

少数群の統計的検出力 — 小標本下での格差推定の信頼性

信頼区間、ブートストラップ、ベイズ推定、多重検定補正、評価用サンプルサイズ設計

シンプソンのパラドックス — 集計水準による結論の逆転

層別分析と全体集計の逆転、交絡変数、大学院入学データの古典例、集計単位選択の注意

因果推論による差別分析 — 直接効果と間接効果の分解

媒介分析、経路特定効果、許容変数と非許容変数の区別、反実仮想に基づく差別の定義

反実仮想データ拡張 — 属性語置換による評価と訓練データ生成

属性語スワップ、テンプレート文生成、ペア間の予測一貫性評価、CDAによるデバイアス訓練

摂動・不変性テスト — 入力操作に対する挙動の安定性検査

属性語置換テスト、方言・表記変換、意味保存摂動、チェックリスト型の行動テスト

生成AIのレッドチーミング — 敵対的手法によるバイアス探索

攻撃プロンプト設計、ジェイルブレイク、系統的探索の自動化、発見の分類と報告様式

人手評価の設計 — 評価者構成と主観差を考慮した評価

アノテーター属性の多様性確保、視点の系統差、集約方法、疲労・学習効果、報酬設計

アノテーター間不一致の扱い — 不一致を信号とみなす評価観

多数決集約の限界、意見分布の保持、主観的課題での正解概念、非集約データセットの公開

ベンチマーク妥当性の検証 — 測定対象概念との一致の確認

構成概念妥当性、テンプレート文の人工性、飽和と天井効果、ラベル誤り率の調査

評価の再現性と頑健性 — バイアス測定結果の安定性検証

乱数シード依存、実装差による変動、プロンプト感度、報告基準の整備、追試研究の役割

継続的モニタリング — 運用後のバイアス監視の設計

群別性能ダッシュボード、ドリフト検知、警報閾値、定期再評価、インシデント対応手順

分布シフト下の公平性 — 環境変化に伴う格差の変動評価

共変量シフト、ラベルシフト、転移先ドメインでの格差再評価、公平性の頑健化手法

刑事司法アルゴリズムの評価 — リスク評価ツールの検証実務

再犯予測、保釈・量刑支援、基底率の地域差、透明性要求、司法統計との突合検証

教育分野の公平性評価 — 採点・進学予測アルゴリズムの偏り

自動採点、退学リスク予測、試験代替アルゴリズムの成績推定騒動、教育機会配分への影響

行政・児童福祉アルゴリズム — 公共部門システムの監査

虐待リスクスコアリング、給付審査の自動化、行政の説明責任、住民への通知と救済手続

医療資源配分の公平性 — 優先順位付けアルゴリズムの偏り検証

医療費代理変数による過小評価事例、臓器移植優先度、トリアージ基準、健康格差の増幅防止

生体認証システムの評価 — 顔・指紋・声の群間精度検証

顔認識ベンダーテスト(FRVT)、誤照合率・誤非照合率の属性差、監視利用への懸念、精度報告

大規模言語モデルの総合評価 — 安全性評価内のバイアス項目

総合ベンチマーク内の公平性・偏見項目、過剰拒否の測定、有用性と無害性の両立評価

画像生成モデルのバイアス — 生成画像の属性分布の評価

職業プロンプトに対する性別・肌色分布、文化的定型表現、訓練データ比のバイアス増幅測定

EU AI法とバイアス要件 — 高リスクAIへのデータ統治義務

高リスク分類、データガバナンス条項、バイアス検査・是正義務、適合性評価と技術文書

差別禁止法理と統計基準 — 異なる影響と異なる取扱いの区別

disparate impact、disparate treatment、業務上の必要性抗弁、立証責任の構造、AIへの適用

4/5ルール(80%ルール) — 選択率比による実務上の判定基準

米国雇用機会均等指針由来、群間選択率比0.8の目安、統計的有意性検定との併用、機械的適用の限界

アルゴリズム影響評価 — 導入前のリスク文書化の制度設計

AIA、質問票による自己評価、リスク等級付け、公開義務、調達段階での組み込み

NIST AIリスク管理フレームワーク — バイアス管理の公的指針

AI RMF、有害バイアスの三類型(系統的・計算統計的・人間認知的)、測定・管理・統治の機能群

AI標準規格のバイアス指針 — 国際標準化と認証の動向

ISO/IECのAIバイアス関連規格、用語定義の標準化、ライフサイクル管理要求、監査・認証制度化

監査法制と情報開示 — アルゴリズム監査の義務化の動き

採用AIツールへの監査義務、透明性報告書、監査人の資格要件、開示粒度と営業秘密の調整

プライバシーとの緊張関係 — 公平性評価に必要な属性収集の難題

保護属性収集と個人情報保護法制の衝突、差分プライバシー、データ最小化原則との折り合い

説明可能性との関係 — 説明手法を用いたバイアス診断

特徴量重要度、SHAP値の群間比較、反実仮想説明、説明の忠実性限界とバイアス発見への利用

ステークホルダー参加型評価 — 当事者を含めた評価の設計

参加型デザイン、コミュニティ主導監査、当事者の経験知、価値対立の調停、成果の還元

公平性の哲学的基礎 — 分配的正義と平等論からの接近

平等主義、運の平等論、ロールズ的正義、形式的・実質的機会均等と技術的定義の対応関係

FAccT研究コミュニティ — 学際的な公平性研究の制度化

ACM FAccT会議、AIES、法学・社会学・HCIとの協働、批判的アルゴリズム研究の潮流

文化差と公平性概念 — 公平観と保護属性の国際比較

保護属性の国・地域差、カースト・民族・宗教の扱い、西洋中心的な公平性研究への批判

合成データによる評価 — 制御されたバイアス注入実験の設計

因果構造既知の人工データ生成、バイアス強度の操作、緩和手法検証のサンドボックス利用

バイアスバウンティ — 報奨型のバイアス発見制度の試み

脆弱性報奨金制度の応用、参加型の欠陥発見、コンテスト形式の運営、報告の受付・対応体制

逐次意思決定と長期公平性 — 動態シミュレーションによる評価

融資・信用スコアの逐次シミュレーション、短期公平性介入の長期効果、戦略的行動の考慮

アクセシビリティと包摂 — 障害・デジタル格差への概念拡張

障害者に対するAIシステムの評価、支援技術との相互作用、デジタルデバイド、多面的包摂指標

公平性の教育と教材 — 実務者・学生向け教育資源の整備

大学講義カリキュラム、MOOC、実務者研修、チェックリスト、ケーススタディ教材の設計

公平性・バイアス評価データ — 退避・古典資料archive

旧版ベンチマーク、廃止・改訂された指標、更新前の監査報告書など歴史的資料の退避領域