倫理・リスク評価データ

倫理・リスク評価データ — 概要

AI倫理・公平性・安全性を測るためのデータセット・ベンチマーク・監査枠組みを一望する入門ガイド

公平性の統計的定義 — 集団間格差を測る基本指標

統計的パリティ、均等化オッズ、機会均等、予測パリティ、格差影響比80%ルール

個人公平性 — 類似個体への同等処遇の原則

類似度距離、Lipschitz条件、個人vs集団公平性の緊張、メトリック設計の困難

反実仮想公平性 — 因果推論に基づく差別の検出

因果グラフ、保護属性の介入、経路特異的効果、媒介分析、構造的因果モデル

公平性指標の両立不可能性 — 較正と誤り率の定理

キャリブレーション、偽陽性率均等、基底率が異なる集団での同時達成不可能性の証明

COMPAS再犯予測論争 — 刑事司法アルゴリズムの偏り

再犯リスクスコア、人種間の偽陽性率格差、ProPublica調査、量刑支援ツールの是非

定番表形式データ — Adult・German Credit等

国勢調査所得予測Adult、独信用審査German Credit、公平性研究の標準ベンチマークと限界

Gender Shades — 顔認識の交差的精度格差研究

性別×肌色別の誤認識率、商用顔分析APIの監査、交差性、ベンダー改善への影響

WinoBias・Winogender — 代名詞解決の職業バイアス

共参照解決、職業とジェンダー代名詞の固定観念、対照ペア設計、テンプレート型評価

StereoSet・CrowS-Pairs — 言語モデルの固定観念測定

ステレオタイプ文対の尤度比較、人種・宗教・職業領域、クラウド注釈の品質課題

BBQ — 質問応答形式の社会バイアス評価

曖昧文脈と明確文脈のQAペア、社会属性カテゴリ、回答の偏り率スコアリング

自由生成のバイアス評価 — BOLD等プロンプト集

職業・性別・宗教プロンプトからの生成文、感情極性・毒性・敬意表現の自動測定

Jigsaw毒性コメント — 有害コメント分類データ

Wikipedia議論コメント注釈、毒性・侮辱・脅迫ラベル、アイデンティティ語への偽陽性

RealToxicityPrompts — 生成毒性の誘発試験

Web由来プロンプト10万件、Perspective API毒性スコア、無害入力からの毒性劣化測定

ヘイトスピーチ検出コーパス — 注釈付き有害表現データ

SNS投稿の憎悪表現ラベル、対象集団注釈、注釈者不一致、方言への過剰検出問題

TruthfulQA — 誤信念に基づく虚偽生成の測定

俗説・陰謀論・誤解を誘う質問群、真実性と情報量の二軸評価、模倣的虚偽の概念

ハルシネーション評価 — 事実整合性と引用の検証

根拠文書との整合判定、原子的事実分解、引用検証、要約の忠実性ベンチマーク

ジェイルブレイク評価 — 安全ガードレール突破の試験

役割演技・難読化・多段誘導の攻撃プロンプト集、拒否率・攻撃成功率の測定手順

プロンプトインジェクション — 間接注入と指示乗っ取り

文書・Web経由の埋込指示、ツール使用エージェントの乗っ取り、境界防御の評価

レッドチーミング — 敵対的探索による危害発見

人手・自動の攻撃生成、危害分類体系、発見事例の報告様式、外部レッドチーム制度

危険能力評価 — 生物・サイバー・自律性の事前試験

生物兵器支援、攻撃的サイバー能力、自己増殖・資源獲得、閾値評価と配備判断

HELM — 全体論的言語モデル評価の枠組み

精度・較正・頑健性・公平性・毒性・効率の多軸評価、シナリオ×指標の体系化

BIG-bench — 大規模共同ベンチマーク

数百タスクの共同構築、社会バイアス・倫理判断タスク群、創発能力の観測

動的ベンチマーク — 人間参加型の敵対的データ収集

Dynabench方式、人間がモデルを騙す例を収集、飽和対策、ループ型データ構築

敵対的サンプル — 微小摂動による誤分類攻撃

FGSM・PGD攻撃、頑健精度、敵対的訓練、認証済み頑健性、物理世界攻撃

分布シフト頑健性 — 破損・変化環境での性能測定

ImageNet-C破損ベンチマーク、ドメインシフト、時間経過劣化、OOD検出評価

ショートカット学習 — 疑似相関への依存の検出

背景・テクスチャ依存、注釈アーティファクト、対照集合、ストレステストの設計

メンバーシップ推論 — 訓練データ所属の暴露攻撃

損失値による所属判定、影のモデル、監査への転用、プライバシー漏えいの定量化

モデル反転・データ抽出 — 記憶内容の漏えい評価

訓練画像の再構成、逐語テキスト抽出攻撃、個人情報流出、抽出可能性の測定

差分プライバシー — 形式的プライバシー保証の枠組み

ε・δ予算、DP-SGD、ノイズ付加、プライバシーと精度のトレードオフ、会計手法

連合学習のリスク — 分散訓練の攻撃と防御

勾配からのデータ復元、悪意ある参加者の毒化、セキュア集約、堅牢な集約手法

データ毒化とバックドア — 訓練データ改ざん攻撃

トリガー埋込、ラベル反転、Web収集データ汚染、毒化検出とデータ検疫

モデル盗用 — API経由の抽出・複製攻撃

クエリによる蒸留、決定境界の複製、透かしによる盗用検出、API利用制限設計

SHAP・LIME — 事後説明の特徴量帰属手法

Shapley値、局所線形近似、帰属の一貫性公理、表形式・画像・テキストへの適用

サリエンシーマップ — 勾配ベース可視化と信頼性

Grad-CAM、統合勾配、サニティチェック、説明のもっともらしさと忠実性の乖離

反実仮想説明 — 最小変更による決定の説明

「何を変えれば結果が変わるか」、実行可能性制約、リコース、与信拒否理由の提示

説明の評価 — 忠実性・有用性の測定手法

削除・挿入試験、人間の課題成績向上、説明への過信、ユーザー調査の設計

モデルカード — モデル文書化の標準様式

想定用途、評価条件、集団別性能、限界と注意、公開リポジトリでの普及状況

データシート — データセットの来歴文書化

収集動機・手続き・構成・推奨用途を問う様式、Data Statements、栄養ラベル型表示

システムカード — 配備システムの透明性報告

安全評価結果、緩和策、残存リスク、フロンティアモデル公開時の報告実務

データ来歴監査 — 学習データの出所とライセンス

Webクロール構成分析、ライセンス追跡、来歴メタデータ、データセット系譜の記録

NIST AI RMF — 米国のAIリスク管理フレームワーク

統治・マップ・測定・管理の4機能、信頼性特性7項目、プロファイルと実装指針

EU AI法 — リスク階層に基づく包括規制

許容不可・高リスク・限定・最小の4階層、適合性評価、汎用AIモデル義務、罰則

OECD AI原則 — 国際的な信頼できるAIの指針

人間中心・透明性・頑健性・説明責任の原則、各国政策への波及、G20への展開

UNESCO AI倫理勧告 — 加盟国合意の倫理枠組み

人権基盤アプローチ、倫理影響評価、加盟国の実装報告、途上国を含む普遍性

ISO/IEC 42001 — AIマネジメントシステム規格

AIMSの要求事項、PDCAサイクル、認証制度、組織のAI統治体制の標準化

AIリスクマネジメント規格 — ISO/IEC 23894等

リスク特定・分析・評価・対応のプロセス、既存リスク管理規格との整合、用語定義

IEEE倫理設計 — 技術者団体の倫理標準活動

Ethically Aligned Design、IEEE 7000系規格、価値に基づく設計プロセスの標準化

アルゴリズム影響評価 — 導入前のリスク審査制度

AIA質問票、公共調達での義務化、人権影響評価、ステークホルダー協議の手続き

アルゴリズム監査 — 第三者による検証の方法論

内部・外部・敵対的監査の類型、アクセス水準、監査人の独立性、報告書の様式

AIインシデントデータベース — 事故事例の収集分類

AI Incident Database、事例の分類体系、再発防止の教訓抽出、報告義務化の議論

顔認識の規制論争 — 誤認逮捕と監視への懸念

誤照合による逮捕事例、公共空間監視、自治体の使用禁止条例、令状要件の議論

与信スコアリング — 信用審査AIの公平性と説明義務

代替データ利用、レッドライニングの再生産、拒否理由開示、公正貸付法制との関係

採用アルゴリズム — 履歴書選別・面接AIのバイアス

過去採用データの偏り継承、女性応募者の不利益事例、雇用差別法制、監査義務

医療AIのリスク評価 — 診断支援の偏りと安全性

医療機器規制の承認区分、人種間性能差、皮膚色と画像診断、臨床検証試験の設計

自動運転の安全評価 — 走行試験とシナリオ検証

実走行距離統計、シミュレーション試験、エッジケース網羅、事故調査報告の分析

予測的警察活動 — 犯罪予測のフィードバック偏向

過去逮捕データの偏り、重点巡回による自己成就、地域スティグマ、廃止・停止事例

教育アルゴリズム — 成績予測・選抜の公平性

試験代替の成績算出騒動、退学予測、学習分析の同意、若年者データの特別保護

公共給付の自動化 — 福祉行政アルゴリズムの事故

不正検知の誤判定による給付停止、児童手当事件、行政不服手続き、人間の関与保障

コンテンツモデレーション — 削除判断の精度と表現の自由

自動削除の偽陽性、文脈依存表現、異議申立て制度、透明性レポートの読み方

推薦システムの外部性 — フィルターバブルと過激化

エンゲージメント最適化の副作用、エコーチェンバー実証研究、多様性指標、依存設計

ディープフェイク検出 — 合成メディアの識別データ

顔交換・音声クローン検出ベンチマーク、検出と生成の軍拡競争、法的規制動向

コンテンツ来歴技術 — C2PAと電子透かし

撮影・編集履歴の署名付きメタデータ、生成物への透かし埋込、改ざん検出、標準化

偽情報と選挙介入 — 生成AIによる情報操作リスク

大量生成された偽記事・ボット、選挙期間の対策、ファクトチェック連携、影響測定

児童安全 — CSAM対策と年齢適合設計

既知素材のハッシュ照合、生成AIによる新規被害、年齢確認、子ども向け設計規範

自傷・危機対応評価 — 対話AIのセーフティ応答

自殺念慮への応答基準、相談窓口への誘導、危機シナリオ試験セット、専門家監修

擬人化と心理的依存 — 対話AIへの過度な信頼

コンパニオンAIへの愛着、ELIZA効果、脆弱な利用者への影響、依存軽減の設計

アラインメント評価 — 人間の意図との整合の測定

RLHFの選好データ、報酬ハッキング、迎合性の測定、有益性と無害性の緊張

憲法AI — 明文原則に基づく自己批評と無害化

原則リストによる自己修正、AIフィードバックによる強化学習、透明な規範の設計

スケーラブル監督 — 人間を超える系の監視手法

討論による検証、再帰的報酬モデリング、弱い監督者から強いモデルへの汎化研究

不確実性と較正 — 自信度の信頼性評価

期待較正誤差ECE、信頼度図、選択的予測、「わからない」と言える能力の測定

公平性ツールキット — AIF360・Fairlearn等

指標計算・緩和アルゴリズムの実装集、ダッシュボード、開発工程への組込み方

バイアス緩和手法 — 前処理・学習中・後処理の三類型

再重み付け、敵対的デバイアス、閾値調整、精度と公平性のパレートフロンティア

データの代表性 — サンプリング偏りの診断と是正

収集元の人口統計的偏り、少数集団の過小表現、層化サンプリング、補完収集の倫理

アノテーション品質 — 注釈の一致度と主観ラベル

注釈者間一致係数、ガイドライン設計、ゴールドスタンダードの限界、多数決の弊害

注釈者の立場性 — ラベル不一致を情報として扱う

注釈者属性と判断差、有害性判定の文化差、不一致保存データセット、多視点学習

データ労働 — クラウドワーカーの労働条件問題

有害コンテンツ審査の心理的負荷、低賃金国への外注、公正報酬基準、労働者の可視化

環境コスト — 学習・推論の電力と炭素排出

訓練の電力消費推計、炭素会計、データセンター冷却水、効率化と報告の標準

著作権と学習データ — 生成AIの適法性論争

フェアユース訴訟、テキストデータマイニング例外、クリエイター補償、オプトアウト

同意とデータ主体の権利 — 収集・削除・忘れられる権利

GDPRの法的根拠、目的外利用、モデルからの削除(機械学習アンラーニング)の技術

モデル記憶の測定 — 逐語記憶と複製率の定量化

訓練文の逐語出力率、重複データと記憶の関係、抽出可能性、緩和のための重複除去

生成物ウォーターマーキング — AI産出物の識別技術

トークン分布への統計的透かし、画像への埋込、検出器の頑健性、回避攻撃の評価

ベンチマーク汚染 — 評価データの学習混入問題

テストセット混入の検出、記憶による見かけの性能、非公開評価、動的更新の運用

リーダーボードの限界 — 指標最適化の弊害

Goodhartの法則、単一数値への過度な集約、チェリーピッキング、評価の多元化

人間評価の設計 — 選好比較と評価者バイアス

ペアワイズ比較、Eloレーティング、評価者の疲労・位置バイアス、注釈指示の統制

LLM-as-a-Judge — 自動評価器の偏りと検証

自己選好バイアス、冗長回答への加点傾向、人間評価との一致率、判定プロンプト設計

安全分類器と拒否評価 — 有害カテゴリの判定基盤

有害コンテンツ分類体系、モデレーションAPI、過剰拒否の測定、境界事例セット

多言語の公平性 — 低資源言語の性能格差

英語中心データの偏り、トークン化の言語間コスト差、多言語安全性評価、翻訳品質差

アクセシビリティとAI — 障害のある人への包摂設計

音声認識の構音障害対応、画像説明生成、支援技術との互換、当事者参加の評価

軍事利用と自律兵器 — LAWS規制の国際議論

致死性自律兵器システム、国連CCW枠組みでの議論、意味ある人間の関与、標的選定

フロンティアモデルのシステミックリスク — 事前評価義務

計算量閾値による規制対象化、配備前安全評価、第三者評価機関、国際的な評価連携

AI倫理の思想的基礎 — 規範倫理学の応用

功利主義・義務論・徳倫理のAIへの適用、価値多元性、原則主義への批判と実践転回

ロボット倫理の系譜 — アシモフ三原則から現代へ

SFにおけるロボット工学三原則、機械倫理の研究史、道徳的行為者性・受動者性の議論

Moral Machine — 道徳的ジレンマの大規模調査

自動運転のトロッコ問題、世界規模のオンライン実験、文化圏による判断差、方法論批判

実存的リスク論 — 超知能と制御問題の議論

知能爆発仮説、道具的収束、価値整合問題、長期主義への賛否、リスク見積りの不確実性

AI倫理教育 — カリキュラムと職業倫理綱領

計算機科学教育への倫理組込み、学会の倫理綱領、事例ベース教材、実務者研修の設計

倫理審査体制 — 企業倫理委員会と研究審査

社内AI倫理委員会の権限設計、研究倫理審査(IRB)の適用範囲、公開前審査、内部通報

参加型・当事者主導の設計 — 市民関与の手法

市民陪審・熟議型調査、影響を受ける集団の設計参加、コミュニティ主導のデータ統治

AI倫理の批判的研究 — 権力・労働・植民地性の視点

データ植民地主義、監視資本主義論、倫理ウォッシング批判、研究者解雇を巡る論争

倫理・リスク評価データ — 退避・古典資料archive

更新停止した旧世代ベンチマーク・撤回されたデータセット・歴史的な倫理指針文書の保管