AIセキュリティ運用実務（敵対的攻撃対策）

AIセキュリティ運用実務（敵対的攻撃対策） — 概要

機械学習システムを狙う攻撃の分類・防御・運用管理を体系化する入門ガイド。脅威モデル、攻撃手法、防御技術、監視・対応の全体像を扱う。

敵対的サンプル — 微小摂動による誤分類

人間には知覚できない微小摂動、L∞/L2ノルム制約、画像分類器の誤誘導、パンダ→テナガザル事例、知覚不能性と攻撃成功率のトレードオフ。

FGSM — 高速勾配符号法

Goodfellowらの一段階攻撃、損失勾配の符号方向への摂動、εステップサイズ、線形性仮説、計算効率、ベースライン攻撃としての位置づけ。

PGD攻撃 — 投影勾配降下反復法

反復的勾配ステップ、εボールへの投影、ランダム初期化、Madryらの標準脅威モデル、一次攻撃の代表、頑健性評価の基準手法。

C&W攻撃 — 最小摂動最適化

Carlini&Wagnerの最適化型攻撃、L0/L2/L∞距離最小化、ロジット差目的関数、防御的蒸留の突破、高信頼度誤分類の生成。

ブラックボックス攻撃 — クエリベースと転移性

内部勾配非依存、ZOO/NES勾配推定、境界攻撃、代理モデルからの転移性、API問い合わせ回数制約、決定ベースと score ベースの区別。

敵対的訓練 — 攻撃サンプルによる頑健化

PGDサンプルを訓練に混合、min-max最適化、TRADES、精度と頑健性の交換、計算コスト増大、最も実効的な経験的防御。

認証済み頑健性 — 数学的保証つき防御

ランダム化スムージング、区間束縛伝播、Lipschitz制約、証明可能なεボール内不変性、経験的防御との違い、保証範囲の限界。

データ汚染攻撃 — 訓練データ改ざん

ポイズニング、ラベル反転、勾配整合ポイズン、少数サンプルでの精度劣化、クリーンラベル攻撃、データパイプラインの信頼境界。

バックドア攻撃 — トリガー埋め込み

BadNets、特定パターンで発火する誤動作、通常時は正常挙動、モデルサプライチェーン汚染、ニューロン活性化に潜むトリガー。

バックドア検知・除去 — トリガー逆解析

Neural Cleanse、逆エンジニアリングによるトリガー再構成、活性化クラスタリング、ファインチューニング除去、剪定による無害化。

モデル抽出攻撃 — 機能の盗用複製

API出力からの代理モデル学習、決定境界の複製、知財・課金逃れ、クエリ効率、抽出検知のためのウォーターマーク・レート制限。

メンバーシップ推論攻撃 — 訓練データ帰属判定

特定サンプルが訓練集合に含まれたか推定、過学習との関連、信頼度・損失値の差、シャドウモデル、プライバシー漏洩リスク。

モデル反転攻撃 — 入力データ復元

出力から訓練入力の再構成、顔画像復元、勾配からのデータ漏洩、属性推論、機微データを扱うモデルの公開リスク。

差分プライバシー — 学習過程の秘匿化

DP-SGD、勾配クリッピングとノイズ付加、εδ予算、メンバーシップ推論の緩和、精度との交換、プライバシー会計。

物理世界攻撃 — 現実環境での摂動

敵対的パッチ、道路標識ステッカー、印刷パッチ、視点・照明変化への頑健性、EOT期待変換、実運用での脅威実証。

敵対的パッチ — 局所摂動による撹乱

画像の限定領域への高強度パターン、位置非依存、物体検出器の無効化、着用型パッチによる人物検出回避、実装容易性。

音声・音響攻撃 — 音声認識への摂動

隠しコマンド、超音波DolphinAttack、心理音響マスキング、音声アシスタント誤起動、ノイズに埋め込む音声指令。

プロンプトインジェクション — LLM指示乗っ取り

直接・間接注入、システムプロンプト無視、外部文書経由の悪意指示、ツール実行乗っ取り、信頼できない入力の境界設計。

ジェイルブレイク — LLM安全機構の回避

ロールプレイ誘導、DAN型手法、多言語・符号化迂回、多段誘導、安全ファインチューニングの限界、レッドチーミング対象。

間接プロンプトインジェクション — 外部データ経由攻撃

Webページ・メール・PDF埋め込み指示、RAG検索結果の汚染、エージェント自動処理での発火、データとコマンドの分離課題。

学習データ抽出 — LLMからの記憶漏洩

訓練コーパスの逐語再生、個人情報・機密の吐き出し、重複データの記憶、抽出可能性の測定、脱重複による緩和。

回避攻撃 — 推論時のマルウェア検知回避

マルウェア分類器の誤判定誘導、機能保存変換、パッキング、スパムフィルタ回避、実運用セキュリティ製品への攻撃。

勾配マスキング — 見せかけの頑健性

難読化された勾配、シャッタード勾配、確率的防御、BPDAによる突破、偽の安全感、防御評価の落とし穴。

適応攻撃 — 防御を前提とした攻撃設計

防御機構を知った上での最適化、勾配マスキング突破、EOTと近似勾配、Tramèrら評価原則、頑健性主張の検証手法。

入力前処理防御 — 変換による摂動除去

JPEG圧縮、ビット深度削減、全変動最小化、特徴スクイージング、非微分変換、適応攻撃への脆弱性と限界。

敵対的サンプル検知 — 異常入力の識別

統計的検定、特徴分布の逸脱、補助検知器、Mahalanobis距離、検知回避攻撃、検知と分類の二段構え。

AIレッドチーミング — 攻撃者視点の評価演習

組織的な脆弱性探索、自動・手動レッドチーム、脱獄シナリオ、想定外挙動の洗い出し、報告と是正のループ。

AI脅威モデリング — 攻撃面の体系的分析

資産・攻撃者・攻撃経路の整理、ホワイト/ブラックボックス前提、訓練時と推論時の脅威、信頼境界の図式化。

MITRE ATLAS — 敵対的ML戦術知識ベース

ATT&CK型のAI攻撃戦術・技術マトリクス、実世界事例、偵察から影響までのキルチェーン、対策マッピング。

NIST AI RMF — AIリスク管理枠組み

統治・マッピング・測定・管理の四機能、信頼できるAI特性、敵対的堅牢性の位置づけ、組織的リスク運用への統合。

OWASP LLM Top 10 — 大規模言語モデルの脆弱性

プロンプトインジェクション、安全でない出力処理、訓練データ汚染、モデルDoS、サプライチェーン、機微情報漏洩の分類。

MLサプライチェーン — 事前学習モデルの信頼性

モデルハブからの汚染モデル、pickle逆シリアル化リスク、依存パッケージ、SBOM、来歴検証と署名。

モデル署名・来歴 — 完全性の検証

モデル成果物の暗号署名、Sigstore、来歴メタデータ、改ざん検知、配布経路の完全性、検証パイプライン。

モデルウォーターマーク — 知財保護と追跡

重みへの透かし埋め込み、出力ベース透かし、抽出モデルの同定、頑健性と検出率、除去攻撃との攻防。

連合学習のセキュリティ — 分散訓練の脅威

悪意クライアントによる汚染、ビザンチン耐性集約、勾配漏洩、セキュア集約、モデル更新の検証。

勾配漏洩攻撃 — 共有勾配からのデータ復元

DLG深層勾配漏洩、勾配反転による入力・ラベル再構成、連合学習の前提破壊、勾配圧縮・ノイズによる緩和。

頑健性ベンチマーク — 防御の標準評価

RobustBench、AutoAttack、標準攻撃スイート、クリーン精度と頑健精度、リーダーボード、再現性ある比較。

AutoAttack — パラメータフリー評価スイート

APGD-CE/DLR、FAB、Squareの組合せ、ハイパラ調整不要、過大評価の抑制、頑健性主張の標準検証ツール。

転移攻撃対策 — 転移性の抑制

アンサンブル多様化、勾配の相関低減、入力多様化攻撃への防御、代理モデル前提の弱体化、実運用API防御。

レート制限・異常検知 — API濫用の抑止

クエリ頻度監視、抽出・探索攻撃の検知、アカウント単位制限、異常クエリパターン、コスト上限とアラート。

出力フィルタリング — 有害・漏洩出力の遮断

LLM出力の後処理、機微情報マスキング、有害コンテンツ分類、正規表現・分類器併用、二次防御層。

ガードレール — 入出力の安全制約層

入力検証・出力検証の中間層、トピック制限、ツール呼び出し承認、ポリシー適用、エージェント行動の境界。

LLMエージェントのセキュリティ — 自律行動のリスク

ツール実行権限、過剰権限、注入指令による副作用、人間承認ゲート、最小権限、サンドボックス実行。

RAGのセキュリティ — 検索拡張生成の汚染

知識ベース汚染、検索結果経由の間接注入、出典検証、埋め込み空間攻撃、取得文書の信頼度重み付け。

モデル抽出耐性 — 盗用の困難化

出力摂動、確率丸め、透かし埋め込み、クエリ予算管理、抽出検知、精度と保護のトレードオフ。

アンサンブル防御 — 多様なモデルによる頑健化

多様性促進訓練、判定の多数決、転移性低減、計算コスト増、単一点故障の回避、堅牢性の底上げ。

ランダム化スムージング — 確率的認証防御

ガウスノイズ下の予測多数決、L2認証半径、ノイズ規模と保証のトレードオフ、大規模モデルへの適用性。

特徴デノイジング — 内部表現の頑健化

中間層での摂動除去、非局所平均、特徴レベル攻撃への耐性、敵対的訓練との併用、大規模画像分類での効果。

ユニバーサル摂動 — 入力非依存の汎用攻撃

単一摂動で多数入力を誤分類、画像集合上の最適化、事前計算による高速攻撃、汎化する脆弱性の存在。

決定ベース攻撃 — ラベルのみからの攻撃

境界攻撃、HopSkipJump、最終ラベルのみ観測、勾配・確率不要、最も制約的な実運用脅威モデル。

セマンティック攻撃 — 意味保存変換による誤誘導

回転・色調・空間変換、テキストの言い換え・同義語置換、知覚可能だが自然な変化、ノルム制約外の脅威。

テキスト敵対的攻撃 — NLPモデルへの摂動

TextFooler、単語置換、文字レベル摂動、離散空間の勾配近似、感情分析・分類器の誤誘導、意味類似性制約。

顔認識回避 — 生体認証への敵対的攻撃

敵対的メガネフレーム、化粧パターン、なりすまし・回避、物理的頑健性、監視回避、プライバシー保護応用。

自動運転への攻撃 — 認識系の安全性

標識誤認、レーン検知撹乱、LiDARスプーフィング、センサ融合の脆弱性、安全クリティカル系の頑健性要件。

モデルDoS — 計算資源枯渇攻撃

スポンジサンプル、推論コスト増大入力、長文プロンプトによる資源消費、可用性攻撃、コスト上限と入力制限。

セキュアなMLパイプライン — 訓練環境の防護

データ来歴管理、アクセス制御、再現可能ビルド、実験追跡、汚染検知、CI/CDへのセキュリティ統合。

データ来歴・完全性 — 訓練データの信頼保証

データ署名、ハッシュ検証、収集経路の記録、外部データの検疫、ラベル品質監査、汚染混入の防止。

MLモデル監査 — デプロイ前後の検証

頑健性・公平性・プライバシーの点検、第三者評価、ペネトレーションテスト、監査証跡、リリースゲート。

運用時ドリフト監視 — 分布変化と攻撃の識別

入力分布の逸脱検知、コンセプトドリフト、攻撃と自然変化の区別、性能劣化アラート、再学習判断。

AIインシデント対応 — 攻撃検知後の運用手順

検知・封じ込め・根本原因分析・復旧、モデルロールバック、フォレンジック、報告義務、再発防止策の反映。

セキュアなモデルサービング — 推論基盤の防護

認証・認可、入力検証、隔離実行、モデル暗号化、TLS、推論エンドポイントの攻撃面最小化。

秘匿計算による推論 — 準同型暗号とMPC

暗号化データ上の推論、準同型暗号、セキュア多者計算、モデル・入力双方の秘匿、計算オーバーヘッド。

TEEによるML保護 — 信頼実行環境の活用

SGX/TrustZone、エンクレーブ内推論、モデル秘匿と完全性、リモート認証、サイドチャネルの残存リスク。

サイドチャネル攻撃 — 実行時漏洩からの推定

タイミング・電力・キャッシュ観測、モデルアーキテクチャ推定、重み抽出、物理的漏洩、対策としての定時間実装。

モデル反転・属性推論 — 集約情報からの漏洩

出力統計からの属性推定、グループ情報漏洩、公開モデルのプライバシー評価、DPによる緩和、公開範囲設計。

説明可能性の悪用 — 解釈手法への攻撃

顕著性マップの操作、説明の欺瞞、公平性説明の偽装、解釈手法自体の頑健性、監査時の信頼性課題。

生成モデルの悪用 — ディープフェイクと合成偽装

顔・音声合成、なりすまし、偽情報生成、検知器との攻防、透かし・来歴標準、悪用対策の運用。

ディープフェイク検知 — 合成メディアの識別

生成アーティファクト検出、周波数領域の痕跡、生体信号の不整合、検知回避との軍拡、汎化性能の課題。

コンテンツ来歴 — C2PAと生成物の署名

C2PAコンテンツ資格情報、生成AI出力の署名メタデータ、改ざん検知、来歴チェーン、真正性検証の標準化。

AIガバナンス — セキュリティ運用の統治体制

責任分界、ポリシー・監査・報告、リスク受容基準、モデルカード、規制対応、組織横断のセキュリティ運用。

AI規制と準拠 — EU AI Actと安全要件

高リスクAIの頑健性・正確性義務、適合性評価、文書化要件、敵対的堅牢性の法的位置づけ、監督機関対応。

AIペネトレーションテスト — 攻撃演習の実施

攻撃シナリオ設計、脱獄・注入・抽出の試行、実運用エンドポイント検証、報告書、是正優先度付け。

脆弱性開示 — AIバグバウンティと報告

責任ある開示、AI脆弱性の報告経路、バグバウンティ運用、脱獄報告の扱い、修正・再発防止の連携。

頑健性と精度の交換 — 防御コストの評価

敵対的訓練による標準精度低下、頑健性向上の限界、計算コスト、運用要件との折り合い、費用対効果分析。

証明可能防御のスケーラビリティ — 大規模適用の壁

区間束縛の緩さ、大規模ネットワークでの計算量、認証半径の縮小、経験的防御との使い分け、実用性の限界。

汚染データ検知 — 訓練集合の浄化

外れ値検出、スペクトル署名、活性化クラスタリング、勾配整合ポイズンの検知、クリーンラベルの困難さ。

モデルパッチと再学習 — 攻撃発見後の是正

脆弱性へのファインチューニング、敵対的サンプル追加学習、退行防止、パッチ検証、運用中モデルの安全更新。

ログと監査証跡 — 攻撃の追跡可能性

推論リクエスト記録、異常クエリ保全、プロンプト・出力ログ、プライバシー配慮、フォレンジック用証跡設計。

マルチモーダル攻撃 — 画像+テキスト結合脅威

画像埋め込み指示、視覚プロンプトインジェクション、モダリティ跨ぎの摂動、VLMの新規攻撃面、統合防御。

強化学習への攻撃 — 方策の敵対的撹乱

観測摂動による方策誤誘導、報酬ハッキング、環境ポイズニング、頑健RL、安全クリティカル制御のリスク。

グラフニューラルネットへの攻撃 — 構造摂動

エッジ追加削除、ノード特徴改ざん、推薦・不正検知への影響、構造的頑健性、少数改変での性能劣化。

推薦システムへの攻撃 — シリング・注入

偽プロファイル注入、順位操作、フェイクレビュー、協調フィルタの汚染、検知と頑健集約による対策。

モデル秘匿とAPI設計 — 情報漏洩の最小化

確率出力の制限、トップk隠蔽、丸め、エラーメッセージの抑制、抽出・推論攻撃を減らすインタフェース設計。

頑健性の理論 — なぜ敵対的サンプルが存在するか

高次元線形性、非頑健特徴の学習、決定境界の近接、頑健特徴と汎化、理論的説明と反例の議論。

分布外検知 — 想定外入力の拒否

OOD検出、不確実性推定、信頼度較正、敵対的入力の拒絶、開集合認識、選択的予測による安全弁。

較正と不確実性 — 過信の抑制

温度スケーリング、信頼度較正、ベイズ深層学習、敵対的サンプルへの過信、不確実性に基づく棄却運用。

レッドチーム自動化 — 攻撃探索の効率化

自動脱獄生成、勾配・進化探索、LLMによる攻撃プロンプト生成、大規模脆弱性スキャン、カバレッジ評価。

セキュリティ評価の落とし穴 — 誤った頑健性主張

弱い攻撃での過大評価、勾配マスキング見逃し、適応攻撃欠如、再現性不足、査読での評価チェックリスト。

エッジ・組込みAIの防護 — 物理アクセス脅威

デバイス上モデルの抽出、ファームウェア改ざん、量子化モデルの攻撃面、物理保護、更新配信の完全性。

ゼロトラストとAI — 内部境界の再設計

モデル・データ・推論経路への最小権限、継続的検証、コンポーネント間の相互認証、AIシステムへの適用。

量子時代の暗号とML保護 — 耐量子への移行

モデル署名・秘匿計算の耐量子暗号化、ポスト量子アルゴリズム移行、長期完全性、将来リスクへの備え。

AI保険とリスク移転 — 残存リスクの扱い

AI起因損害の補償、リスク定量化、免責範囲、インシデント費用、保険と技術的緩和の組合せ。

オープンソースモデルのセキュリティ — 公開重みの管理

重み公開に伴う攻撃容易化、ファインチューニングでの安全解除、コミュニティ検証、責任ある公開方針。

セキュリティ文化と教育 — 開発者の意識向上

セキュアML開発研修、脅威認識、脆弱性事例共有、設計時セキュリティ、部門横断の啓発と訓練。

攻撃者経済学 — コストとインセンティブ

攻撃のコスト・便益、クエリ予算、標的の価値、防御による攻撃コスト引き上げ、脅威優先度の判断。

標準化動向 — ISO/IECとAIセキュリティ規格

ISO/IEC 24029頑健性、AI管理システム規格、用語標準、評価手法の国際整合、認証制度の展開。

透かし耐性と偽造 — 生成物追跡の攻防

透かし除去攻撃、スプーフィング、頑健性と検出率、統計的透かし、偽陽性リスク、規制要件との整合。

新興脅威 — エージェント連携と自律攻撃

複数エージェント間の指令伝播、自律的な脆弱性探索、ツール連鎖の悪用、監視困難な自動化脅威の展望。

AIセキュリティ運用実務（敵対的攻撃対策） — 退避・古典資料archive

初期の敵対的サンプル研究、防御的蒸留など突破された防御、旧世代の評価手法、歴史的経緯を保存する退避区画。