強化学習理論（Q学習・政策勾配）

強化学習理論（Q学習・政策勾配） — 概要

試行錯誤と報酬から方策を学ぶ強化学習の理論体系。MDP、価値関数、Q学習、方策勾配、深層強化学習までの入門ガイド

マルコフ決定過程（MDP） — 逐次意思決定の数理的枠組み

状態集合、行動集合、遷移確率、報酬関数、マルコフ性、エピソード的タスクと継続的タスクの定式化

報酬仮説と収益 — 割引率による将来報酬の集約

即時報酬、累積収益、割引率γ、有限・無限ホライズン、報酬のスカラー化仮説、収益の期待値最大化

価値関数 — 状態価値Vと行動価値Qの定義

状態価値関数V(s)、行動価値関数Q(s,a)、方策依存性、期待収益としての解釈、価値関数間の関係式

ベルマン期待方程式 — 価値関数の再帰的分解

ベルマン方程式、一段先読み展開、遷移確率と割引の再帰構造、線形方程式系としての厳密解

ベルマン最適方程式 — 最適方策と最適価値の特徴づけ

最適価値関数V*・Q*、max作用素、方策の半順序、最適方策の存在定理、貪欲方策による最適性

動的計画法 — 方策反復と価値反復

方策評価、方策改善、方策反復法、価値反復法、縮小写像と不動点定理、一般化方策反復（GPI）

モンテカルロ法 — エピソード標本からの価値推定

初回訪問MC・全訪問MC、エピソード完了後の更新、モデル不要推定、探索開始、MC制御

TD学習 — ブートストラップによる逐次価値更新

TD(0)、TD誤差、ブートストラップ、MC法との分散・バイアス比較、バッチTDと確実性等価推定

Q学習 — オフポリシー型TD制御の代表手法

ワトキンスのQ学習、max演算による更新則、挙動方策と目標方策の分離、表形式での収束保証

SARSA — オンポリシー型TD制御

状態・行動・報酬・次状態・次行動の五つ組更新、Q学習との違い、期待SARSA、崖歩き課題での挙動差

探索と活用のトレードオフ — ε-greedyと探索戦略

ε-greedy、ソフトマックス（ボルツマン）選択、楽観的初期値、探索の必要性、GLIE条件

多腕バンディット問題 — 単一状態での逐次選択理論

腕の期待報酬推定、リグレット、貪欲法の限界、増分更新式、非定常問題と固定ステップサイズ

UCBアルゴリズム — 不確実性に基づく楽観的行動選択

信頼上界、UCB1、対数リグレット上界、不確実性下の楽観主義原理、探索ボーナス項の設計

トンプソンサンプリング — ベイズ的事後分布からの選択

事後分布サンプリング、ベータ・ベルヌーイモデル、確率一致法、文脈付きバンディットへの拡張

文脈付きバンディット — 特徴量を用いた逐次的意思決定

文脈ベクトル、線形報酬モデル、LinUCB、広告配信・推薦への応用、完全RLとの中間的位置づけ

価値関数近似 — 表形式から関数近似への拡張

線形関数近似、特徴ベクトル、タイルコーディング、勾配降下TD、近似誤差と射影ベルマン方程式

深層Qネットワーク（DQN） — ニューラル網によるQ関数学習

畳み込み網によるQ近似、Atariゲームでの人間水準到達、生画素入力、フレームスタック、報酬クリッピング

経験再生 — 遷移バッファによる標本効率化

リプレイバッファ、標本相関の低減、ミニバッチ学習、データ再利用、オフポリシー性との関係

ターゲットネットワーク — 学習安定化のための固定目標

目標値ネットワークの周期的同期、移動目標問題の緩和、ソフト更新（ポリアク平均）、学習発散の抑制

Double Q学習 — 過大評価バイアスの補正

max演算による過大評価、推定器の二重化、選択と評価の分離、Double DQNへの深層拡張

Duelingネットワーク — 状態価値と行動優位の分離表現

V(s)とアドバンテージA(s,a)の分岐構造、集約層の設計、行動に依存しない価値の効率的学習

優先度付き経験再生 — TD誤差に基づく標本重み付け

TD誤差比例サンプリング、重要度サンプリング補正、優先度の希釈化パラメータ、学習の高速化

Rainbow — DQN改良手法の統合と効果検証

Double・Dueling・優先度再生・多段収益・分布型・ノイジーネットの統合、各要素の寄与分析（アブレーション）

分布型強化学習 — 収益分布そのものの学習

カテゴリ分布によるC51、分位点回帰QR-DQN、分布ベルマン作用素、期待値を超えた収益分布情報の活用

方策勾配定理 — 期待収益の方策パラメータ微分

パラメトリック方策、スコア関数、状態訪問分布、勾配の期待値表現、価値ベース法との対比

REINFORCE — モンテカルロ方策勾配法

エピソード収益による勾配推定、対数尤度トリック、高分散の課題、ウィリアムズによる定式化

ベースラインと分散削減 — 不偏性を保つ勾配推定の工夫

状態価値ベースライン、不偏性の証明、分散低減、制御変量法、平均報酬の差し引き

Actor-Critic法 — 方策と価値の同時学習

アクター（方策）とクリティック（価値）、TD誤差による方策更新、一段ブートストラップ、二時間スケール学習

A3C・A2C — 並列環境による非同期・同期学習

非同期並列アクター、勾配の集約、リプレイ不要のオンポリシー学習、同期版A2Cとの比較、CPU並列化

アドバンテージ関数とGAE — バイアスと分散の調整

アドバンテージA=Q-V、一般化アドバンテージ推定（GAE）、λパラメータ、多段TD誤差の指数加重和

自然方策勾配 — フィッシャー情報行列による勾配補正

パラメータ空間と方策空間の距離、フィッシャー情報行列、KLダイバージェンス、共役勾配法による近似計算

TRPO — 信頼領域法による単調方策改善

KL制約付き最適化、代理目的関数、単調改善保証の理論、信頼領域、大規模ニューラル方策への適用

PPO — クリップ付き代理目的による実用的方策最適化

確率比のクリッピング、複数エポック再利用、実装の簡便さ、TRPOの近似としての位置づけ、広範な標準手法化

決定的方策勾配（DPG） — 連続行動への決定的方策の勾配

決定的方策の勾配定理、Q関数の行動微分、オフポリシー学習との親和性、確率的方策勾配との関係

DDPG — 深層決定的方策勾配による連続制御

アクター・クリティックの深層化、経験再生とターゲット網の併用、探索ノイズ（OU過程・ガウス）、連続制御課題

TD3 — 二重クリティックと遅延更新による安定化

クリップ付きDouble Q、方策更新の遅延、ターゲット方策平滑化、DDPGの過大評価対策三点セット

SAC — 最大エントロピー強化学習の実用手法

エントロピー正則化目的、ソフト価値関数、温度パラメータ自動調整、確率的方策、標本効率と頑健性

エントロピー正則化理論 — 探索促進と方策の平滑化

ソフトベルマン方程式、KL正則化MDP、ボルツマン方策、探索と正則化の統一的解釈

適格度トレースとTD(λ) — 多段更新の統一的枠組み

λ収益、前方視点と後方視点、適格度トレースの減衰、置換型と累積型、MC法とTD(0)の連続的補間

nステップ法 — 多段ブートストラップの中間手法

nステップ収益、nステップTD・SARSA、更新遅延、バイアス・分散トレードオフの調整、Rainbowでの活用

オフポリシー学習と重要度サンプリング — 別方策データの補正

挙動方策と目標方策、重要度比、通常IS・加重IS、分散爆発問題、Retraceなどの比の打ち切り手法

確率近似と収束理論 — Q学習収束の数学的基盤

ロビンス・モンローの確率近似、ステップサイズ条件、縮小写像、確率的不動点定理、表形式Q学習の収束証明

致命的三徴（deadly triad） — 発散を招く三要素の組合せ

関数近似・ブートストラップ・オフポリシーの同時使用、ベアードの反例、半勾配法の不安定性、GTD系の解決策

平均報酬MDP — 割引なし定常性能の最適化

平均報酬基準、差分価値関数、利得と偏差、単連鎖仮定、継続的タスクにおける割引率の問題点

部分観測MDP（POMDP） — 観測不完全下の意思決定

観測関数、信念状態、信念MDPへの変換、計算複雑性、履歴依存方策、RNNによる近似的取り扱い

報酬設計と報酬シェーピング — 学習を導く報酬の工夫

ポテンシャルベースシェーピング、最適方策不変性の定理、疎な報酬と密な報酬、副作用と誤誘導のリスク

スパース報酬問題 — 報酬希薄環境での学習困難

到達困難な目標、探索の失敗、報酬なし区間の信用割当、階層化・内発的報酬・デモ利用などの対策群

信用割当問題 — 遅延報酬の原因行動への帰属

時間的信用割当、遅延報酬、適格度トレースによる帰属、長期依存、構造的信用割当との区別

モデルベース強化学習 — 環境モデルの学習と活用

遷移モデル・報酬モデルの学習、プランニングとの統合、標本効率の向上、モデル誤差の複利的蓄積問題

Dynaアーキテクチャ — 実経験と模擬経験の統合学習

Dyna-Q、モデルからの仮想遷移生成、プランニング反復、優先度付きスイーピング、学習と計画の統一

世界モデル — 潜在空間での環境シミュレーション

潜在状態表現、変分オートエンコーダ、想像上のロールアウトによる方策学習、Dreamer系列の潜在プランニング

モンテカルロ木探索（MCTS） — 選択的先読みによる行動計画

選択・展開・シミュレーション・逆伝播の四段階、UCT、木の非対称成長、囲碁などゲームAIでの成功

AlphaGoとAlphaZero — 自己対戦と探索の融合による飛躍

方策網と価値網、MCTSとの結合、人間棋譜からの学習と自己対戦のみの学習、囲碁・チェス・将棋の統一手法

MuZero — ルール未知環境でのモデルベース計画

学習された潜在ダイナミクスでのMCTS、環境ルールの不要化、価値・方策・報酬の三予測、ボードゲームとAtariの統一

TD-Gammon — 初期の強化学習成功例

テサウロによるバックギャモンAI、TD(λ)とニューラル網の結合、自己対戦学習、深層強化学習の先駆的実証

Atariベンチマーク（ALE） — 深層RL評価の標準環境

Arcade Learning Environment、57ゲーム群、人間正規化スコア、スティッキーアクション、評価プロトコルの標準化

シミュレーション環境群 — Gym・MuJoCoと連続制御課題

OpenAI Gym/Gymnasiumの環境API、MuJoCo物理エンジン、ロコモーション課題、環境インタフェースの共通化

階層型強化学習 — オプションによる時間的抽象化

オプション枠組み、セミMDP、開始集合・内部方策・終了条件、サブゴール発見、長期タスクの分解

内発的動機づけ — 好奇心と新規性による自律探索

予測誤差ベースの好奇心、カウントベース探索ボーナス、擬似カウント、乱数網蒸留（RND）、新規性追求

Hindsight Experience Replay — 失敗経験の目標再解釈

達成済み状態を事後的に目標と見なす再ラベル、目標条件付き方策、疎報酬ロボット操作課題での有効性

目標条件付き強化学習 — 多目標を扱う汎用価値関数

目標条件付きQ関数、汎用価値関数近似（UVFA）、目標空間の設計、到達課題、任意目標への汎化

カリキュラム学習 — 課題難易度の段階的設計

易しい課題から難課題への漸進、自動カリキュラム生成、教師タスク選択、逆向きカリキュラム、学習効率の改善

マルチエージェント強化学習 — 複数学習主体の相互作用

非定常性問題、集中訓練・分散実行（CTDE）、協調と競争、信用割当の分配、通信の創発

自己対戦（self-play） — 対戦相手との共進化学習

過去の自分との対戦、リーグ戦訓練、戦略の多様性維持、循環的優劣（じゃんけん構造）への対処

ゲーム理論と均衡学習 — ナッシュ均衡への収束

ゼロサムゲーム、ナッシュ均衡、虚構プレイ、後悔最小化（CFR）、ポーカーなど不完全情報ゲームの求解

逆強化学習 — 行動観察からの報酬関数推定

専門家軌跡からの報酬復元、最大エントロピー逆強化学習、報酬の不定性、徒弟学習、意図推定への応用

模倣学習 — デモンストレーションからの方策獲得

行動クローン、複合誤差と分布シフト、DAgger、専門家データの活用、強化学習との併用（デモ付きRL）

敵対的模倣学習（GAIL） — 識別器を用いた分布一致

生成敵対的枠組みの模倣への適用、占有度measure一致、識別器による報酬信号、報酬設計不要の方策学習

オフライン強化学習 — 固定データセットからの方策学習

バッチRL、分布外行動の外挿誤差、行動制約、悲観的価値推定、D4RLベンチマーク、実世界データ活用

保守的Q学習（CQL）と悲観主義 — オフラインでの過大評価抑制

分布外行動のQ値抑制、下界の学習、不確実性ペナルティ、モデルベース悲観手法、安全側の方策改善

分散型強化学習システム — 大規模並列データ収集基盤

Ape-Xの分散優先度再生、IMPALAとV-trace補正、アクターとラーナーの分離、スループットと方策遅延

標本効率 — 必要経験量の削減という中心課題

環境相互作用コスト、モデルベース化・再生・補助タスクによる効率化、実世界応用への律速要因

再現性とハイパーパラメータ感度 — 深層RL実験の信頼性問題

乱数シードによる性能変動、実装差の影響、報告手法の統計的検証、評価プロトコル標準化の議論

汎化とドメインランダム化 — 未知環境への頑健性

訓練環境への過適合、手続き的環境生成、物理パラメータの乱択、視覚的多様化、汎化評価ベンチマーク

sim-to-real転移 — シミュレーションから実機への橋渡し

現実とのギャップ（reality gap）、ドメイン適応、系統同定、実機微調整、ロボット制御での転移戦略

ロボティクス応用 — 操作・歩行・器用な制御の学習

マニピュレーション、脚式ロコモーション、把持学習、実機データ収集、安全な探索、残差方策学習

推薦・広告への応用 — 逐次的ユーザー相互作用の最適化

スレート推薦、長期エンゲージメント最大化、オフポリシー評価、バンディットとの使い分け、探索コスト管理

資源管理・運用最適化への応用 — 制御対象としての社会基盤

データセンター冷却、電力需給調整、在庫管理、交通信号制御、ジョブスケジューリングへの適用事例

医療・動的治療方針への応用 — 逐次的治療決定の最適化

動的治療レジーム、観察データからのオフライン学習、安全性制約、因果推論との接点、評価の倫理的課題

対話・言語生成への応用 — 系列生成の方策としての定式化

トークン選択の逐次決定問題化、対話方策学習、評価指標を報酬とする微調整、露出バイアスへの対処

RLHF — 人間フィードバックによる強化学習

選好データからの報酬モデル学習、PPOによる言語モデル微調整、KLペナルティ、大規模言語モデル整合の中核技術

報酬ハッキングと仕様ゲーミング — 目的関数の抜け穴悪用

代理報酬の過剰最適化、意図と仕様の乖離、グッドハートの法則、観測改ざん、整合性研究への接続

安全な強化学習 — 制約付きMDPと安全探索

制約付きMDP（CMDP）、ラグランジュ緩和、コスト制約、安全層による行動射影、学習中の危険回避

リスク考慮型強化学習 — 分散やCVaRを含む目的設計

リスク回避的目的、条件付きバリューアットリスク（CVaR）、分布型RLとの結合、最悪ケース性能の保証

ロバスト強化学習 — モデル不確実性への耐性

ロバストMDP、遷移の不確実性集合、min-max最適化、敵対的擾乱への耐性、分布シフト下の性能保証

メタ強化学習 — 学習の仕方自体を学ぶ枠組み

タスク分布への適応、MAMLの勾配ベース適応、RNNによる高速適応（RL²）、少数試行での新課題習得

表現学習と補助タスク — 状態表現の質による学習改善

補助予測タスク、対比学習、状態抽象化、ビシミュレーション距離、画素からの効率的特徴獲得

転移学習と継続学習 — 課題間での知識再利用

方策・価値・表現の転移、破滅的忘却、タスク系列学習、スキルの蓄積と再合成、生涯学習エージェント

オフポリシー評価（OPE） — 展開前の方策性能推定

重要度サンプリング推定量、二重頑健推定、モデルベース評価、高信頼下界、実運用前の安全な性能検証

サットン&バルト教科書と学術基盤 — 分野の標準文献と学史

『Reinforcement Learning: An Introduction』、ベルマンの動的計画法、ワトキンスのQ学習、分野形成の系譜

神経科学との接点 — ドーパミンと報酬予測誤差仮説

ドーパミンニューロンの位相性応答、TD誤差との対応、大脳基底核モデル、計算論的神経科学への波及

心理学的起源 — オペラント条件づけと強化の概念

ソーンダイクの効果の法則、スキナーのオペラント条件づけ、強化スケジュール、試行錯誤学習の行動科学的基盤

進化戦略との比較 — 勾配を使わない方策探索

進化戦略（ES）、CMA-ES、ブラックボックス最適化、並列性の利点、方策勾配法との性能・特性比較

リグレット解析と学習理論 — 理論保証の枠組み

リグレット上下界、PAC-MDP、探索の計算量、楽観主義に基づくアルゴリズム（UCRL系）、標本複雑度

一般価値関数と予測的知識 — 多様な信号の予測学習

一般価値関数（GVF）、疑似報酬、Hordeアーキテクチャの発想、予測としての知識表現、継続的多目的予測

系列モデルとしての強化学習 — Transformerによる軌跡モデリング

Decision Transformer、収益条件付き系列生成、軌跡の教師あり学習化、大規模系列モデルと意思決定の融合

実装フレームワークとツール — 研究・開発を支えるソフトウェア

Stable-Baselines3、RLlib、実装再現の落とし穴、ベクトル化環境、ロギングと実験管理の実務

教育と演習 — 強化学習の学習カリキュラム

格子世界演習、CartPole等の入門課題、教科書演習問題、講義資料、実装課題による段階的習得の設計

強化学習理論（Q学習・政策勾配） — 退避・古典資料archive

旧版教科書、歴代手法の原論文アーカイブ、過去のベンチマーク記録、更新済み資料の退避保管領域