強化学習とAlphaGoの衝撃

強化学習とAlphaGoの衝撃 — 概要

試行錯誤で方策を学ぶ強化学習の理論と、2016年AlphaGoが囲碁で人間を超えた衝撃までを辿る入門ガイド

強化学習の枠組み — エージェントと環境の相互作用

エージェント、環境、状態、行動、報酬、方策、試行錯誤学習、教師あり学習との違い

マルコフ決定過程 — 逐次意思決定の数理モデル

MDP、状態遷移確率、報酬関数、マルコフ性、有限状態空間、最適方策の存在

ベルマン方程式 — 価値の再帰的分解と最適性

ベルマン期待方程式、ベルマン最適方程式、縮小写像、不動点、価値反復の理論的基礎

価値関数 — 状態価値と行動価値の推定

状態価値関数V、行動価値関数Q、割引累積報酬、最適価値関数、方策評価と方策改善

動的計画法による解法 — モデル既知の計画

方策反復、価値反復、方策評価の反復計算、一般化方策反復、環境モデル既知の前提

モンテカルロ法 — エピソード標本からの価値推定

エピソード終端までの収益標本、初回訪問法と逐次訪問法、方策オン/オフ、重点サンプリング

TD学習 — ブートストラップによる逐次更新

時間的差分誤差、TD(0)、ブートストラップ、モンテカルロ法との比較、オンライン更新

Q学習 — 方策オフ型の行動価値学習

Q値の更新則、最大化演算、方策オフ学習、収束条件、ワトキンスによる定式化

SARSA — 方策オン型TD制御

状態・行動・報酬・次状態・次行動の五つ組、方策オン学習、Q学習との挙動差、崖歩き問題

探索と活用のジレンマ — 未知への挑戦と既知の利用

探索・活用トレードオフ、ε-greedy、ソフトマックス選択、楽観的初期値、後悔最小化

多腕バンディット問題 — 最小構成の逐次決定

スロットマシン比喩、UCBアルゴリズム、トンプソンサンプリング、後悔上界、文脈付きバンディット

関数近似 — 巨大状態空間への一般化

線形近似、タイル符号化、ニューラルネット近似、致命的三要素、収束性の課題

適格度トレースとn段階収益 — TD(λ)の統一視点

適格度トレース、TD(λ)、n段階リターン、前方視点と後方視点、バイアス・分散の調整

方策勾配法 — 方策を直接最適化する

方策勾配定理、確率的方策のパラメータ化、期待収益の勾配上昇、ベースラインによる分散低減

REINFORCE — モンテカルロ方策勾配

ウィリアムズのREINFORCE、対数尤度トリック、エピソード単位更新、高分散問題と対策

アクター・クリティック — 方策と価値の同時学習

アクター(方策)とクリティック(価値)、TD誤差による更新、アドバンテージ関数、A2C構成

報酬設計 — 何を最適化させるかの工学

報酬仮説、疎な報酬と密な報酬、報酬シェーピング、ポテンシャル関数、設計ミスの副作用

割引率と収益定義 — 将来報酬の重み付け

割引率γ、有限地平線と無限地平線、平均報酬基準、エピソード型と継続型タスク

部分観測マルコフ決定過程 — 見えない状態への対処

POMDP、信念状態、観測モデル、履歴依存方策、再帰型ネットワークによる状態推定

サットンとバルト — 強化学習の体系化と教科書

リチャード・サットン、アンドリュー・バルト、教科書『強化学習』、TD学習の提唱、チューリング賞受賞

DQN — 深層Qネットワークの登場

DeepMindのDQN、畳み込みネットとQ学習の結合、2015年Nature論文、生画素からの学習

経験再生 — 過去の遷移を再利用する

リプレイバッファ、遷移の無作為抽出、相関の除去、データ効率向上、方策オフ学習との親和性

ターゲットネットワーク — 学習安定化の仕掛け

目標値計算用の固定ネットワーク、定期的な重み同期、移動目標問題の緩和、発散の防止

Atariベンチマーク — ゲームで測る汎用性

Atari 2600、Arcade Learning Environment、57ゲーム、人間正規化スコア、共通評価基盤

Double DQN — 過大評価バイアスの補正

Q値の過大推定、行動選択と評価の分離、ダブルQ学習の深層版、推定精度の改善

Dueling Network — 状態価値と行動優位の分離

状態価値ストリームとアドバンテージストリーム、集約層、行動選択に効く表現分解

優先度付き経験再生 — 学びの多い経験を重視

TD誤差に基づく優先度、比例方式と順位方式、重要度サンプリング補正、学習の高速化

Rainbow — DQN改良技法の統合

Double DQN、優先度付き再生、Dueling、多段階学習、分布型RL、ノイジーネットの統合検証

分布型強化学習 — 収益の分布そのものを学ぶ

収益分布のモデル化、C51、分位点回帰QR-DQN、期待値を超えるリスク情報の活用

分散型深層強化学習 — 並列化で経験を稼ぐ

A3Cの非同期並列、IMPALAのV-trace、Ape-Xの分散再生、アクターとラーナーの分離

TRPO — 信頼領域による方策更新の制御

信頼領域方策最適化、KLダイバージェンス制約、単調改善保証、自然勾配との関係

PPO — 実装容易な近接方策最適化

クリップ付き目的関数、OpenAIによる提案、TRPOの簡略化、広範な標準手法化、RLHFでの採用

DDPG — 連続行動空間への決定的方策勾配

決定的方策勾配定理、アクター・クリティック構成、経験再生とターゲット網の流用、探索ノイズ

TD3 — 二重クリティックによる安定化

クリティック二重化による過大評価抑制、遅延方策更新、目標方策平滑化、DDPGの改良

SAC — 最大エントロピー強化学習

ソフトアクター・クリティック、エントロピー項付き目的、温度パラメータ、探索と頑健性の両立

アドバンテージ推定 — GAEによる分散低減

一般化アドバンテージ推定、λによるバイアス・分散調整、方策勾配法の実用化を支える技術

エントロピー正則化 — 方策の多様性維持

方策エントロピーのボーナス項、早期収束の防止、探索促進、ソフト価値関数との関係

連続制御ベンチマーク — 物理シミュレーション課題

MuJoCo物理エンジン、歩行・走行・マニピュレーション課題、ヒューマノイド制御、評価の標準化

モデルベース強化学習 — 環境モデルを使う計画

遷移モデルの学習、想像上のロールアウト、サンプル効率、モデル誤差の複利、世界モデル

Dynaアーキテクチャ — 学習と計画の統合

サットンのDyna-Q、実経験とモデル生成経験の併用、計画ステップ、背景計画の考え方

ミニマックス探索 — 二人零和ゲームの古典解法

ゲーム木、ミニマックス法、アルファベータ枝刈り、評価関数、探索深さと水平線効果

サミュエルのチェッカー — 機械学習ゲームAIの祖

アーサー・サミュエル、1950年代IBM、チェッカープログラム、自己対戦、評価関数の自動調整

TD-Gammon — TD学習によるバックギャモン

ジェラルド・テザウロ、1990年代IBM、TD(λ)とニューラルネット、自己対戦学習、人間トップ級到達

Deep Blue — チェス制覇と探索型AIの到達点

IBM Deep Blue、1997年カスパロフ戦勝利、専用ハードウェア、力任せ探索、学習型との対比

囲碁の計算困難性 — なぜ囲碁は最後の砦だったか

19路盤の局面数、分岐因子約250、評価関数設計の困難、チェスとの質的差、長年の停滞

モンテカルロ木探索 — ランダムシミュレーションの計画

MCTS、選択・展開・シミュレーション・逆伝播の四段階、非対称木成長、囲碁AIの転機

UCTアルゴリズム — バンディットと木探索の融合

UCB1の木探索適用、探索と活用の均衡、収束保証、2006年以降の囲碁プログラム革新

AlphaGo以前の囲碁プログラム — MCTS世代の到達点

Crazy Stone、Zen、MoGo、モンテカルロ革命、アマ高段レベル到達、プロとの置き碁対局

DeepMind — AlphaGoを生んだ研究組織

2010年ロンドン創業、2014年Google買収、汎用AI志向、ゲームを題材とする研究戦略

ハサビスとシルバー — 開発を率いた研究者たち

デミス・ハサビス、デイビッド・シルバー、チェス少年からAI研究へ、強化学習研究の系譜

AlphaGoの全体構成 — 深層学習と木探索の結合

方策ネットワーク、価値ネットワーク、MCTS、ロールアウト、四要素の統合アーキテクチャ

方策ネットワーク — 次の一手の確率分布を学ぶ

畳み込みネットによる着手予測、盤面特徴入力、探索の幅を絞る事前分布、高速ロールアウト方策

価値ネットワーク — 局面の勝率を直接評価

局面から勝率を回帰、評価関数の学習的獲得、探索の深さ削減、自己対戦棋譜での訓練

人間棋譜からの教師あり学習 — 第一段階の模倣

KGS囲碁サーバーの棋譜、約3000万局面、着手予測精度、模倣学習としての初期化

自己対戦による強化学習 — 模倣を超える段階

方策勾配による自己対戦改善、過去の自分との対局、勝敗報酬、人間の手を超える方策獲得

探索と評価の統合 — MCTSへのネットワーク組み込み

方策ネットで枝を絞り価値ネットとロールアウトで評価、非同期分散探索、GPU/TPU活用

樊麾戦 — プロ棋士への初勝利

2015年10月、欧州王者樊麾二段に5戦全勝、ハンデなし19路盤で初のプロ撃破、極秘対局

2016年Nature論文 — 手法公開と学術的衝撃

論文「Mastering the game of Go」、樊麾戦結果の公表、囲碁AI研究の常識刷新、再現研究の起点

イ・セドル五番勝負 — 2016年ソウルの世紀の対局

2016年3月、李世乭九段と五番勝負、4勝1敗、世界中継、囲碁界と社会への衝撃

第2局37手目 — 人間の定石を超えた一手

五線への肩ツキ、人間なら打たない低確率の手、解説者の驚愕、創造性議論の象徴

第4局78手目 — イ・セドルの「神の一手」

白78の割り込み、AlphaGoの混乱と敗北、人間側唯一の勝利、弱点の露呈と示唆

Master 60連勝 — ネット碁での無敗行進

2016年末〜2017年初、匿名アカウントMaster、トップ棋士相手に公式60連勝、正体公表

柯潔戦と烏鎮サミット — 人間トップとの最終対局

2017年5月、世界最強柯潔九段に3連勝、ペア碁と相談碁、AlphaGo競技引退の宣言

AlphaGo Zero — 人間の棋譜を使わない学習

2017年Nature論文、自己対戦のみで超越、単一ネットワーク化、ロールアウト廃止、tabula rasa

AlphaZero — チェス・将棋への一般化

2018年Science論文、囲碁・チェス・将棋を同一アルゴリズムで制覇、StockfishとElmoへの勝利

MuZero — ルールすら教えない世界モデル学習

2020年発表、環境モデルの潜在空間学習、ルール不要の計画、Atariとボードゲームの統一

白紙からの学習の意義 — 人間知識依存の脱却

人間データなし学習の含意、独自定石の発見、知識注入と自己発見の対比、汎用性への示唆

強さの評価 — Eloレーティングと自己対戦検証

Eloレーティング、バージョン間対戦、分散評価、ハンデ戦、計算資源と棋力の関係測定

オープンソース再現 — 誰でも使える囲碁AIへ

Leela Zero、KataGo、ELF OpenGo、分散コミュニティ学習、棋士の研究ツール化

囲碁界への影響 — AI流の定石と研究様式の変化

三々入り早打ちなど新定石、AI検討ソフトの普及、勝率グラフ解説、布石理論の刷新

AlphaStar — StarCraft IIへの挑戦

2019年DeepMind、リアルタイム戦略ゲーム、不完全情報と長期戦略、リーグ型自己対戦学習

OpenAI Five — Dota 2でのチーム戦AI

2019年世界王者チーム撃破、5対5協調、大規模PPO学習、長時間ゲームの信用割当

ポーカーAI — 不完全情報ゲームの攻略

Libratus、Pluribus、テキサスホールデム、反実仮想後悔最小化CFR、ブラフの計算

ロボティクス応用 — 実機での強化学習

把持・歩行・器用な操作の学習、実機試行のコスト、安全制約、ルービックキューブ操作の研究

シミュレーションから実世界へ — sim-to-real転移

ドメインランダム化、物理パラメータ摂動、現実ギャップ、シミュレータ忠実度、転移学習

実験環境の標準化 — Gymとベンチマーク基盤

OpenAI Gym、環境API、CartPoleなど古典課題、再現性問題、後継ライブラリへの継承

制御・運用への応用 — 現実システムの最適化

推薦システム、広告配信、交通信号制御、電力管理、自動運転の意思決定への適用と課題

データセンター冷却最適化 — DeepMindの産業応用

Googleデータセンターの冷却制御、消費エネルギー削減、センサー入力と安全制約下の運用

科学・工学への波及 — 探索型AIの新領域

AlphaTensorの行列積アルゴリズム発見、AlphaDevのソート改良、核融合プラズマ制御研究

RLHF — 人間フィードバックによる言語モデル調整

人間の選好データ、報酬モデル学習、PPOによる微調整、対話AIの整合、AlphaGo技術の意外な継承

逆強化学習 — 行動から報酬関数を推定する

専門家の軌跡から報酬を逆算、最大エントロピー逆強化学習、意図推定、模倣との関係

模倣学習 — 手本から方策を写し取る

行動クローニング、分布シフト問題、DAgger、専門家デモンストレーション、運転や操作への応用

オフライン強化学習 — 固定データセットからの学習

追加の環境試行なし学習、分布外行動の過大評価、保守的Q学習、医療・実務データ活用

マルチエージェント強化学習 — 複数主体の同時学習

協調と競争、非定常環境問題、集中学習・分散実行、コミュニケーション創発、群制御

自己対戦学習 — 自分自身を教師にする仕組み

セルフプレイ、過去バージョンとの対戦プール、方策の循環抑制、自動カリキュラム効果

階層型強化学習 — 行動の抽象化と分解

オプション枠組み、サブゴール設定、時間的抽象化、上位方策と下位方策、長期課題への対処

内発的動機づけ — 好奇心が駆動する探索

予測誤差ボーナス、カウントベース探索、Random Network Distillation、新規性追求

難探索問題 — 疎報酬ゲームの壁

Montezuma's Revenge、報酬までの長い行動列、探索ボーナス、Go-Explore、デモ利用

報酬ハッキング — 仕様の穴を突く学習

仕様ゲーミング、代理指標の悪用事例、ボートレースゲームの周回稼ぎ、報酬設計とAI安全性

サンプル効率と汎化 — 深層強化学習の弱点

膨大な試行回数、人間との学習効率差、過適合、環境の僅かな変化への脆弱性、再現性危機

神経科学との接点 — ドーパミンとTD誤差

ドーパミンニューロンの報酬予測誤差仮説、シュルツらの実験、計算神経科学、脳の学習理論

ゲーム理論との接続 — 均衡と最適応答

ナッシュ均衡、零和ゲームのミニマックス定理、後悔最小化、虚構プレイ、均衡計算への学習

「苦い教訓」 — 計算力と学習が勝つという主張

サットン2019年のエッセイ、人手の知識より計算スケール、探索と学習の二本柱、賛否の議論

社会的反響 — AlphaGoが変えたAI観

世界的報道、AIブームの加速、各国のAI国家戦略への刺激、囲碁発祥地域での受け止め

棋士たちの受容 — 敗北から共存へ

イ・セドルの2019年引退表明、AIを師とする若手棋士、検討文化の変容、人間らしさの再定義

ドキュメンタリー『AlphaGo』 — 対局の記録映像

2017年公開の記録映画、ソウル五番勝負の舞台裏、開発チームと棋士双方の視点、科学広報の事例

強化学習の学び方 — 教材と実装演習

サットン&バルト教科書、公開講義、Gym環境での実装演習、簡易ゲームでの再現実験、可視化

汎用人工知能への含意 — ゲームの先にあるもの

閉世界ゲームと開世界の差、報酬だけで知能は足りるか論争、探索型AIと生成AIの融合展望

強化学習とAlphaGoの衝撃 — 退避・古典資料archive

旧版の解説、歴代対局棋譜アーカイブ、初期プログラムの資料など過去版・退避コンテンツ置き場