強化学習環境設計（シミュレータ）

強化学習環境設計（シミュレータ） — 概要

MDP定式化、Gymnasium API、物理エンジン、報酬設計、sim-to-real転移まで、強化学習環境構築の全体入門ガイド

マルコフ決定過程（MDP） — 環境定式化の数学的基礎

状態集合、行動集合、遷移確率、報酬関数、割引率、ベルマン方程式、エピソード的/継続的タスクの区別

部分観測マルコフ決定過程（POMDP） — 不完全情報環境の定式化

信念状態、観測関数、履歴依存方策、フレームスタック、RNN方策、情報を隠す設計判断

状態・観測空間の設計 — エージェントに何を見せるか

ピクセル観測、特徴量ベクトル、Box/Discrete/Dict空間、正規化、観測遅延、ノイズ付与

行動空間の設計 — 離散・連続・ハイブリッド

Discrete行動、連続トルク制御、MultiDiscrete、パラメータ付き行動、行動マスキング、制御粒度の選択

報酬関数の設計 — 目的をスカラーに翻訳する

疎報酬と密報酬、報酬スケーリング、ペナルティ項、多目的の重み付け、報酬設計の典型的失敗例

エピソード設計と終了条件 — terminatedとtruncatedの区別

TimeLimit、成功/失敗判定、リセット分布、初期状態ランダム化、打ち切り時のブートストラップ処理

環境API標準 — reset/stepインタフェース

OpenAI Gym、Gymnasium、observation/reward/terminated/truncated/info、render、spaces定義

乱数と再現性 — シード管理と決定性

seed指定、疑似乱数生成器、決定的リプレイ、物理・並列・GPU由来の非決定性、再現検証の手順

ラッパー設計 — 環境を合成的に拡張する

観測変換、報酬クリップ、フレームスキップ、行動リピート、正規化ラッパー、記録・モニタリング

ベクトル化環境 — 並列ロールアウトのAPI

SyncVectorEnv、AsyncVectorEnv、サブプロセス並列、自動リセット、バッチ観測、収集スループット

物理エンジンの基礎 — 剛体動力学と数値積分

運動方程式、オイラー法/ルンゲクッタ法、タイムステップ、拘束ソルバ、安定性と精度のトレードオフ

MuJoCo — ロボティクス研究標準の物理エンジン

一般化座標、接触の凸最適化、MJCFモデル記述、アクチュエータ、DeepMind傘下でのオープンソース化

PyBullet / Bullet — オープンソース物理シミュレーション

URDF読み込み、衝突判定、ロボットアーム/四足歩行の例題、内蔵レンダラ、無償利用の利点

接触・摩擦のモデリング — シミュレーションの難所

接触力計算、クーロン摩擦、貫入、ソフト接触近似、把持タスクでの精度問題、パラメータ同定

変形体・流体シミュレーション — 剛体を超える環境

布、ロープ、ソフトボディ、粒子法、流体力学、調理・縫製タスク、計算コストとの折り合い

センサシミュレーション — 観測の物理的生成

カメラ画像、深度、LiDAR点群、IMU、力覚センサ、ノイズモデル、センサ遅延の再現

レンダリングと視覚観測 — 画像ベースRLの土台

OpenGL/EGLヘッドレス描画、解像度と速度、フォトリアリズム、合成データ生成、カメラ視点設計

GPU並列シミュレーション — 数千環境の同時実行

Isaac Gym、Brax、JAXベース物理、エンドツーエンドGPU学習、ロコモーションの短時間学習

微分可能シミュレーション — 勾配が通る物理

微分可能物理エンジン、解析的勾配による方策最適化、接触の非平滑性、システム同定への応用

実時間性と制御周波数 — シミュレーション時間の設計

制御周期、フレームスキップ、実時間係数、遅延のモデリング、実機とのタイミング整合

古典制御タスク — CartPole・Pendulumほか

倒立振子、MountainCar、Acrobot、低次元状態空間、アルゴリズム検証用の最小ベンチマーク

Box2D系環境 — LunarLander・BipedalWalker

2次元物理、月面着陸、二足歩行、CarRacing、離散/連続両対応、入門用ベンチマークの定番

Arcade Learning Environment — Atari 2600ベンチマーク

57ゲーム、ピクセル観測、DQN以来の標準評価、sticky actions、人間正規化スコア

dm_control — DeepMindの連続制御スイート

MuJoCoベース、walker/cheetah/humanoidタスク、状態/ピクセル観測、一貫した報酬設計

MuJoCoロコモーション課題 — HalfCheetah・Ant・Humanoid

関節トルク制御、前進報酬、生存ボーナス、方策勾配法・Actor-Critic法の標準ベンチマーク

Procgen — 手続き生成による汎化評価

16種のゲーム、レベル自動生成、訓練/評価レベル分割、環境過学習の測定、難易度分布設計

MiniGrid・BabyAI — 軽量グリッドワールド

部分観測、鍵と扉のタスク、言語指示、疎報酬、探索・カリキュラム研究向けの定番環境

NetHack Learning Environment — 高難度ローグライク

手続き生成ダンジョン、長期戦略、記号的観測、極端な疎報酬、探索アルゴリズムの限界試験

VizDoom・DeepMind Lab — 一人称視点3D環境

FPS視点ナビゲーション、迷路課題、ピクセル観測、記憶課題、3D空間での探索研究

Crafter — サバイバル型の総合評価環境

2Dオープンワールド、実績ベース評価、資源収集とクラフト、長期依存、世界モデル研究の題材

Gym Retro — 家庭用ゲーム機エミュレータ環境

レトロゲームのエミュレーション、セーブステート、報酬定義ファイル、汎化コンテストでの利用

ゴール条件付き環境 — Fetchロボティクスタスク

目標指定観測、到達/押し/持ち上げ課題、Hindsight Experience Replay、疎報酬の克服

robosuite — マニピュレーション研究基盤

MuJoCoベース、多様なロボットアーム、把持/組立タスク、モジュール式タスク構成、模倣学習データ

Meta-World — メタ学習向け50タスク群

共通アームによる50操作課題、ML1/ML10/ML45プロトコル、タスク間転移、マルチタスクRL評価

RLBench — 100タスクのロボット学習ベンチマーク

CoppeliaSim基盤、視覚観測、デモンストレーション自動生成、言語指示付きの操作課題

Isaac Sim / Isaac Lab — NVIDIAのロボットシミュレータ

PhysXエンジン、Omniverse、GPU大規模並列、フォトリアリスティック描画、産業ロボット応用

Gazebo — ROS連携の標準シミュレータ

ROS/ROS2統合、センサプラグイン、移動ロボット、SITL検証、研究・教育での広い普及

Webots — 統合ロボットシミュレーション環境

多様なロボットモデル、コントローラAPI、教育利用、オープンソース化されたクロスプラットフォーム基盤

Unity ML-Agents — ゲームエンジン製環境の構築

Unityシーン設計、Behavior定義、カリキュラム機能、セルフプレイ、Python学習側との連携

Habitat — 室内ナビゲーション用フォトリアル環境

3Dスキャン住宅データ、PointNav/ObjectNav、高速レンダリング、身体性AI（Embodied AI）研究

AirSim — ドローン・車両の空間シミュレータ

Unreal Engine基盤、クアッドコプター、視覚データ収集、天候変化、自律飛行研究

テレオペレーションとデモ収集 — 人間データの取り込み

VRコントローラ操作、キネステティック教示、模倣学習用データセット、逆強化学習への接続

CARLA — 自動運転オープンシミュレータ

市街地マップ、歩行者・車両の交通参加者、センサスイート、天候制御、運転ベンチマーク

highway-env — 運転意思決定の軽量環境

車線変更、合流、交差点、ラウンドアバウト、行動レベル制御、運転方策の意思決定研究

SUMO・Flow — 交通流シミュレーションとRL

信号制御、渋滞緩和、ミクロ交通流モデル、自動運転車混在交通、道路ネットワーク最適化

Grid2Op — 電力網運用の強化学習環境

送電網トポロジ制御、L2RPNコンペティション、過負荷回避、安全制約、系統運用データ

CityLearn — 建物エネルギー管理環境

需要応答、蓄電池制御、地区エネルギーシステム、マルチエージェント協調、CO2削減の評価

RecSim — 推薦システムのシミュレーション環境

ユーザーモデル、スレート推薦、長期エンゲージメント、選択バイアス、逐次的意思決定の研究

金融・取引環境の設計 — 市場シミュレーションの落とし穴

約定モデル、取引コスト、非定常性、バックテストとの乖離、過学習・データスヌーピングの危険

計算機システム制御環境 — ネットワークとスケジューリング

輻輳制御、キャッシュ管理、ジョブスケジューリング、待ち行列モデル、シミュレータ忠実度の課題

PettingZoo — マルチエージェント環境API

AECモデル、parallel API、エージェントの参加離脱、Gymnasium互換、標準環境コレクション

SMAC — StarCraft IIマルチエージェント挑戦

集中学習・分散実行、ユニットのマイクロ制御、部分観測、協調行動の標準ベンチマーク

Multi-agent Particle Environments — 協調と競争の粒子世界

連続2D空間、通信タスク、捕食者と被食者、協調ナビゲーション、MADDPG評価の定番

OpenSpiel — ゲーム理論とRLの環境集

完全/不完全情報ゲーム、後悔最小化、ナッシュ均衡評価、ポーカー、盤上ゲームの実装群

Hanabi Learning Environment — 協力型不完全情報ゲーム

自分の手札が見えない設定、心の理論、規約（コンベンション）学習、アドホック協調の評価

Google Research Football — サッカー強化学習環境

物理ベースのサッカーシミュレーション、シナリオ集、セルフプレイ、複数選手の協調制御

Neural MMO — 大規模多エージェント持続世界

数百エージェントの同時生存、資源競争、採集と戦闘、創発的ニッチ、大規模化の設計課題

Melting Pot — 社会的相互作用の汎化評価

社会的ジレンマ、背景集団エージェント、未知の相手への汎化、協力と裏切りのシナリオ群

Overcooked環境 — 人間とAIの協調調理課題

役割分担、動線の調整問題、人間行動モデル、human-AI coordination研究の標準題材

セルフプレイ環境設計 — 対戦相手も学習する

対称ゲーム、リーグ戦方式、過去方策プール、戦略の非推移性、対戦相手をカリキュラムにする発想

報酬シェイピング — 学習を導く中間信号

ポテンシャルベースシェイピング、最適方策不変性、距離報酬、進捗報酬、副作用のリスク

報酬ハッキング対策 — 仕様の抜け穴を塞ぐ

specification gamingの事例、代理指標と真の目的の乖離、報酬改ざん、テストによる検出

カリキュラム学習と環境 — 難易度の段階設計

タスク系列、自動カリキュラム生成、逆向きカリキュラム、初期状態の操作、教師環境の設計

手続き的コンテンツ生成（PCG） — 環境の自動生成

レベル生成、シード空間、難易度制御、汎化性能の向上、生成器と解法器の共進化

ドメインランダム化 — パラメータ散らしで頑健化

質量・摩擦・照明の乱択、視覚ランダム化、自動ドメインランダム化、ゼロショット転移

sim-to-real転移 — 現実とのギャップを越える

リアリティギャップ、システム同定、実機での微調整、残差学習、実機検証の安全手順

汎化評価プロトコル — 訓練環境への過学習を測る

訓練/テストレベルの分離、未見タスク評価、分布シフト、頑健性指標、汎化ギャップの報告

確率性の設計 — 環境ノイズの意図的注入

遷移ノイズ、行動失敗確率、sticky actions、決定的環境の暗記問題、評価分散の管理

部分観測の設計 — 情報を隠す技術

視野制限、センサ欠落、遅延観測、記憶を要求するタスク、信念推定を誘発する構造

階層的タスク設計 — サブゴールと長期課題

複合タスク、サブタスク分解、オプション枠組み、ボトルネック状態、長期の信用割当

TextWorld — テキストアドベンチャー生成環境

自然言語観測、コマンド行動、クエスト自動生成、言語理解と強化学習の接点研究

ALFWorld — 言語指示と身体行動の橋渡し

テキスト環境と3D家庭環境の対応付け、家事タスク、抽象的方策の具体行動への転移

MiniWoB++ — Web UI操作のミニタスク集

ボタン・フォーム操作、DOM観測、クリック行動、Web操作エージェントの基礎訓練環境

WebArena — 現実的Webサイト上のエージェント評価

自己ホスト型サイト群、EC/フォーラム/開発ツール、長手順タスク、機能的正解判定

AndroidEnv — スマートフォン操作環境

Androidエミュレータ実機相当、タッチ行動、画面ピクセル観測、アプリ横断タスクの設計

MineRL・Project Malmo — Minecraft研究基盤

人間プレイデータ、ダイヤモンド採掘課題、階層的目標、サンプル効率コンペティション

Obstacle Tower — 段階的難易度の3Dタワー環境

手続き生成されるフロア、視覚・制御・計画の複合課題、汎化性能を競うチャレンジ

オープンエンド環境生成 — タスク空間そのものの設計

広大なタスク分布の自動生成、世代的訓練、汎用エージェント育成、動的なタスク多様化

LLMエージェント向け環境 — ツール使用と対話の評価系

関数呼び出し、サンドボックス実行、対話タスク、軌跡の自動評価、安全な隔離環境の設計

ゲームエンジン活用の環境開発 — Unity/Unrealの実務

シーン構築、物理設定、ヘッドレスビルド配布、学習側との通信プロトコル、アセット管理

EnvPool等の高速実行基盤 — C++バッチ環境

非同期バッチステップ、共有メモリ、Atari/MuJoCoの高速化、スループット計測手法

分散ロールアウト構成 — 学習器と俳優の分離

actor-learnerアーキテクチャ、経験キュー、環境ワーカー群、障害耐性、通信オーバーヘッド

環境のテストと検証 — バグは静かに学習を壊す

単体テスト、API準拠チェック、報酬レンジ検証、決定性テスト、リグレッション検出

環境のバージョン管理 — 改版と結果の再現性

v0/v1等の環境改版が結果へ与える影響、依存ライブラリ固定、実験記録、比較の妥当性

オフラインRLデータセット — D4RL・RL Unplugged

記録済み軌跡、行動方策の質、分布シフト、データセット設計、オフライン評価プロトコル

世界モデルと学習型シミュレータ — データから環境を作る

潜在ダイナミクスモデル、想像上のロールアウト、モデル誤差の蓄積、Dyna型の計画と学習

安全性評価環境 — Safety Gym・AI Safety Gridworlds

制約付きタスク、コスト関数、副作用の回避、安全な探索、介入可能性のテストシナリオ

制約付き環境設計 — 破ってはならない条件の表現

制約付きMDP、ハード制約とソフト制約、コスト予算、遮蔽（シールディング）、安全層の実装

人間参加型環境 — フィードバックを組み込む

人間評価による報酬、選好比較、介入と訂正、RLHFを支える環境側インタフェース設計

実機直結の強化学習 — シミュレータなしで学ぶ

実ロボットでの学習、リセット自動化、機体の摩耗と安全、サンプル効率要件、常時監視

ベンチマーク文化と再現性問題 — 評価方法論の批判的検討

シード数、報告される分散、恣意的な結果選択、統計的検定、評価標準化の提案

強化学習コンペティションの環境 — 競技としての課題設計

学会併設コンペ、提出評価基盤、隠しテスト環境、計算資源制限、参加者間の公平性

デジタルツインとの接続 — 産業設備の写像環境

プラントモデル、リアルタイムデータ同期、what-if分析、制御方策のオフライン検証

教育用RL環境 — 学習教材としての設計

可視化、即時フィードバック、軽量実行、段階的課題、講義・演習・自習教材での活用

環境設計の倫理と社会的影響 — 何を最適化させるか

報酬に埋め込まれる価値観、推薦環境の中毒性、シミュレーションの偏り、公平性への配慮

環境のライセンスと配布 — オープンソースエコシステム

Apache/MIT/GPLの選択、ゲームROMの権利問題、3Dアセットの権利、再配布条件の整理

環境仕様の文書化 — 利用者に伝えるべきこと

観測・行動・報酬の仕様書、既知のバグ、基準性能、データシート的な記述の実践

シミュレータ運用の周辺技術 — インフラと費用管理

コンテナ化、クラウド実行、ヘッドレスCI、GPUレンダリングノード、計算費用の見積もり

強化学習環境設計（シミュレータ） — 退避・古典資料archive

旧版環境仕様、廃止されたベンチマーク、歴史的なシミュレータ資料など過去世代情報の退避先