生成モデル理論（GAN,VAE,Diffusion）

生成モデル理論（GAN,VAE,Diffusion） — 概要

データ分布を学習し新規標本を生成する理論の入門。GAN・VAE・拡散モデル三大系譜と評価・応用・倫理を俯瞰する

生成モデルの定義 — 確率分布の学習と標本生成

データ生成分布p(x)の推定、尤度最大化、標本生成、密度推定、識別モデルとの対比、教師なし学習としての位置づけ

尤度型と暗黙型 — 生成モデルの二大分類

明示的尤度（VAE・フロー・自己回帰）と暗黙的生成（GAN）の区別、密度評価可能性、サンプル品質との緊張関係

GANの基本構造 — 生成器と識別器の敵対学習

Goodfellow らが2014年提案。生成器G・識別器Dの二人零和ゲーム、ノイズ入力z、偽物判定による勾配学習

GANの目的関数 — ミニマックスとJSダイバージェンス

min-max価値関数、最適識別器、Jensen-Shannonダイバージェンス最小化との等価性、non-saturating損失

モード崩壊 — GAN学習の代表的失敗様態

生成分布の多様性喪失、mode collapse、mode dropping、振動・発散、勾配消失、識別器過学習の診断

GAN学習の安定化 — 正則化と工夫の体系

勾配ペナルティ、スペクトル正規化、ラベル平滑化、feature matching、two time-scale更新、ヒンジ損失

Wasserstein GAN — 最適輸送距離による定式化

Earth Mover距離、Kantorovich-Rubinstein双対性、リプシッツ制約、weight clippingとWGAN-GP

DCGAN — 畳み込みGANの設計指針

転置畳み込みによるアップサンプリング、バッチ正規化、全結合層排除、LeakyReLU、潜在ベクトル演算の発見

条件付きGAN — クラスラベルによる制御生成

cGAN、ラベル埋め込み、projection discriminator、クラス条件付き画像生成、補助分類器方式（ACGAN）

画像変換GAN — pix2pixとCycleGAN

ペア教師ありのpix2pix、非ペアのCycleGAN、サイクル一貫性損失、PatchGAN識別器、線画着色や写真変換

StyleGAN — スタイル空間と高品質顔生成

mapping network、W空間、AdaIN風スタイル注入、style mixing、確率的ノイズ、後続版での品質改善

段階的成長と大規模GAN — 高解像度化の道筋

Progressive Growingによる低解像度から段階拡大、BigGANの大バッチ学習、truncation trick、自己注意の導入

生成画像の評価指標 — Inception ScoreとFID

Inception Score、Fréchet Inception Distance、Kernel Inception Distance、特徴空間統計量、指標の限界

VAEの基本 — 符号化器・復号化器と潜在変数

Kingma と Welling が提案。エンコーダq(z|x)、デコーダp(x|z)、ガウス事前分布、再構成と生成の両立

変分推論とELBO — 対数尤度の下界最大化

証拠下界（ELBO）、変分事後分布、再構成項とKL項の分解、償却推論、平均場近似との関係

再パラメータ化トリック — 確率ノードの微分可能化

z=μ+σε の変換、低分散勾配推定、REINFORCEとの比較、pathwise gradient、確率的勾配変分ベイズ

事後崩壊問題 — KL項と表現力の綱引き

posterior collapse、強力デコーダによる潜在無視、KLアニーリング、free bits、δ-VAE的下限制約

β-VAEともつれ解消 — 解釈可能な潜在表現

KL項の重みβ、disentanglement、要因分離表現、FactorVAE系の全相関正則化、教師なし分離の限界定理

VQ-VAE — 離散潜在表現とコードブック学習

ベクトル量子化、コードブック、straight-through推定、離散トークン化、自己回帰事前分布との二段学習

階層型VAE — 多層潜在変数による表現力向上

ladder型階層潜在、トップダウン推論、多スケール特徴、深い階層による尤度改善、残差型事後分布

条件付きVAE — 属性制御と半教師あり生成

CVAE、条件変数cの注入、属性付き顔生成、多様な出力の一対多写像、構造化予測への応用

正規化フロー — 可逆変換による厳密尤度

変数変換公式、ヤコビアン行列式、カップリング層、自己回帰フロー、可逆1x1畳み込み、厳密な密度評価

自己回帰生成モデル — 画素・トークン逐次生成

連鎖律分解、PixelRNN/PixelCNN、マスク付き畳み込み、WaveNet型音声生成、逐次生成の遅さと厳密尤度

エネルギーベースモデル — 分配関数と対比学習

エネルギー関数E(x)、分配関数Zの困難、対比ダイバージェンス、ボルツマンマシン、負例サンプリング

スコアマッチング — 対数密度勾配の学習

スコア関数∇log p(x)、明示的・デノイジングスコアマッチング、分配関数回避、sliced score matching

拡散モデルの基本 — 前向き過程と逆向き過程

ガウスノイズ漸進付加の前向き過程、逆向きデノイジング過程、マルコフ連鎖、非平衡熱力学からの着想

DDPM — ノイズ除去拡散確率モデル

ノイズ予測ε-parameterization、変分下界の単純化損失、再重み付け目的関数、GAN超えの画像品質実証

スコアベースSDE — 連続時間の統一的定式化

確率微分方程式、VP-SDEとVE-SDE、逆時間SDE、確率フローODE、スコア推定との統一理論

DDIMと高速サンプリング — 決定論的少ステップ生成

非マルコフ化による決定論的サンプリング、ステップ数削減、潜在補間の一貫性、高次ODEソルバの活用

ノイズスケジュール設計 — 拡散過程の時間離散化

線形・コサインスケジュール、SNR視点の設計、v-prediction、ゼロ端末SNR、学習時と推論時の整合

ガイダンス技法 — 条件強度の制御理論

分類器ガイダンス、classifier-free guidance、条件ドロップアウト学習、guidance scaleと品質・多様性の交換

潜在拡散モデル — 圧縮潜在空間での拡散

オートエンコーダで圧縮した潜在空間上の拡散、計算量削減、知覚的圧縮と意味的生成の分離、高解像度化

テキスト条件付き画像生成 — 言語による生成制御

テキストエンコーダ埋め込み、クロスアテンション条件付け、対照学習済み表現の利用、プロンプト設計

拡散モデルの蒸留 — 少ステップ・一段生成への圧縮

progressive distillation、敵対的蒸留、一貫性蒸留、教師サンプラーの模倣、リアルタイム生成への道

フローマッチング — 連続正規化フローの単純学習

確率パスのベクトル場回帰、最適輸送パス、シミュレーション不要学習、拡散モデルとの理論的接続

サンプラーと数値解法 — ODE/SDEソルバの選択

Euler法、Heun法、多段線形マルチステップ、祖先サンプリング、確率的と決定論的の品質差、NFE削減

U-Net構造 — 拡散モデルの標準バックボーン

エンコーダ・デコーダとスキップ接続、時刻埋め込み、自己注意ブロック、マルチスケール特徴、残差ブロック

Transformer型拡散 — パッチトークンによる生成

Diffusion Transformer、パッチ化と位置埋め込み、adaLN条件付け、スケーリング則、U-Netからの移行

音声・音響生成 — 波形とスペクトログラムの生成

ニューラルボコーダ、拡散型音声合成、テキスト音声合成、音響イベント生成、メルスペクトログラム条件付け

動画生成 — 時間軸を持つ拡散生成

時空間アテンション、フレーム間一貫性、テキスト動画生成、フレーム補間、カスケード超解像、長尺化の課題

3D生成 — 三次元形状・シーンの生成モデル

点群・ボクセル・陰関数表現の生成、ニューラル場との融合、score distillationによるテキスト3D化

分子・創薬応用 — 化学構造の生成設計

分子グラフ生成、SMILES文字列生成、タンパク質構造生成、等変性ネットワーク、ドッキング条件付き設計

超解像・画像復元 — 劣化画像からの生成的復元

拡散型超解像、ノイズ除去、ぼけ除去、圧縮アーティファクト除去、忠実性と知覚品質のトレードオフ

インペインティングと画像編集 — 部分生成と操作

マスク領域の補完、アウトペインティング、プロンプトによる局所編集、SDEditの構造保存、注意マップ操作

空間条件付き生成 — 構造制約付きの画像制御

エッジ・深度・姿勢マップによる条件付け、追加制御ネットワーク、レイアウト指定生成、構図の精密制御

パーソナライズ生成 — 少数画像からの概念学習

被写体固有トークンの学習、少数ショット微調整、低ランク適応（LoRA）、概念の合成と干渉問題

GAN inversion — 実画像の潜在空間への逆写像

最適化型・エンコーダ型逆写像、W+空間、実画像編集への応用、再構成忠実度と編集可能性の両立

潜在空間の操作 — 補間・算術・意味方向

球面線形補間、潜在ベクトル算術、意味的編集方向の発見、主成分分析による方向抽出、属性スライダー

表現学習としての生成 — 特徴抽出への転用

生成事前学習の表現力、識別器・エンコーダ特徴の下流利用、自己教師あり学習との関係、線形プローブ評価

半教師あり学習への利用 — ラベル不足の補完

GAN識別器のK+1クラス化、VAEによる潜在特徴利用、一致正則化との併用、少ラベル画像分類の改善

データ拡張への利用 — 合成標本による訓練強化

生成画像による訓練集合拡張、クラス不均衡補正、希少事例合成、分布シフト耐性、拡張品質の検証法

異常検知への利用 — 再構成誤差と尤度による判定

再構成誤差ベース検知、尤度ベース検知の落とし穴、識別器スコア利用、製造検査・医用画像への適用

尤度評価 — bits per dimensionと密度推定の検証

対数尤度、bits/dim、重要度サンプリング推定、尤度とサンプル品質の乖離、分布外データへの高尤度問題

忠実性と多様性 — precision/recall型評価

生成分布の被覆率と忠実度、improved precision/recall、density/coverage指標、truncationの影響

人間評価 — 主観品質と選好の測定設計

二択選好比較、平均オピニオン評点、評価者間一致、クラウドソーシング設計、自動指標との相関検証

訓練データの記憶 — 複製生成と情報漏洩

訓練画像のほぼ複製生成、記憶と汎化の境界、重複データの影響、抽出攻撃、メンバーシップ推定リスク

著作権と学習データ — 生成AIをめぐる法的論点

学習利用の適法性、生成物の権利帰属、スタイル模倣の争点、各国法制の差異、オプトアウトとライセンス

ディープフェイクと検出 — 偽造メディアへの対抗

顔交換・音声偽造の脅威、検出器の特徴（周波数痕跡・生理信号）、検出と生成のいたちごっこ、社会的影響

電子透かしと来歴証明 — 生成物の出所管理

生成時透かし埋め込み、耐改変性、コンテンツ来歴メタデータ規格、出所署名、プラットフォーム表示義務

敵対学習の理論 — ナッシュ均衡と収束解析

二人ゲームの均衡存在、局所収束条件、勾配力学系の回転成分、同時勾配降下の非収束例、正則化の理論効果

f-ダイバージェンスGAN — 目的関数の一般化

f-divergence変分下界、KL・逆KL・Pearson χ²の統一、双対関数の選択、損失設計と挙動の対応

積分確率距離 — MMDとカーネル法による比較

積分確率計量（IPM）、最大平均差（MMD）、カーネル選択、モーメントマッチング型生成、二標本検定

最適輸送理論 — 分布間距離の数学的基礎

Monge-Kantorovich問題、Wasserstein距離、双対性、エントロピー正則化とSinkhorn反復、輸送写像

情報理論的視点 — 相互情報量と生成の制御

InfoGANの相互情報量最大化、変分下界による近似、rate-distortion理論、情報ボトルネックとの接続

潜在変数モデルの古典 — EMアルゴリズムからの系譜

混合ガウスモデル、EMアルゴリズム、因子分析、確率的主成分分析、変分ベイズ、VAEへの歴史的連続性

デノイジング理論 — Tweedieの公式と最適推定

Tweedieの公式、事後平均推定、デノイジング自己符号化器とスコアの等価性、経験ベイズ的解釈

確率微分方程式の基礎 — 拡散モデルの数学的土台

ブラウン運動、伊藤積分、Fokker-Planck方程式、逆時間拡散の理論、Ornstein-Uhlenbeck過程

ランジュバン動力学 — スコアによる標本抽出

ランジュバンMCMC、annealed Langevin dynamics、ステップサイズと混合速度、スコア推定誤差の影響

MCMCとサンプリング理論 — 生成の計算統計基盤

Metropolis-Hastings、ギブスサンプリング、ハミルトニアンモンテカルロ、収束診断、EBM学習での役割

重要度加重推定 — IWAEと下界の強化

重要度加重オートエンコーダ、多標本ELBO、下界の単調改善、勾配の信号対雑音比低下問題

離散潜在の学習 — Gumbel-Softmaxと緩和法

Gumbel-Max trick、温度パラメータによる連続緩和、straight-through推定、カテゴリカル潜在変数の勾配

敵対的頑健性との関係 — 攻撃・防御と生成モデル

敵対的サンプル浄化、拡散によるノイズ除去防御、生成モデルを用いた攻撃検知、頑健特徴の学習

生成モデルの汎化理論 — 記憶を超える条件

標本複雑度、生成分布と真分布の距離保証、過学習と新規性の測定、帰納バイアスの役割、理論と実証の乖離

多様体仮説 — 高次元データの低次元構造

次元の呪い、データ多様体、内在次元推定、多様体上の分布学習、支持集合不一致とノイズ付加の役割

三大方式の比較 — GAN・VAE・拡散の長所短所

生成品質、学習安定性、サンプリング速度、尤度評価可能性、モード被覆の三方比較、generative trilemma

ハイブリッドモデル — 方式の組み合わせ設計

VAE-GAN、敵対的オートエンコーダ、拡散+GANの高速化、フロー事前分布付きVAE、二段パイプライン構成

テキスト生成との接続 — 自己回帰言語モデルの位置

言語モデルも生成モデルの一種、離散系列の尤度分解、拡散型テキスト生成の試み、連続と離散の橋渡し

音楽生成 — 記号と音響の二層生成

MIDI記号生成、音響波形の直接生成、長期構造の保持、スタイル条件付け、伴奏生成、著作権上の配慮

スタイル変換 — 内容とスタイルの分離操作

ニューラルスタイル変換、Gram行列統計、AdaINによる任意スタイル化、GAN型ドメイン変換との関係

ベンチマークデータセット — 標準評価の土台

MNIST、CIFAR-10、CelebA、LSUN、ImageNet、FFHQ等の顔・自然画像集合、解像度と多様性の段階

計算資源と学習コスト — 大規模学習の経済学

GPU/TPU学習時間、バッチサイズと安定性、電力・費用、スケーリング則、小規模再現研究の工夫

実装とフレームワーク — 再現可能な生成モデル開発

PyTorch・JAX等での実装、EMA重み平均、チェックポイント、混合精度学習、公開実装とライブラリ生態系

推論最適化 — 生成の高速化と軽量化

量子化、蒸留、キャッシュ再利用、バッチ推論、端末上実行、メモリ削減、レイテンシとスループット設計

学習の数値安定性 — 発散を防ぐ実務技法

勾配クリッピング、学習率ウォームアップ、損失スケーリング、NaN検知、正規化層の選択、初期化戦略

潜在空間の幾何学 — 距離・曲率と補間の理論

リーマン計量の誘導、測地線補間、潜在空間の穴と曲率、プルバック計量、意味的距離の幾何学的解釈

もつれ解消の評価 — 分離表現の定量化

MIG、SAP、DCI等の指標、要因既知データセットでの検証、指標間不一致、教師なし分離の不可能性議論

条件付き生成の評価 — 指示との整合性測定

画像テキスト整合スコア、属性一致率、構図遵守の検証、人間評価との相関、報酬モデルによる自動評価

バイアスと公平性 — 生成モデルの社会的偏り

訓練データ由来の人種・性別偏り、職業表現の固定観念、偏り測定手法、緩和策、多様性を担保する条件付け

プライバシー保護生成 — 差分プライバシーとの融合

DP-SGDによる私的学習、プライバシー予算ε、合成データの再識別リスク、医療データ共有への適用

合成データ産業 — 訓練用データの生成事業

表形式データ合成、シミュレーション画像、自動運転向け合成シーン、品質保証、実データ混合比の設計

世界モデルと強化学習 — 環境の生成的模倣

環境ダイナミクスの学習、潜在空間での想像上のロールアウト、モデルベース強化学習、動画予測との接続

生成モデル前史 — ボルツマンマシンからの系譜

ホップフィールドネットワーク、ボルツマンマシン、制限ボルツマンマシン、深層信念ネットワーク、事前学習時代

主要研究者と転換点 — 分野を形づくった貢献

GoodfellowのGAN提案、Kingma・WellingのVAE、スコアベース拡散の確立、主要会議での節目となる発表

産業応用の広がり — 創作・設計・広告への浸透

イラスト・デザイン支援、広告素材生成、ゲームアセット、建築・工業デザイン案出し、制作工程の再編

教育と学習資源 — 生成モデルの学び方

確率論・最適化の前提知識、代表的教科書と講義、公開実装での追試、玩具データでの直観形成、演習設計

オープンモデルと再現性 — 公開重みと研究文化

モデル重み公開、ライセンス条件、モデルカード、再現実験の困難、リーダーボードとコミュニティ検証

一貫性モデル — 一段生成への新しい定式化

consistency model、自己一貫性条件、蒸留型と単独学習型、少ステップ生成、確率フローODEとの関係

将来展望 — 統一理論とマルチモーダル生成

拡散・フロー・自己回帰の統一的理解、任意モダリティ間生成、物理シミュレーションとの融合、残された理論課題

生成モデル理論（GAN,VAE,Diffusion） — 退避・古典資料archive

旧世代手法の記録、更新前の解説、歴史的ベンチマーク結果など、現行分類から退避した資料の保管区分