生成AIモデル設計（GAN,Diffusion）

生成AIモデル設計（GAN,Diffusion） — 概要

GAN・VAE・拡散モデルなど深層生成モデルの設計・学習・評価・応用を体系的に学ぶ入門ガイド

深層生成モデルの基礎 — 確率分布の学習とサンプリング

データ分布の近似、尤度最大化、暗黙的生成モデル、サンプリング、潜在変数モデルの基本概念

GANの基本構成 — 生成器と識別器の二者構造

Generator、Discriminator、潜在ノイズ入力、偽物判定、交互更新による敵対的学習の枠組み

敵対的目的関数 — minimaxゲームとナッシュ均衡

minimax損失、JSダイバージェンス、non-saturating損失、均衡点の解析、勾配消失問題

DCGAN — 畳み込みGANの設計指針

転置畳み込み、BatchNorm、LeakyReLU、全結合層排除、安定学習のためのアーキテクチャ規約

モード崩壊 — 多様性喪失の原因と対策

mode collapse、mode dropping、minibatch discrimination、unrolled GAN、多様性正則化

GAN学習の安定化 — 正則化とペナルティ技法

勾配ペナルティ、one-sided label smoothing、instance noise、TTUR、学習率バランス調整

Wasserstein GAN — 距離設計による安定化

Wasserstein距離、Kantorovich-Rubinstein双対、weight clipping、WGAN-GPの勾配ペナルティ

スペクトル正規化 — リプシッツ制約の実装

spectral normalization、特異値制御、リプシッツ連続性、識別器の平滑化、SNGANでの導入

条件付きGAN — クラス・属性による生成制御

cGAN、クラスラベル埋め込み、projection discriminator、条件付きBatchNorm、AC-GAN

画像変換GAN — pix2pixとCycleGAN

paired/unpaired変換、L1再構成損失、サイクル一貫性損失、ドメイン変換、スタイル転写応用

StyleGAN系 — スタイル空間とマッピング設計

mapping network、W空間、AdaIN、style mixing、確率的ノイズ注入、StyleGAN2/3の改良

Progressive Growing — 段階的高解像度化学習

低解像度からの漸進学習、層の逐次追加、fade-in、高解像度顔画像生成での安定化効果

潜在空間の操作 — 補間・演算・属性編集

latent interpolation、意味的方向ベクトル、属性編集、disentanglement、潜在空間の幾何構造

GAN inversion — 実画像の潜在符号推定

encoder方式、最適化方式、W+空間への埋め込み、実写画像編集、忠実度と編集性のトレードオフ

超解像GAN — SRGANとESRGANの設計

perceptual loss、VGG特徴損失、RRDBブロック、relativistic discriminator、画質復元応用

大規模GAN — BigGANとスケーリング設計

大バッチ学習、shared embedding、truncation trick、直交正則化、クラス条件付き大規模生成

自己注意GAN — SAGANと大域依存の獲得

self-attention層、大域的文脈、非局所演算、特徴マップ間相関、生成品質への寄与

識別器の設計 — PatchGANと多スケール判別

PatchGAN、受容野設計、multi-scale discriminator、特徴マッチング損失、局所リアリズム評価

GANの生成品質評価 — ISとFID

Inception Score、Fréchet Inception Distance、precision/recall、KID、評価指標の限界

VAE — 変分推論とELBOによる生成

変分下界、reparameterization trick、KL項、encoder/decoder、ぼやけ問題とβ-VAE

VQ-VAE — 離散潜在表現とコードブック

vector quantization、codebook学習、commitment loss、離散トークン化、VQGANへの発展

正規化フロー — 可逆変換による厳密尤度

可逆写像、ヤコビアン行列式、coupling層、RealNVP、Glow、厳密な対数尤度計算

自己回帰生成モデル — 画素・トークン逐次生成

PixelCNN、PixelRNN、マスク付き畳み込み、逐次サンプリング、Transformer型画像生成

エネルギーベースモデル — 非正規化密度の学習

エネルギー関数、分配関数、Langevin dynamics、contrastive divergence、MCMCサンプリング

スコアベース生成 — スコアマッチングの理論

スコア関数、denoising score matching、NCSN、複数ノイズレベル、annealed Langevin法

拡散モデルの基礎 — 前向き過程と逆過程

ノイズ付加のマルコフ連鎖、ガウス遷移、逆拡散の学習、変分下界、生成過程の直感的理解

DDPM — ノイズ予測による拡散学習

ε-prediction、簡略化損失、タイムステップ埋め込み、再パラメータ化、DDPMの学習手順

DDIM — 決定論的サンプリングと高速化

非マルコフ的定式化、決定論的軌道、ステップ間引き、潜在の可逆性、画像編集への利用

SDE/ODE定式化 — 連続時間拡散の統一理論

確率微分方程式、probability flow ODE、VP/VE-SDE、逆時間SDE、スコアとの等価性

ノイズスケジュール設計 — β系列とSNR制御

linear/cosineスケジュール、SNR、zero terminal SNR、スケジュールが品質へ与える影響

分類器ガイダンス — 外部分類器による条件強化

classifier guidance、勾配による誘導、条件付きスコア、ガイダンス強度、品質と多様性の調整

分類器フリーガイダンス — CFGの設計と調整

条件/無条件の同時学習、条件ドロップアウト、guidance scale、過飽和問題、動的閾値処理

潜在拡散モデル — LDMと圧縮潜在空間

オートエンコーダ圧縮、潜在空間での拡散、計算量削減、Stable Diffusionの基本構造

U-Netアーキテクチャ — 拡散モデルの主幹設計

encoder-decoder、skip接続、残差ブロック、attention層配置、時刻条件の注入方法

Diffusion Transformer — DiTとパッチ型設計

画像パッチ化、adaLN-Zero、スケーリング則、U-Net代替、Transformer型拡散の利点

テキスト条件付け — クロスアテンション設計

cross-attention、テキスト埋め込み注入、条件トークン、プロンプト忠実度、注意マップ解析

テキストエンコーダ — CLIPとT5の利用

CLIPテキスト塔、T5大型エンコーダ、対照学習埋め込み、複数エンコーダ併用、言語理解力の影響

サンプラー設計 — 数値解法による生成高速化

DPM-Solver、Euler法、Heun法、ancestral sampling、ステップ数と品質のトレードオフ

蒸留による高速化 — 少ステップ生成への圧縮

progressive distillation、adversarial distillation、教師拡散モデル、1〜4ステップ生成

一貫性モデル — Consistency Modelの原理

自己一貫性条件、ODE軌道上の写像学習、蒸留型と単独学習型、単一ステップ生成の実現

フローマッチング — Rectified Flowと直線輸送

flow matching、確率パス設計、直線化された軌道、最適輸送との関係、学習の単純化

予測目標の設計 — ε・x0・v-predictionの比較

ノイズ予測、原画像予測、velocity prediction、損失重み付け、SNR依存の目的関数設計

カスケード拡散 — 段階的超解像パイプライン

低解像度基底モデル、超解像段の連結、noise conditioning augmentation、高解像度化戦略

インペインティング — マスク領域の補完生成

マスク条件付け、アウトペインティング、境界整合、部分再生成、写真修復への応用

拡散による画像編集 — ノイズ注入と再生成

SDEdit、部分ノイズ付加、prompt-to-prompt型編集、注意マップ操作、実画像の反転編集

構造条件付け — ControlNet型の空間制御

エッジ・深度・姿勢マップ入力、zero convolution、追加分岐網、構図固定、空間条件の合成

LoRA微調整 — 低ランク適応による軽量学習

低ランク行列分解、アダプタ注入、少データ適応、重み合成、スタイル特化モデルの作成

パーソナライズ生成 — 被写体・概念の追加学習

DreamBooth、Textual Inversion、識別子トークン、正則化画像、少数画像からの概念獲得

プロンプト設計 — 生成指示の工学的調整

プロンプト構文、ネガティブプロンプト、重み付け記法、スタイル語彙、反復改善の作法

動画生成拡散 — 時間軸への拡張設計

時間方向attention、3D畳み込み、フレーム一貫性、動きの条件付け、text-to-video基盤

3D生成 — Score Distillationと立体表現

SDS損失、NeRF最適化、text-to-3D、多視点一貫性、メッシュ・ガウシアン表現への展開

音声・音楽生成 — 波形とスペクトログラム生成

メルスペクトログラム拡散、ニューラルボコーダ、text-to-audio、音楽生成、話者条件付け

科学応用 — 分子・タンパク質の生成設計

分子グラフ生成、創薬候補探索、タンパク質構造生成、等変ネットワーク、物性条件付け

自己回帰との比較 — トークン生成と拡散の関係

逐次生成と並列denoising、画像トークン化生成、速度・品質・制御性の比較、統合の潮流

離散拡散モデル — カテゴリカルデータへの拡張

離散状態空間、マスク型ノイズ過程、遷移行列設計、テキスト・コードへの拡散適用

学習データ整備 — 収集・清掃・キャプション付与

画像テキスト対収集、重複除去、美的スコアフィルタ、再キャプション、データ品質と生成力

大規模データセット — Web規模画像対の設計課題

LAION系公開データ、クロール由来の偏り、ライセンス混在、フィルタリング基準、監査可能性

圧縮オートエンコーダ設計 — 潜在空間の器づくり

KL/VQ正則化、ダウンサンプル率、再構成品質、潜在チャネル数、拡散との相互作用

学習インフラ — 分散学習と混合精度

データ並列、勾配チェックポイント、混合精度演算、EMA重み、大規模GPUクラスタ運用

計算量・メモリ最適化 — 効率的なattention実装

attention計算の効率化、メモリ削減、勾配蓄積、活性再計算、学習コストの見積もり

生成品質の評価体系 — 自動指標と人手評価

FID、CLIP Score、プロンプト忠実度、人間選好評価、A/Bテスト、指標間の乖離問題

ベンチマーク設計 — 標準タスクと比較評価

text-to-image比較集合、構図・数量・文字描画課題、選好投票型評価、再現可能な比較条件

速度と品質のトレードオフ — ステップ数設計

サンプリングステップ削減、蒸留との併用、リアルタイム生成、遅延と画質の運用的均衡

ガイダンス調整 — 強度・区間・動的制御

guidance scale探索、区間限定ガイダンス、rescale、条件過剰適合、彩度飽和の抑制

シードと再現性 — 乱数制御による生成管理

乱数シード固定、初期ノイズの役割、バリエーション生成、決定論的推論、実験の再現手順

GANと拡散の比較 — 設計思想と得失の整理

学習安定性、サンプリング速度、多様性、モード被覆、用途別の選択基準、両者の使い分け

ハイブリッド設計 — 敵対的損失と拡散の融合

adversarial diffusion distillation、識別器併用の少ステップ化、GAN後段精錬、複合損失設計

高解像度化戦略 — タイル生成とアップスケール

タイル分割生成、継ぎ目処理、拡散型超解像、多段リファイナ、アスペクト比バケット学習

多様性の制御 — 品質と網羅性の調整技法

truncation trick、温度調整、多様性正則化、サンプル間距離、モード被覆の測定法

表現学習としての生成モデル — 特徴抽出への転用

生成モデルの中間表現、識別タスク転移、自己教師あり学習との関係、世界知識の獲得

データ拡張への利用 — 合成データによる学習支援

合成画像でのクラス拡張、少数クラス補強、ドメインギャップ、識別器学習への効果検証

異常検知への応用 — 再構成誤差と密度推定

正常データ学習、再構成誤差検知、尤度ベース判定、製造検査、外観異常のスクリーニング

医用画像への応用 — 合成・変換・匿名化

モダリティ変換、病変合成による訓練データ拡張、匿名化生成、臨床評価と規制上の注意

デザイン・広告制作応用 — 商用制作ワークフロー

コンセプトアート、バリエーション展開、商品ビジュアル、ブランド一貫性、権利処理の実務

ゲーム・アセット生成 — テクスチャと素材制作

テクスチャ生成、キャラクター案出し、背景素材、スタイル統一LoRA、制作パイプライン統合

来歴証明と電子透かし — 生成物の出所表示

不可視透かし埋め込み、C2PA等の来歴規格、メタデータ署名、生成表示義務への技術対応

ディープフェイク検出 — 生成画像の判別技術

生成痕跡の周波数解析、検出器の汎化、顔交換検出、検出と生成のいたちごっこ構造

著作権と学習データ — 法的論点の整理

学習利用の適法性、スタイル模倣、記憶と複製、opt-out、各国法制の議論動向

安全性フィルタ — 有害生成の抑止設計

NSFW検出、プロンプトフィルタ、概念消去・忘却学習、実在人物保護、多層防御の構成

バイアスと公平性 — 生成結果の偏りへの対処

属性表現の偏り、ステレオタイプ増幅、データ由来バイアス、緩和手法、公平性の評価設計

モデル公開とライセンス — オープンウェイトの実務

重み公開の形態、利用規約付きライセンス、責任ある公開、派生モデル管理、配布の統制

推論最適化 — 量子化とランタイム高速化

8bit/4bit量子化、グラフ最適化、コンパイラ活用、KVキャッシュ相当の再利用、遅延削減

オンデバイス生成 — エッジ環境への搭載設計

モバイルGPU/NPU推論、モデル軽量化、蒸留小型モデル、メモリ制約、オフライン生成体験

生成APIとサービス設計 — 提供基盤の構築

推論サーバ構成、キュー制御、課金設計、レート制限、コンテンツ審査を含む運用アーキテクチャ

主要研究者 — 生成モデルを築いた人々

GAN提唱のGoodfellow、VAEのKingmaとWelling、スコアベース研究者ら先駆者の業績

発展史 — GAN登場から拡散モデル全盛まで

2014年GAN提案、2015年DCGAN、2020年DDPM、2022年潜在拡散公開という転換点の系譜

代表的画像生成システム — 主要サービスの設計比較

Stable Diffusion、DALL·E、Midjourney、Imagenの構成・公開形態・特徴の比較

実装フレームワーク — ライブラリとツール群

PyTorch、Hugging Face diffusersのパイプライン、スケジューラAPI、学習スクリプト整備

制作ワークフロー — 反復生成と後処理の実務

プロンプト反復、シード探索、img2img精錬、アップスケール、レタッチを含む制作手順設計

学習リソース — 論文・講義・チュートリアル

原著論文の読み方、公開講義、実装チュートリアル、再現実装教材、体系的な独習経路

世界モデルとの接続 — 環境シミュレーション生成

動画予測による環境モデル、行動条件付き生成、強化学習との結合、シミュレータ代替の展望

ニューラル圧縮 — 生成モデルによる符号化

学習型画像圧縮、生成的復元による低ビットレート化、知覚品質重視符号化、伝送応用

敵対的頑健性 — 生成モデルへの攻撃と防御

adversarial examples、プロンプト経由の安全回避、モデル抽出、防御的学習の周辺研究

プライバシーと記憶 — 訓練データ漏えいの分析

訓練画像の記憶・複製、メンバーシップ推論、差分プライバシー学習、漏えい監査手法

モデル崩壊問題 — 合成データ再学習の劣化

生成物での再学習による分布劣化、多様性喪失の連鎖、データ来歴管理、実データ混合の指針

計算資源と環境負荷 — 学習コストの社会的側面

大規模学習の電力消費、GPU調達、コスト見積もり、効率化研究、持続可能性の議論

コミュニティ文化 — モデル共有と派生開発の生態系

モデル共有ハブ、LoRA配布文化、マージモデル、コミュニティ規範、オープン開発の力学

研究動向の追跡 — 学会・プレプリントの読み方

arXivプレプリント、主要機械学習会議の発表傾向、再現実装の確認、動向調査の習慣化

生成AIモデル設計（GAN,Diffusion） — 退避・古典資料archive

初期GAN派生手法や旧世代サンプラーなど、歴史的意義はあるが現役でない資料の退避区分