深層学習（DeepLearning）理論

深層学習（DeepLearning）理論 — 概要

多層ニューラルネットワークの原理・学習アルゴリズム・汎化理論・代表アーキテクチャを見渡す入門ガイド

パーセプトロン — 形式ニューロンと線形識別の出発点

マカロック=ピッツの形式ニューロン、ローゼンブラットのパーセプトロン、線形分離可能性、収束定理

多層パーセプトロン — 隠れ層による非線形表現の獲得

MLPの構造、隠れ層、全結合層、XOR問題の解決、順伝播計算、非線形変換の合成

誤差逆伝播法 — 連鎖律による勾配計算の基本原理

バックプロパゲーション、連鎖律、デルタ則、計算グラフ、勾配の層間伝播、ラメルハートらの定式化

活性化関数 — 非線形性を与える関数群の設計と性質

シグモイド、tanh、ReLU、Leaky ReLU、GELU、Swish、飽和問題、スパース活性化

損失関数 — 学習目標を定める目的関数の設計

交差エントロピー、平均二乗誤差、ヒンジ損失、負の対数尤度、コントラスティブ損失、損失の選択基準

確率的勾配降下法 — ミニバッチ学習の基礎理論

SGD、ミニバッチ、バッチサイズ、勾配ノイズ、エポック、収束性、モメンタム法

適応的最適化手法 — 学習率を自動調整する更新則

AdaGrad、RMSProp、Adam、AdamW、学習率適応、一次・二次モーメント推定、重み減衰の分離

重み初期化 — 学習開始点が訓練に与える影響

Xavier初期化、He初期化、分散保存、対称性の破れ、直交初期化、初期化と深さの関係

正則化 — 過学習を抑える罰則項と制約の理論

L1/L2正則化、重み減衰、早期終了、ノルム制約、スパース性誘導、バイアス・バリアンス分解

ドロップアウト — 確率的なユニット無効化による正則化

ドロップアウト率、アンサンブル解釈、推論時スケーリング、DropConnect、構造化ドロップアウト

バッチ正規化 — 内部共変量シフトと正規化層の理論

Batch Normalization、Layer Normalization、Group Norm、平滑化効果、統計量の推定と推論時挙動

勾配消失・勾配爆発 — 深いネットワークの学習困難性

勾配消失、勾配爆発、勾配クリッピング、飽和活性化の影響、深さと勾配ノルム、長期依存の学習困難

万能近似定理 — ニューラルネットの表現能力の数学的保証

普遍近似定理、シベンコの定理、連続関数近似、幅と近似精度、近似理論との接続

深さの表現力 — 層を重ねることの理論的優位性

深さ分離定理、指数的表現効率、階層的特徴合成、浅い網との比較、回路計算量との類比

畳み込みニューラルネットワーク — 局所受容野と重み共有

CNN、畳み込み層、カーネル、ストライド、パディング、受容野、平行移動同変性、LeNetの系譜

プーリングと不変性 — 空間集約による頑健な特徴抽出

最大プーリング、平均プーリング、ダウンサンプリング、平行移動不変性、グローバルプーリング

リカレントニューラルネットワーク — 系列データの再帰的処理

RNN、隠れ状態、時間方向逆伝播（BPTT）、系列モデリング、可変長入力、状態の記憶

LSTMとGRU — ゲート機構による長期依存の学習

LSTM、忘却ゲート、入力・出力ゲート、セル状態、GRU、長期依存性、ホッホライターらの提案

注意機構 — 入力の重要部分へ動的に重み付けする仕組み

アテンション、クエリ・キー・バリュー、ソフトマックス重み、アラインメント、加法・内積注意

Transformer — 自己注意のみで構成する系列モデル

自己注意、マルチヘッド注意、フィードフォワード層、残差接続、エンコーダ・デコーダ構成

効率的アテンション — 自己注意の計算量削減の理論

二乗計算量、スパース注意、線形アテンション、低ランク近似、メモリ効率化、長文脈への拡張

位置符号化 — 順序情報を注入する表現の設計

正弦波位置符号化、学習可能位置埋め込み、相対位置表現、回転位置埋め込み、外挿性能

単語埋め込みと分散表現 — 離散記号のベクトル化理論

word2vec、Skip-gram、CBOW、GloVe、分布仮説、ベクトル空間の類推構造、サブワード分割

オートエンコーダ — 再構成による表現学習の基礎

エンコーダ・デコーダ、ボトルネック、次元削減、デノイジングオートエンコーダ、スパースAE

変分オートエンコーダ — 潜在変数モデルと変分推論の融合

VAE、ELBO、再パラメータ化トリック、KLダイバージェンス、潜在空間、生成と推論の同時学習

敵対的生成ネットワーク — 生成器と識別器のミニマックス学習

GAN、生成器・識別器、ミニマックスゲーム、モード崩壊、Wasserstein GAN、訓練安定化

拡散モデル — ノイズ除去過程による生成の理論

拡散過程、逆過程、デノイジングスコアマッチング、DDPM、サンプリング加速、スコアベース生成

正規化フロー — 可逆変換による厳密な尤度計算

Normalizing Flow、可逆写像、ヤコビアン行列式、カップリング層、厳密な確率密度推定

エネルギーベースモデル — エネルギー関数で定義する確率分布

EBM、分配関数、対照的発散、ギブス分布、サンプリングによる学習、スコアマッチングとの関係

ボルツマンマシンとRBM — 確率的ニューラルネットの古典

ボルツマンマシン、制限ボルツマンマシン、可視層・隠れ層、コントラスティブダイバージェンス学習

深層信念ネットワーク — 層ごと事前学習と深層学習復興

DBN、貪欲な層別事前学習、教師なし事前学習、ファインチューニング、2006年以降の深層学習再興

残差学習 — スキップ接続による超深層網の実現

ResNet、残差ブロック、恒等写像、劣化問題の解決、百層超の訓練、アンサンブル的解釈

スキップ接続と勾配流 — 情報経路の設計理論

ショートカット結合、勾配ハイウェイ、DenseNetの密結合、U-Net型接続、特徴再利用

画像認識アーキテクチャの系譜 — 設計原理の発展史

AlexNet、VGG、GoogLeNet、Inception、EfficientNet、Vision Transformer、設計思想の変遷

グラフニューラルネットワーク — グラフ構造上の学習理論

GNN、メッセージパッシング、グラフ畳み込み、ノード分類、置換同変性、表現力とWL検定

幾何学的深層学習 — 対称性と同変性による統一的視点

群同変ネットワーク、対称性、不変性・同変性、多様体上の学習、格子・グラフ・群の統一理論

系列変換モデル — 符号化・復号による翻訳の枠組み

seq2seq、エンコーダ・デコーダ、教師強制、ビームサーチ、ニューラル機械翻訳、系列生成の評価

転移学習とファインチューニング — 事前学習知識の再利用

事前学習・微調整、特徴抽出器の凍結、ドメイン転移、LoRAなどパラメータ効率的微調整

自己教師あり学習 — ラベルなしデータからの表現獲得

プレテキストタスク、マスク予測、次トークン予測、擬似ラベル、大規模無ラベルデータの活用

対照学習 — 正例・負例の対比による表現学習

コントラスティブ学習、InfoNCE損失、SimCLR、MoCo、データ拡張ペア、負例なし手法（BYOL）

マスク言語モデル — 双方向文脈による事前学習

BERT、マスクトークン予測、双方向エンコーダ、次文予測、微調整によるタスク適応

自己回帰言語モデル — 次トークン予測による生成基盤

GPT系列、自己回帰生成、因果マスク、文脈内学習、プロンプティング、デコーディング戦略

スケーリング則 — 規模と性能の冪乗則的関係

パラメータ数・データ量・計算量と損失の冪乗則、計算最適な配分、創発的能力の議論

過剰パラメータ化と二重降下 — 古典統計を超える汎化現象

ダブルディセント、補間閾値、過剰パラメータ領域の汎化、良性過適合、モデル規模と誤差曲線

汎化理論 — 学習保証を与える統計的学習理論の枠組み

VC次元、Rademacher複雑度、PAC学習、PAC-Bayes、マージン理論、一様収束と深層網の乖離

損失地形 — 高次元非凸目的関数の幾何構造

ロスランドスケープ、鞍点、局所解の連結性、モード接続、可視化手法、対称性による等価解

平坦な極小と汎化 — 解の形状が汎化に与える影響

フラットミニマ、シャープネス、SAM（シャープネス認識最小化）、ヘッセ行列固有値、バッチサイズ効果

ニューラルタンジェントカーネル — 無限幅網の学習ダイナミクス

NTK、無限幅極限、カーネル回帰との対応、遅延学習領域、特徴学習領域との対比

平均場理論と無限幅解析 — 統計物理による深層網の解析

平均場近似、ガウス過程対応、信号伝播理論、カオスの縁、初期化の秩序・無秩序相転移

宝くじ仮説 — 疎な当たり部分網の存在仮説

ロッタリーチケット仮説、当選チケット、反復的プルーニング、初期値巻き戻し、疎な訓練可能部分網

プルーニングとスパース化 — 冗長パラメータの削減理論

枝刈り、重要度基準、構造化・非構造化スパース性、圧縮率と精度の交換、疎行列計算

量子化 — 低ビット表現による軽量化の理論と手法

8ビット/4ビット量子化、量子化認識訓練、訓練後量子化、キャリブレーション、精度劣化の分析

知識蒸留 — 大規模モデルから小型モデルへの知識転移

教師・生徒モデル、ソフトターゲット、温度パラメータ、特徴蒸留、自己蒸留、モデル圧縮

混合精度と大規模訓練技法 — 数値精度と安定性の設計

FP16/BF16混合精度、損失スケーリング、勾配チェックポイント、メモリ削減、数値安定性

分散学習 — データ並列・モデル並列の理論と通信

データ並列、テンソル並列、パイプライン並列、AllReduce、勾配同期、大規模クラスタ訓練

ハイパーパラメータ最適化 — 探索手法と実験計画

グリッド探索、ランダム探索、ベイズ最適化、早期打ち切り、学習率・バッチサイズの相互作用

ニューラルアーキテクチャ探索 — 構造自体を自動設計する手法

NAS、探索空間、強化学習・進化的探索、微分可能NAS、重み共有、探索コストの削減

メタ学習 — 学習の仕方を学習する枠組み

MAML、学習初期値の最適化、タスク分布、内側・外側ループ、メトリック学習型メタ学習

少数ショット学習 — わずかな事例からの適応理論

few-shot分類、プロトタイプネットワーク、エピソード訓練、サポート・クエリ集合、文脈内学習との関係

継続学習と破滅的忘却 — 逐次タスク学習の安定性

カタストロフィックフォゲッティング、弾性重み固定（EWC）、リハーサル、可塑性と安定性のジレンマ

マルチタスク学習 — 複数タスクの同時学習と干渉

共有表現、タスク重み付け、勾配衝突、補助タスク、正の転移・負の転移、ハード/ソフト共有

深層Qネットワーク — 価値関数近似による強化学習

DQN、経験再生、ターゲットネットワーク、Q学習の関数近似、Atariゲームでの実証

方策勾配法 — 方策を直接最適化する強化学習理論

REINFORCE、Actor-Critic、アドバンテージ関数、PPO、TRPO、方策勾配定理、分散削減

探索型深層強化学習 — 木探索と価値網の統合

AlphaGo、モンテカルロ木探索、自己対戦学習、価値ネットワーク・方策ネットワークの統合

モデルベース強化学習と世界モデル — 環境予測による計画

環境モデル学習、想像上のロールアウト、潜在ダイナミクス、プランニング、サンプル効率の改善

人間フィードバックからの強化学習 — 選好に基づく整列

RLHF、報酬モデル、選好比較データ、方策最適化、直接選好最適化（DPO）、モデルの整列

敵対的攻撃 — 微小摂動による誤分類の理論

敵対的サンプル、FGSM、PGD攻撃、転移攻撃、ブラックボックス攻撃、摂動の知覚不可能性

頑健性と防御 — 敵対的訓練と認証付き防御の理論

敵対的訓練、ランダム化平滑化、認証半径、頑健性と精度のトレードオフ、分布外検知

説明可能性 — 予測根拠を可視化・帰属する手法

顕著性マップ、Grad-CAM、SHAP、LIME、統合勾配、特徴帰属、忠実性の評価

特徴可視化 — 内部表現が捉える概念の分析

活性化最大化、フィルタ可視化、中間層プロービング、表現類似度解析（CKA）、概念活性ベクトル

メカニスティック解釈可能性 — 回路レベルでの内部機構解明

回路分析、誘導ヘッド、重ね合わせ仮説、スパースオートエンコーダによる特徴分解、活性化パッチング

ベイズ深層学習 — 重みの不確実性を扱う確率的枠組み

ベイズニューラルネット、変分推論、MCドロップアウト、ラプラス近似、事後分布近似、予測分布

予測の較正 — 確信度と正解率の整合性理論

キャリブレーション、期待較正誤差（ECE）、温度スケーリング、信頼度推定、過信の補正

深層アンサンブル — 複数モデルの統合による性能向上

ディープアンサンブル、予測平均、多様性、不確実性推定への利用、スナップショットアンサンブル

データ拡張 — 変換による訓練データ拡充の理論

画像変換、Mixup、CutMix、RandAugment、拡張の不変性誘導、自動拡張方策の探索

ラベルノイズ学習 — 誤ラベルに頑健な訓練手法

ノイズ遷移行列、頑健損失関数、サンプル選択、ラベル平滑化、記憶化のタイミング分析

不均衡データ学習 — ロングテール分布への対処理論

クラス不均衡、再重み付け、リサンプリング、ロングテール認識、少数クラスの表現学習

半教師あり学習 — ラベル付き・なしデータの併用理論

擬似ラベル、一貫性正則化、FixMatch、エントロピー最小化、クラスタ仮定、低密度分離

ドメイン適応と分布シフト — 訓練・運用環境の乖離への対応

共変量シフト、ドメイン敵対的学習、テスト時適応、分布外汎化、スプリアス相関の除去

表現学習理論 — 良い表現の性質と獲得原理

もつれ解消（disentanglement）、不変表現、因果表現学習、線形分離可能性、転移可能な特徴

情報ボトルネック理論 — 圧縮と予測の情報理論的解析

相互情報量、圧縮相・適合相、情報平面、最小十分統計量、深層網の学習過程の情報論的解釈

記憶化と汎化 — 訓練データ暗記の理論と実証

ランダムラベル記憶実験、記憶化と汎化の共存、影響関数、訓練データ抽出、プライバシーとの関係

グロッキング — 遅延して起こる汎化の相転移現象

grokking、過適合後の急激な汎化、重み減衰の役割、回路形成、訓練ダイナミクスの相転移

暗黙的正則化 — 最適化アルゴリズム自体が持つバイアス

SGDの暗黙的バイアス、最小ノルム解への収束、マージン最大化、エッジオブスタビリティ

非凸最適化の収束理論 — 深層学習最適化の数学的解析

鞍点回避、PL条件、収束レート、確率的近似理論、過剰パラメータ化下の大域収束保証

二次最適化と自然勾配 — 曲率情報を用いた更新則

ニュートン法、自然勾配法、フィッシャー情報行列、K-FAC、ヘッセ行列近似、前処理付き勾配法

学習率スケジューリング — 訓練過程での学習率制御理論

ウォームアップ、コサイン減衰、ステップ減衰、サイクリック学習率、大バッチ訓練の線形スケーリング則

ハードウェアと計算基盤 — GPU/アクセラレータ上の深層計算

GPU、TPU、行列積演算、テンソルコア、メモリ帯域、演算強度、ハードウェア対応のモデル設計

自動微分 — 計算グラフ上の微分の体系的計算法

リバースモード・フォワードモード自動微分、計算グラフ、動的・静的グラフ、高階微分、随伴法

深層学習フレームワーク — 実装基盤の設計思想と発展

TensorFlow、PyTorch、JAX、Keras、動的計算グラフ、コンパイラ最適化、ONNX相互運用

スパイキングニューラルネット — 神経科学に近い発火モデル

スパイク発火、積分発火ニューロン、時間符号化、ニューロモルフィックハードウェア、STDP学習則

物理情報ニューラルネットワーク — 物理法則を組み込む学習

PINN、偏微分方程式制約、残差損失、科学計算への応用、シミュレーションとの融合、逆問題

ニューラル常微分方程式 — 連続深さモデルの理論

Neural ODE、随伴感度法、連続正規化フロー、残差網の連続極限、数値積分器の選択

陰関数表現と座標ネットワーク — 連続場としての信号表現

座標入力MLP、NeRF、符号付き距離関数、周波数符号化、3次元シーン再構成、暗黙的形状表現

混合エキスパート — 条件付き計算による疎な大規模化

MoE、ゲーティングネットワーク、エキスパート選択、負荷分散損失、疎活性化、推論コスト削減

マルチモーダル学習 — 画像・言語など複数様式の統合

視覚言語モデル、CLIP、対照的事前学習、クロスモーダル注意、画像キャプション、共有埋め込み空間

深層学習の歴史と研究者 — 冬の時代から復興までの系譜

ヒントン、ルカン、ベンジオ、2018年チューリング賞、AIの冬、ImageNet以降の急展開、福島邦彦のネオコグニトロン

深層学習の教育と教科書 — 学習資源とカリキュラム

Goodfellowら『Deep Learning』、オンライン講義、実装演習、ベンチマークデータセット、再現性教育

深層学習（DeepLearning）理論 — 退避・古典資料archive

旧版教材、歴史的論文、廃止手法のアーカイブなど、現行分類から退避した資料の保管区分