ニューラルネットワーク理論

ニューラルネットワーク理論 — 概要

形式ニューロンから深層学習まで、構造・学習則・汎化理論を扱う領域の入門ガイド

形式ニューロンモデル — 計算単位としての神経細胞

マカロック=ピッツモデル、閾値論理、重み付き和、発火、論理回路との対応

パーセプトロン — 線形識別器と学習規則

ローゼンブラットの単純パーセプトロン、線形分離可能性、収束定理、誤り訂正学習

パーセプトロンの限界 — XOR問題と第一次停滞

ミンスキーとパパートの批判、線形分離不可能問題、単層の表現力限界、研究停滞期

多層パーセプトロン — 隠れ層による非線形表現

MLPの構造、入力層・隠れ層・出力層、全結合層、非線形変換の合成

活性化関数 — 非線形性の導入部品

シグモイド、tanh、ReLU、Leaky ReLU、GELU、Swish、飽和と勾配特性

誤差逆伝播法 — 勾配の効率的計算

バックプロパゲーション、連鎖律、デルタ則、順伝播と逆伝播、計算量の削減

勾配降下法 — 基本の最適化手続き

バッチ勾配降下、確率的勾配降下(SGD)、ミニバッチ、モメンタム、学習率

適応的最適化アルゴリズム — 学習率の自動調整

AdaGrad、RMSProp、Adam、AdamW、パラメータごとの学習率、二次モーメント推定

損失関数 — 学習目標の定式化

平均二乗誤差、交差エントロピー、ヒンジ損失、負の対数尤度、ラベル平滑化

万能近似定理 — 表現力の理論保証

シベンコの定理、ホルニクの結果、連続関数の近似、隠れユニット数と近似精度

重みの初期化 — 学習開始点の設計

Xavier初期化、He初期化、分散の維持、対称性の破れ、初期化と収束速度

勾配消失・勾配爆発 — 深層化の障害

深い層での勾配の減衰と発散、シグモイドの飽和、勾配クリッピング、対策手法

正則化 — 過学習の抑制技法

L1/L2正則化、重み減衰、早期終了、ノルム制約、スパース性の誘導

ドロップアウト — 確率的なユニット無効化

学習時のランダムな結合遮断、アンサンブル効果の近似、推論時のスケーリング

正規化層 — 内部共変量シフトへの対処

バッチ正規化、レイヤー正規化、グループ正規化、インスタンス正規化、安定化効果

畳み込みニューラルネットワーク — 局所受容野と重み共有

畳み込み層、プーリング層、特徴マップ、ストライド、パディング、平行移動不変性

CNNの代表アーキテクチャ — 画像認識の系譜

LeNet、AlexNet、VGG、GoogLeNet、ResNet、ImageNet競技での発展史

残差接続 — 恒等写像による深層化

ResNetのスキップ接続、残差学習、勾配の高速道路、DenseNetの密結合

リカレントニューラルネットワーク — 系列データの逐次処理

隠れ状態の再帰、時間方向逆伝播(BPTT)、系列長と勾配問題、言語モデルへの応用

LSTM — ゲート機構による長期依存の学習

忘却ゲート、入力ゲート、出力ゲート、セル状態、長期依存関係の保持

GRU — 簡約ゲート付き再帰ユニット

更新ゲート、リセットゲート、LSTMとの比較、パラメータ数と計算効率

注意機構 — 重要箇所への動的な重み付け

アテンション重み、クエリ・キー・バリュー、ソフトアテンション、系列間の対応付け

Transformer — 自己注意に基づく系列変換

自己注意、マルチヘッド注意、位置符号化、並列計算、エンコーダ・デコーダ構成

自己符号化器 — 圧縮と復元による表現学習

エンコーダ・デコーダ、ボトルネック、再構成誤差、デノイジング自己符号化器

変分自己符号化器 — 潜在変数の確率モデル化

VAE、変分下界(ELBO)、再パラメータ化トリック、潜在空間からの生成

敵対的生成ネットワーク — 生成器と識別器の競合学習

GAN、ミニマックスゲーム、モード崩壊、条件付きGAN、画像生成への応用

ホップフィールドネットワーク — 連想記憶の力学系

対称結合、エネルギー関数、アトラクタ、想起、記憶容量の限界

ボルツマンマシン — 確率的な生成モデル

制限ボルツマンマシン(RBM)、コントラスティブダイバージェンス、ギブスサンプリング

自己組織化マップ — 教師なし位相保存写像

コホネンのSOM、競合学習、近傍関数、高次元データの二次元可視化

動径基底関数ネットワーク — 局所的な基底の重ね合わせ

RBFネットワーク、ガウス基底、中心の配置、補間と近似、カーネル法との関係

深層信念ネットワーク — 層ごとの事前学習

DBN、RBMの積層、貪欲な層別学習、深層学習復興期の役割、微調整

表現学習 — 特徴の自動獲得

分散表現、埋め込み、特徴階層、手作り特徴からの脱却、良い表現の条件

単語埋め込み — 言語の分散表現

word2vec、Skip-gram、CBOW、GloVe、意味の線形構造、類推タスク

グラフニューラルネットワーク — グラフ構造上の学習

GNN、グラフ畳み込み(GCN)、メッセージパッシング、ノード分類、分子構造への応用

スパイキングニューラルネットワーク — 発火時刻による情報表現

スパイク列、積分発火モデル、STDP、時間符号化、省電力性への期待

ニューロモルフィック計算 — 脳型ハードウェア

イベント駆動計算、アナログ回路による神経模倣、省電力チップ、SNNとの接続

汎化理論 — 未知データへの性能保証

VC次元、ラデマッハ複雑度、PAC学習、汎化誤差上界、深層学習での理論と実際の乖離

過学習とバイアス・バリアンス — モデル複雑さの調整

訓練誤差と汎化誤差、バイアス・バリアンス分解、モデル選択、交差検証

二重降下現象 — 過剰パラメータ領域の振る舞い

補間閾値、テスト誤差の再降下、過剰パラメータ化の利益、古典的学習理論との緊張

宝くじ仮説 — 疎な当たり部分網の存在

初期値を保った枝刈り、当たりくじ部分ネットワーク、疎な学習可能構造の示唆

ニューラルタンジェントカーネル — 無限幅での学習理論

NTK、無限幅極限での線形化、カーネル回帰との対応、遅延学習領域

平均場理論と無限幅極限 — 統計力学的な解析

無限幅ネットワークとガウス過程の対応、信号伝播解析、秩序とカオスの境界

損失地形 — 最適化空間の幾何

非凸性、鞍点、平坦な極小と鋭い極小、モード接続性、可視化手法

情報ボトルネック理論 — 圧縮と予測のトレードオフ

相互情報量、圧縮段階の仮説、層ごとの情報量変化、理論を巡る論争

ネットワークの表現力 — 深さ・幅と関数クラス

深さと幅のトレードオフ、区分線形関数の領域数、表現可能な関数の複雑さ

深さの優位性 — 深層と浅層の分離定理

深さ分離、浅い網では指数的に大きくなる関数例、階層的合成の効率

モデル圧縮 — 枝刈りと量子化

プルーニング、重みの量子化、低ランク分解、推論高速化、エッジ機器への配備

転移学習 — 事前学習知識の再利用

ファインチューニング、特徴抽出器としての利用、ドメイン適応、少データでの学習

自己教師あり学習 — ラベルなしデータからの表現獲得

プレテキストタスク、対照学習、SimCLR、MoCo、BYOL、マスク予測

事前学習と基盤モデル — 大規模学習の枠組み

大規模コーパスでの事前学習、下流タスク適応、基盤モデルの汎用性と集中化

スケーリング則 — 規模と性能の関係

パラメータ数・データ量・計算量と損失の冪乗則、計算最適な学習配分

カプセルネットワーク — 部分と全体の姿勢表現

カプセル、動的ルーティング、姿勢行列、CNNのプーリングへの批判的代替案

エンコーダ・デコーダ — 系列変換の基本枠組み

seq2seq、文脈ベクトル、機械翻訳、注意機構との組合せ、系列生成

出力層と確率化 — 予測の分布表現

ソフトマックス、温度パラメータ、多クラス分類、較正、閾値設定

埋め込み空間の幾何 — 表現の構造分析

コサイン類似度、近傍構造、異方性、次元削減による可視化、意味的方向

敵対的攻撃と頑健性 — 微小摂動への脆弱性

敵対的サンプル、FGSM、PGD、敵対的訓練、認証済み頑健性

解釈可能性 — 判断根拠の可視化

顕著性マップ、Grad-CAM、LIME、SHAP、特徴可視化、注意重みの解釈

不確実性推定 — 予測の信頼度定量化

予測分散、MCドロップアウト、深層アンサンブル、較正曲線、分布外検知

ベイジアンニューラルネットワーク — 重みの確率分布化

重みの事後分布、変分推論、ラプラス近似、MCMC、事前分布の設計

ガウス過程との対応 — カーネル法との橋渡し

無限幅ネットワークのガウス過程極限、カーネルの導出、ノンパラメトリック回帰

エネルギーベースモデル — スカラーエネルギーによる定式化

エネルギー関数、分配関数、対数尤度勾配、スコアマッチング、サンプリング

拡散モデル — ノイズ除去による生成

前向き拡散過程、逆過程の学習、DDPM、スコアベース生成、画像生成での成功

正規化流 — 可逆変換による密度推定

変数変換、ヤコビアン、結合層、厳密な尤度計算、フローベース生成

ニューラルODE — 連続深度の定式化

常微分方程式としての層、随伴法による逆伝播、連続時間モデル、残差網との関係

物理情報ニューラルネットワーク — 物理法則の埋め込み

PINN、偏微分方程式の残差損失、境界条件、科学計算・シミュレーションへの応用

陰関数的表現 — 座標入力による連続表現

座標ベースネットワーク、符号付き距離関数、周波数符号化、3次元形状・場の表現

メタ学習 — 学習の仕方を学習する

MAML、少数ショット学習、タスク分布、初期値の最適化、素早い適応

継続学習 — 破滅的忘却との闘い

破滅的忘却、EWC、リハーサル、正則化ベース手法、タスク系列での知識保持

マルチタスク学習 — 課題間の知識共有

共有表現、タスク固有ヘッド、損失の重み付け、負の転移、補助タスク

アンサンブルと平均化 — 複数モデルの統合

深層アンサンブル、スナップショットアンサンブル、重み平均、多数決、分散削減

ニューラルアーキテクチャ探索 — 構造設計の自動化

NAS、探索空間、強化学習・進化・勾配ベース探索、計算コストと効率化

ハイパーパラメータ最適化 — 学習設定の探索

グリッド探索、ランダム探索、ベイズ最適化、早期打切り、実験管理

学習率スケジューリング — 学習過程の制御

ステップ減衰、コサインアニーリング、ウォームアップ、サイクリック学習率

データ拡張 — 訓練データの人工的増強

回転・反転・切り抜き、mixup、CutMix、RandAugment、不変性の注入

半教師あり学習 — 少量ラベルの活用

擬似ラベル、一致性正則化、エントロピー最小化、ラベルなしデータの利用

知識蒸留 — 大モデルから小モデルへの転写

教師・生徒モデル、ソフトターゲット、温度付きソフトマックス、中間表現の蒸留

混合専門家 — 条件付き計算による大規模化

MoE、ゲーティングネットワーク、専門家の疎な活性化、負荷分散、計算効率

スパース性と効率化 — 疎な結合・活性の活用

疎行列演算、活性のスパース化、構造化枝刈り、推論コスト削減

学習ハードウェア — GPU/TPUと計算基盤

GPU並列計算、TPU、混合精度学習、メモリ帯域、行列積の高速化

分散学習 — 複数計算機での並列訓練

データ並列、モデル並列、パイプライン並列、勾配同期、大規模学習の工学

連合学習 — データを動かさない分散訓練

フェデレーテッドラーニング、端末上学習、勾配集約、プライバシー保護、通信効率

自動微分と微分可能プログラミング — 勾配計算の基盤

前進・後退モード自動微分、計算グラフ、動的グラフと静的グラフ、高階微分

深層学習フレームワーク — 実装基盤の生態系

TensorFlow、PyTorch、JAX、Keras、ONNX、テンソル演算と自動微分の実装

畳み込みの派生形 — 効率と受容野の拡張

膨張(dilated)畳み込み、深さ方向分離畳み込み、転置畳み込み、1x1畳み込み

視覚Transformer — 画像への自己注意の適用

ViT、パッチ分割、CNNとの帰納バイアス比較、大規模事前学習の効果

状態空間モデル系列学習 — 再帰と畳み込みの中間

線形状態空間、長系列の効率的処理、構造化状態空間モデル、注意機構の代替

リザバーコンピューティング — 固定乱数回路の活用

エコーステートネットワーク、リキッドステートマシン、読み出し層のみの学習

神経科学との接点 — 脳から学ぶ学習原理

ヘッブ学習、予測符号化、逆伝播の生物学的妥当性論争、視覚野と階層表現

帰納バイアスと同変性 — 構造事前知識の設計

平行移動同変性、置換不変性、重み共有、データ効率とアーキテクチャ選択

幾何学的深層学習 — 対称性による統一的見方

群同変ネットワーク、多様体・グラフ上の学習、対称性からのアーキテクチャ導出

ニューラルネットワーク研究史 — 隆盛と冬の時代

サイバネティクス、第一次・第二次ニューラルネットブーム、AIの冬、深層学習復興

主要研究者 — 分野を築いた人々

ヒントン、ルカン、ベンジオ、ローゼンブラット、甘利俊一、シュミットフーバー

日本発の先駆的研究 — ネオコグニトロンと学習理論

福島邦彦のネオコグニトロン、甘利俊一の確率勾配学習・情報幾何、CNNへの影響

深層学習と学術的評価 — 受賞と学界の転換

2018年チューリング賞(ヒントン・ルカン・ベンジオ)、主要国際会議、産学の関係

ベンチマークとデータセット — 評価の共通基盤

MNIST、CIFAR、ImageNet、GLUE、ベンチマーク駆動研究の功罪、データ品質

教育と教材 — 学習リソースの体系

教科書、オンライン講義、実装チュートリアル、数学的前提(線形代数・確率・最適化)

倫理・社会的影響 — 技術の外部性

データバイアス、公平性、電力消費と環境負荷、雇用への影響、説明責任

未解決問題 — 理論と実践の間隙

汎化の謎、創発的能力、最適化理論の未整備、頑健性と解釈性の両立、脳との乖離

ニューラルネットワーク理論 — 退避・古典資料archive

旧版資料、歴史的文献、初期のパーセプトロン文献、置き換え済み記事の保管庫