ニューラルネットワークの基礎

ニューラルネットワークの基礎 — 概要

ニューロンモデルから多層網、学習則、正則化、代表構造までを見渡す入門ガイド

形式ニューロン — マカロック・ピッツの二値閾値素子モデル

重み付き入力和、閾値関数、論理素子との対応、1943年提案、神経回路の数理化

パーセプトロン — ローゼンブラットの線形識別と学習規則

線形分離、重み更新則、収束定理、単層構造、パターン認識機械の原型

パーセプトロンの限界 — ミンスキーとパパートの批判とXOR問題

線形分離不可能性、XOR問題、『Perceptrons』(1969)、第一次NN研究停滞の契機

多層パーセプトロン — 隠れ層による非線形関数の表現

入力層・隠れ層・出力層、全結合、非線形変換の合成、決定境界の柔軟化

活性化関数の基礎 — シグモイド・tanh・ステップ関数

シグモイド、双曲線正接、ステップ関数、微分可能性、飽和領域、値域の違い

ReLU系活性化関数 — 正規化線形関数とその改良形

ReLU、Leaky ReLU、ELU、GELU、Swish、スパース活性、死んだReLU問題

順伝播計算 — 線形変換と活性化の層状合成

重み行列、バイアス、アフィン変換、活性化、層ごとの特徴写像、推論経路

誤差逆伝播法 — 連鎖律による勾配の効率的計算

連鎖律、デルタ則、勾配の逆向き伝達、ラメルハートらによる普及(1986)

勾配降下法 — バッチ・ミニバッチ・確率的の三方式

最急降下、SGD、ミニバッチ、学習率、反復更新、収束と振動のトレードオフ

損失関数 — 二乗誤差と交差エントロピーの使い分け

平均二乗誤差、交差エントロピー、ヒンジ損失、負の対数尤度、回帰と分類の対応

出力層とソフトマックス — 多クラス分類の確率化

softmax関数、ロジット、確率分布出力、温度パラメータ、argmaxとの関係

重みの初期化 — Xavier初期化とHe初期化の理論

分散の保存、Glorot初期化、He初期化、対称性の破れ、ゼロ初期化の失敗

学習率スケジューリング — 減衰・ウォームアップ・再スタート

ステップ減衰、指数減衰、コサインアニーリング、ウォームアップ、周期的学習率

モメンタム法 — 慣性項による勾配降下の加速

速度項、指数移動平均、Nesterov加速勾配、振動抑制、谷底への収束促進

適応的最適化手法 — AdaGradからAdam・AdamWへ

AdaGrad、RMSProp、Adam、AdamW、パラメータ別学習率、二次モーメント推定

過学習と正則化 — L1/L2罰則と重み減衰の基礎

過学習、L1正則化、L2正則化、重み減衰、スパース解、汎化性能の確保

ドロップアウト — ランダム無効化による共適応の抑制

ユニットの確率的無効化、アンサンブル近似、推論時スケーリング、共適応防止

バッチ正規化 — ミニバッチ統計による学習の安定化

平均・分散の正規化、スケールとシフト、内部共変量シフト、学習高速化(2015)

多様な正規化層 — レイヤー・インスタンス・グループ正規化

Layer Normalization、Instance Norm、Group Norm、バッチ非依存、系列モデル適性

勾配消失問題 — 深層化を阻んだ飽和活性化の壁

シグモイドの飽和、勾配の指数的減衰、深層学習前史の障壁、ReLUによる緩和

勾配爆発と勾配クリッピング — 発散を防ぐ実務技法

勾配ノルムの発散、クリッピング閾値、RNNでの頻発、数値安定性の確保

万能近似定理 — 一隠れ層網の関数近似能力の理論

Cybenko・Hornikらの定理、連続関数近似、幅と深さ、存在定理と学習可能性の差

表現学習 — 特徴の階層的抽出と分散表現

特徴階層、低次から高次への抽象化、分散表現、手作り特徴からの脱却

埋め込み表現 — 離散記号の連続ベクトル化

one-hot表現、埋め込み行列、word2vec、意味的類似度、次元圧縮された語彙空間

畳み込みニューラルネット基礎 — 局所受容野とフィルタ

畳み込み演算、カーネル、ストライド、パディング、受容野、平行移動への頑健性

プーリング層 — 空間縮約による不変性の獲得

最大プーリング、平均プーリング、ダウンサンプリング、位置ずれ耐性、計算削減

代表的CNN構造 — LeNetからAlexNet・VGGまで

LeNet-5、AlexNet、VGG、GoogLeNet、層の深化、ImageNetでの性能競争

残差接続 — スキップ接続が可能にした超深層化

ResNet、恒等写像、残差ブロック、勾配の迂回路、100層超の学習実現(2015)

リカレントニューラルネット — 系列データと隠れ状態

時間方向の展開、隠れ状態、重み共有、BPTT、時系列・言語データへの適用

LSTM — ゲート機構による長期依存の学習

入力・忘却・出力ゲート、セル状態、長期依存、ホックライターらの提案(1997)

GRU — ゲートを簡略化した回帰型ユニット

更新ゲート、リセットゲート、LSTMとの比較、パラメータ削減、学習効率

双方向RNN — 前後文脈を統合する系列処理

順方向・逆方向の隠れ状態結合、系列ラベリング、音声認識、文脈情報の活用

注意機構 — 重み付き文脈参照による情報選択

アテンション重み、クエリ・キー・バリュー、加法・内積注意、翻訳での導入

Transformer基礎 — 自己注意による系列モデリング

自己注意、マルチヘッド注意、位置符号化、並列計算、『Attention Is All You Need』

自己符号化器 — 再構成学習による次元圧縮

エンコーダ・デコーダ、ボトルネック、再構成誤差、雑音除去AE、特徴抽出

変分オートエンコーダ — 潜在変数の確率的生成モデル

潜在変数、再パラメータ化トリック、KLダイバージェンス、ELBO、生成と補間

敵対的生成ネットワーク — 生成器と識別器の競合学習

GAN、ミニマックスゲーム、モード崩壊、グッドフェローらの提案(2014)、画像生成

ホップフィールドネットワーク — 連想記憶とエネルギー関数

全結合回帰網、エネルギー最小化、連想記憶、記憶容量、1982年提案

ボルツマンマシン — 確率的ユニットと制限型RBM

確率的発火、ギブスサンプリング、制限ボルツマンマシン、コントラスティブダイバージェンス

自己組織化マップ — 競合学習による位相保存写像

SOM、コホネンの提案、勝者総取り、近傍学習、高次元データの二次元可視化

放射基底関数ネットワーク — 局所応答関数による近似

RBFネットワーク、ガウス基底、中心と幅、局所近似、補間問題への適用

深層信念ネットワーク — 層ごとの貪欲事前学習

DBN、RBMの積層、教師なし事前学習、ヒントンらの2006年ブレイクスルー

教師あり学習の枠組み — 分類と回帰の定式化

訓練データ、ラベル、経験損失最小化、分類・回帰タスク、入出力写像の学習

教師なし学習とNN — クラスタリングと密度推定

ラベルなしデータ、クラスタリング、密度推定、次元削減、生成モデルとの接続

自己教師あり学習 — 疑似タスクによる表現獲得

プレテキストタスク、マスク予測、対照学習、半教師あり学習、ラベル効率の向上

転移学習とファインチューニング — 事前学習知識の再利用

事前学習モデル、特徴抽出器の流用、微調整、ドメイン適応、少データ学習

データ拡張 — 変換によるデータ多様化と汎化向上

反転、回転、切り抜き、色変換、ノイズ付加、Mixup、CutMix、実効データ量の増加

ハイパーパラメータ調整 — 探索手法と実験管理

グリッド探索、ランダム探索、ベイズ最適化、学習率・層数・バッチサイズの選定

データ分割と交差検証 — 訓練・検証・テストの設計

ホールドアウト、k分割交差検証、データリーク防止、テストセットの独立性

評価指標 — 精度・適合率・再現率・F値・AUC

混同行列、精度、適合率、再現率、F1スコア、ROC曲線、AUC、閾値の選択

バイアスとバリアンス — 誤差分解とモデル複雑度

バイアス・バリアンス分解、複雑度と誤差の関係、過小適合と過剰適合の診断

早期終了 — 検証損失監視による過学習防止

検証損失の監視、patience設定、最良重みの保存、暗黙的正則化としての効果

ミニバッチ学習の実務 — バッチサイズと汎化の関係

バッチサイズ選択、メモリ制約、勾配ノイズ、大バッチ学習、シャッフルの重要性

自動微分 — 前進・後退モードと勾配計算の自動化

前進モード、後退モード、双対数、数値微分・記号微分との比較、逆伝播との関係

計算グラフ — 動的グラフと静的グラフの構築方式

ノードと演算、define-and-run、define-by-run、グラフ最適化、デバッグ性の差

深層学習フレームワーク — TensorFlow・PyTorch・JAX

TensorFlow、PyTorch、JAX、Keras、自動微分実装、エコシステムと採用動向

GPU計算と並列化 — 行列演算加速とハードウェア

GPU、CUDA、行列積の並列化、TPU、混合精度学習、データ並列・モデル並列

テンソル演算の基礎 — 多次元配列と形状操作

テンソルの階数、形状、ブロードキャスト、内積・行列積、reshape、転置

ヘッブ則 — 同時発火による結合強化の学習原理

「共に発火する細胞は結線する」、シナプス可塑性、ヘッブ学習、相関学習則

生物学的ニューロンとの対応 — シナプスと発火の模倣

樹状突起、軸索、シナプス、活動電位、発火率符号化、人工モデルとの乖離

スパイキングニューラルネット — 発火時刻による情報符号化

スパイク列、積分発火モデル、時間符号化、STDP、省電力計算への期待

ニューラルネット研究史 — 二度の冬と復興の系譜

パーセプトロンブーム、AIの冬、コネクショニズム復興、PDPグループ、深層学習前夜

深層学習革命 — ImageNetと2012年以降の急展開

ILSVRC、AlexNetの圧勝(2012)、GPU活用、ビッグデータ、産業応用の爆発的拡大

損失地形の幾何 — 鞍点・局所解・平坦な極小

非凸最適化、鞍点、局所最小、平坦解と汎化、モード連結性、可視化研究

二次最適化法 — ニュートン法と自然勾配の応用

ヘッセ行列、ニュートン法、準ニュートン法、自然勾配、K-FAC、計算コストの壁

重み共有 — パラメータ削減と帰納バイアスの導入

畳み込みの重み共有、RNNの時間方向共有、平行移動等変性、パラメータ効率

枝刈りとスパース化 — 不要結合の削除と宝くじ仮説

プルーニング、重要度基準、宝くじ仮説、スパースネットワーク、推論高速化

量子化と軽量化 — 低精度演算によるモデル圧縮

8bit量子化、二値化ネットワーク、混合精度、エッジデバイス展開、精度と速度の均衡

知識蒸留 — 教師モデルから生徒モデルへの転写

ソフトターゲット、温度付きsoftmax、教師・生徒構造、モデル圧縮、性能継承

ニューラルアーキテクチャ探索 — 構造設計の自動化

NAS、探索空間、強化学習・進化計算による探索、微分可能NAS、計算資源の課題

ノイズによる正則化 — 入力擾乱とラベル平滑化

入力ノイズ注入、ラベルスムージング、確率的深さ、頑健性と汎化の向上

マルチタスク学習 — 共有表現による複数課題の同時学習

共有層とタスク別ヘッド、補助タスク、損失の重み付け、転移効果と負の転移

系列変換モデル — エンコーダ・デコーダとseq2seq

seq2seq、エンコーダ・デコーダ、機械翻訳、ビームサーチ、教師強制、文脈ベクトル

位置符号化 — 順序情報を注入する表現技法

正弦波位置符号化、学習可能位置埋め込み、相対位置表現、系列順序の保持

グラフニューラルネットワーク — メッセージパッシングの基礎

グラフ畳み込み、メッセージパッシング、ノード埋め込み、GCN、分子・関係データ

距離学習とシャム型網 — 対照損失による類似度学習

シャムネットワーク、対照損失、トリプレット損失、埋め込み空間、顔照合・検索

メモリ拡張ネットワーク — 外部記憶を持つ微分可能機械

外部メモリ、読み書きヘッド、Neural Turing Machine、アルゴリズム学習の試み

学習理論と汎化 — VC次元とラデマッハ複雑度

VC次元、ラデマッハ複雑度、PAC学習、汎化誤差上界、深層網への適用限界

二重降下現象 — 過剰パラメータ化と汎化の逆説

二重降下曲線、補間閾値、過剰パラメータ化、古典的バイアス・バリアンス観の修正

暗黙的正則化 — SGDが選ぶ解の性質と汎化ギャップ

SGDの暗黙的バイアス、平坦解選好、汎化ギャップ、ノルム制約なしでの汎化の謎

説明可能性 — 顕著性マップと寄与度の可視化

顕著性マップ、Grad-CAM、LIME、SHAP、特徴重要度、ブラックボックス問題

敵対的攻撃と頑健性 — 摂動に脆いNNと防御手法

敵対的サンプル、FGSM、PGD、敵対的訓練、微小摂動での誤分類、安全性への含意

不確実性推定 — ベイズNNとモンテカルロドロップアウト

ベイズニューラルネット、事後分布近似、MCドロップアウト、予測分散、較正

アンサンブル学習 — 複数モデル統合による性能向上

バギング、モデル平均、多数決、スナップショットアンサンブル、多様性の確保

学習曲線とデバッグ — 訓練診断と失敗パターンの特定

訓練・検証損失曲線、過学習・未学習の判別、勾配確認、小データでの過適合テスト

データ前処理 — 標準化・正規化・白色化の基礎

平均除去、分散標準化、min-max正規化、白色化、PCA前処理、入力スケールの影響

クラス不均衡対策 — 重み付け損失と再サンプリング

クラス重み、オーバーサンプリング、アンダーサンプリング、focal loss、少数派対策

回帰のためのNN — 連続値予測と出力設計

線形出力層、二乗誤差・Huber損失、分位点回帰、予測区間、時系列予測への応用

画像分類ベンチマーク — MNISTからImageNetまで

MNIST、CIFAR-10/100、ImageNet、ベンチマーク文化、性能比較と再現性の課題

自然言語処理への応用基礎 — 言語モデルとテキスト分類

n-gramからニューラル言語モデルへ、テキスト分類、系列ラベリング、事前学習の萌芽

強化学習との接続 — 価値関数と方策の関数近似

DQN、方策勾配、価値関数近似、経験再生、Atariゲーム制覇、深層強化学習の端緒

ニューロモーフィック計算 — 脳型ハードウェアへの実装

脳型チップ、イベント駆動計算、アナログ回路、省電力推論、スパイク処理の実装

連合学習 — 分散データでのプライバシー保護学習

フェデレーテッドラーニング、端末上学習、勾配集約、差分プライバシー、通信効率

継続学習 — 破滅的忘却の克服と逐次的知識獲得

破滅的忘却、弾性重み固定、リハーサル、タスク系列学習、知識の保持と更新

ニューラルODE — 連続深さとしての微分方程式的定式化

常微分方程式ソルバ、連続深さ、随伴法による勾配計算、ResNetの連続極限

幾何学的深層学習 — 対称性と不変性からの統一的視点

群対称性、等変性、不変性、多様体上の学習、CNN・GNN・Transformerの統一理解

物理情報ニューラルネット — 微分方程式制約付き学習

PINN、物理法則の損失項組込、偏微分方程式求解、シミュレーション代理モデル

学習リソースと教育 — 教科書・講座・可視化ツール

定番教科書、オンライン講座、実装チュートリアル、対話的可視化、学習パスの設計

ニューラルネットワークの基礎 — 退避・古典資料archive

旧版資料、歴史的文献、廃止された手法のノート、過去の講義資料の保管庫