ニューラルネット設計（CNN,）

ニューラルネット設計（CNN,） — 概要

パーセプトロンからCNN・RNN・Transformerまで、ニューラルネットの構成要素と設計原理を概観する入門ガイド

パーセプトロン — 単層モデルと線形分離の限界

形式ニューロン、重みと閾値、パーセプトロン学習則、XOR問題、線形分離可能性

多層パーセプトロン — 全結合層による階層表現

隠れ層、全結合層、順伝播計算、非線形変換の積み重ね、普遍近似定理との関係

活性化関数 — 非線形性を与える基本部品

シグモイド、tanh、ステップ関数、飽和領域、微分可能性、出力層のソフトマックス

ReLU系活性化 — 勾配消失を抑える現代の標準

ReLU、Leaky ReLU、ELU、GELU、Swish、死んだニューロン問題、疎な活性化

誤差逆伝播法 — 勾配計算の中核アルゴリズム

連鎖律、計算グラフ、順伝播と逆伝播、自動微分、局所勾配の伝達と蓄積

勾配降下法 — 損失最小化の基本原理

最急降下法、学習率、局所解と鞍点、凸性と非凸最適化、収束条件

SGDとモーメンタム — 確率的最適化の実践

確率的勾配降下法、ミニバッチ、モーメンタム、Nesterov加速勾配、振動抑制

適応的最適化 — Adam系オプティマイザ

AdaGrad、RMSProp、Adam、AdamW、学習率の自動調整、重み減衰との分離

重み初期化 — 学習を安定させる初期値設計

Xavier初期化、He初期化、分散の維持、対称性の破壊、初期値と収束速度

バッチ正規化 — 内部共変量シフトの緩和

ミニバッチ統計量、スケールとシフトのパラメータ、学習と推論の切替、収束加速

各種正規化層 — レイヤー・グループ・インスタンス

Layer Normalization、Group Normalization、Instance Normalization、バッチ依存性の回避

ドロップアウト — 確率的なユニット無効化

学習時のランダム除去、推論時のスケーリング、共適応の抑制、暗黙のアンサンブル効果

正則化手法 — L1/L2と過学習抑制

重み減衰、L1正則化とスパース性、L2正則化、早期終了、ラベル平滑化

損失関数設計 — 課題に応じた目的関数

交差エントロピー、平均二乗誤差、ヒンジ損失、Focal Loss、コントラスティブ損失

畳み込み層の基礎 — 局所受容野と重み共有

畳み込み演算、フィルタ（カーネル）、特徴マップ、平行移動同変性、パラメータ削減

カーネル設計 — ストライド・パディング・チャネル

カーネルサイズ、ストライド、ゼロパディング、入出力チャネル数、出力サイズ計算

プーリング層 — 空間解像度の縮約

最大プーリング、平均プーリング、グローバル平均プーリング、ダウンサンプリングと不変性

受容野設計 — 層の深さと視野の関係

有効受容野、層の積み重ねによる拡大、小カーネルの多段化、視野と文脈情報の獲得

LeNet — 手書き数字認識と初期CNN

LeCunらによる初期CNN、畳み込みとサブサンプリングの交互構造、MNIST、郵便番号認識

AlexNet — 深層学習ブームの起点

ImageNet 2012優勝、ReLU採用、GPU学習、ドロップアウト、データ拡張の実証

VGG — 小カーネル多段の均質設計

3x3畳み込みの反復、16層/19層構成、均一な設計思想、特徴抽出器としての再利用

Inception系 — 並列分岐による多スケール抽出

GoogLeNet、Inceptionモジュール、複数カーネルの並列適用、補助分類器、計算効率

ResNet — 残差接続による超深層化

残差ブロック、恒等写像のショートカット、勾配消失の緩和、100層超の学習

DenseNet — 密な特徴再利用の接続設計

全層間の密結合、特徴マップの連結、成長率、パラメータ効率と勾配伝播の改善

MobileNet — 深さ方向分離畳み込みの軽量化

Depthwise Separable Convolution、幅乗数、モバイル推論、計算量とのトレードオフ

EfficientNet — 複合スケーリング則

深さ・幅・解像度の同時スケーリング、複合係数、精度と効率のパレート改善

軽量CNN設計 — SqueezeNetと圧縮指向構造

Fireモジュール、1x1による圧縮、パラメータ数削減、組込み機器向けモデル設計

ShuffleNet — グループ畳み込みとチャネル混合

グループ畳み込み、チャネルシャッフル、演算量制約下の精度確保、モバイル最適化

1x1畳み込み — ボトルネックと次元操作

チャネル方向の線形結合、次元削減と拡張、ボトルネックブロック、計算量の制御

拡張畳み込み — Dilated/Atrous設計

膨張率、解像度を保った受容野拡大、セマンティックセグメンテーション、系列モデルへの応用

転置畳み込み — アップサンプリングの学習

逆畳み込み、ストライドと出力拡大、チェッカーボードアーティファクト、補間との併用

エンコーダ・デコーダ構造 — 圧縮と復元の対設計

特徴圧縮、ボトルネック表現、段階的復元、画像変換や翻訳への共通パターン

U-Net — スキップ接続付き対称構造

縮小経路と拡大経路、同解像度スキップ接続、医用画像セグメンテーション、少数データ対応

FCN — 全畳み込み化と画素単位予測

全結合層の畳み込み置換、密な予測、セマンティックセグメンテーション、任意入力サイズ

二段階物体検出 — R-CNN系の設計

領域提案、R-CNN、Fast R-CNN、Faster R-CNN、RoIプーリング、候補領域の分類と回帰

一段階物体検出 — YOLO/SSD系の設計

グリッド分割、アンカーボックス、単一パス推論、リアルタイム検出、NMS後処理

特徴ピラミッド — マルチスケール特徴統合

FPN、トップダウン経路、横方向接続、小物体検出、スケール不変な特徴設計

RNNの基礎 — 系列データの再帰処理

隠れ状態、時間方向の重み共有、BPTT、系列長と勾配の問題、系列分類・生成

LSTM — ゲート機構による長期依存の学習

忘却ゲート、入力ゲート、出力ゲート、セル状態、長期依存関係、勾配消失への対処

GRU — 簡素化されたゲート付き再帰ユニット

更新ゲート、リセットゲート、LSTMとの比較、パラメータ削減、学習速度と性能

双方向・多層RNN — 文脈両方向の系列設計

双方向RNN、スタック構造、前後文脈の統合、音声認識・品詞タグ付けへの適用

Seq2Seq — 系列変換のエンコーダ・デコーダ

エンコーダ・デコーダRNN、文脈ベクトル、教師強制、ビームサーチ、機械翻訳

注意機構 — 入力への動的な重み付け

アテンション重み、加法型と内積型、アラインメント、文脈ベクトルの動的生成

Transformer — 自己注意による並列系列処理

自己注意、エンコーダ・デコーダ構成、再帰の排除、並列学習、大規模言語モデルの基盤

マルチヘッド注意 — 部分空間ごとの注意分解

Query/Key/Value、スケール化内積注意、ヘッド分割、表現部分空間、注意の可視化

位置エンコーディング — 順序情報の埋め込み

正弦波位置符号、学習可能位置埋め込み、相対位置表現、系列長外挿の課題

Vision Transformer — 画像のパッチ系列化

パッチ分割、クラストークン、大規模事前学習、CNNとの帰納バイアス比較、ViT系派生

CNN×Transformer混成 — 帰納バイアスの併用設計

畳み込みステム、局所注意、階層型Transformer、Swin Transformerの窓注意、混成戦略

グラフニューラルネット — 非格子構造への拡張

メッセージパッシング、GCN、隣接行列、ノード分類、分子構造・ソーシャルグラフへの応用

オートエンコーダ — 自己復元による表現学習

エンコーダとデコーダ、再構成誤差、次元削減、デノイジングAE、スパースAE

変分オートエンコーダ — 確率的潜在変数モデル

潜在変数、再パラメータ化トリック、KLダイバージェンス、ELBO、生成と補間

GAN — 敵対的生成ネットワークの設計

生成器と識別器、ミニマックスゲーム、モード崩壊、学習安定化、DCGANの畳み込み設計

条件付き生成と画像変換 — GAN派生設計

条件付きGAN、画像から画像への変換、CycleGANの循環一貫性、超解像への応用

拡散モデル — ノイズ除去による生成

前向き拡散過程、逆過程の学習、デノイジング、U-Netバックボーン、テキスト条件付け

自己教師あり学習 — ラベルなし事前学習

対照学習、SimCLR、正例と負例、マスク再構成、事前学習と下流タスク転移

転移学習 — 事前学習モデルの再利用

ファインチューニング、特徴抽出器の凍結、ドメイン適応、少数データでの性能確保

データ拡張 — 入力多様化による汎化向上

反転・回転・切り抜き、色調変換、Mixup、CutMix、RandAugment、拡張方針の設計

ハイパーパラメータ調整 — 探索と実験管理

グリッド探索、ランダム探索、ベイズ最適化、交差検証、実験追跡と再現性

学習率スケジューリング — 減衰と再加熱の設計

ステップ減衰、コサインアニーリング、ウォームアップ、周期的学習率、収束品質

勾配消失・爆発対策 — 深層学習の安定化

勾配クリッピング、正規化層、残差接続、適切な初期化、活性化選択の総合設計

スキップ接続の設計論 — 情報経路の確保

恒等ショートカット、連結型接続、ゲート付き接続、勾配ハイウェイ、深さと学習性

アンサンブル学習 — 複数モデルの統合

平均化、多数決、スナップショットアンサンブル、多様性の確保、推論コストとの均衡

知識蒸留 — 大規模モデルから小型モデルへ

教師と生徒、ソフトターゲット、温度パラメータ、中間特徴の蒸留、モデル圧縮

プルーニング — 冗長パラメータの刈り込み

重み枝刈り、構造化プルーニング、スパース化、再学習、精度と圧縮率のトレードオフ

量子化 — 低ビット表現による軽量化

8ビット整数化、量子化認識学習、学習後量子化、精度劣化の抑制、エッジ推論

アーキテクチャ探索 — NASによる自動設計

探索空間、強化学習型探索、微分可能NAS、進化的探索、計算予算制約下の設計

埋め込み層 — 離散データの連続表現

埋め込み行列、ルックアップ、カテゴリ変数の表現、埋め込み次元の選定、共有埋め込み

単語埋め込み — word2vecと分散表現

Skip-gram、CBOW、GloVe、意味的類似度、類推タスク、文脈依存表現への発展

画像分類パイプライン — CNN実務の全体設計

前処理、入力正規化、バックボーン選定、分類ヘッド、クラス不均衡対策、推論後処理

顔認識・画像検索 — 距離学習の応用設計

メトリック学習、トリプレット損失、特徴埋め込み空間、類似検索、本人照合

医用画像応用 — 診断支援ネットの設計

病変検出、セグメンテーション、少数症例学習、3D畳み込み、アノテーションコスト

音声認識応用 — 音響モデルのNN設計

スペクトログラム入力、CNN音響特徴抽出、CTC損失、エンドツーエンド認識、話者適応

時系列予測応用 — 系列回帰ネットの設計

スライディングウィンドウ、1次元畳み込み、TCN、季節性と外生変数、需要予測

深層強化学習 — DQNと価値関数近似

Q学習の関数近似、経験再生、ターゲットネットワーク、Atariゲーム、方策勾配法

モデル評価指標 — 精度測定の設計

正解率、適合率と再現率、F値、ROC曲線とAUC、mAP、IoU、混同行列

過学習と汎化 — 容量と正則化の均衡

バイアス・バリアンス、訓練/検証/テスト分割、学習曲線診断、二重降下現象

バッチサイズ設計 — ミニバッチ学習の力学

バッチサイズと勾配ノイズ、大バッチ学習と汎化、学習率スケーリング、メモリ制約

GPU/TPU学習 — ハードウェア指向の設計

行列演算の並列化、テンソルコア、メモリ帯域、演算量FLOPsの見積もり、実行効率

分散学習 — データ並列とモデル並列

同期SGD、勾配集約、パラメータサーバ、AllReduce、パイプライン並列、通信律速

混合精度学習 — 半精度演算の活用

FP16/BF16、損失スケーリング、数値安定性、メモリ削減、スループット向上

深層学習フレームワーク — 実装基盤の選定

PyTorch、TensorFlow、Keras、JAX、動的計算グラフ、自動微分、エコシステム比較

モデル交換・移植 — ONNXと相互運用

ONNX形式、フレームワーク間変換、演算子互換性、ランタイム選択、バージョン管理

推論最適化・エッジ展開 — 実運用への設計

推論エンジン、演算子融合、バッチ推論、レイテンシ最適化、組込み・モバイル配備

特徴の可視化 — 学習内容の観察手法

特徴マップ表示、フィルタ可視化、活性最大化、t-SNE/UMAPによる埋め込み可視化

説明可能性 — Grad-CAMと帰属分析

Grad-CAM、顕著性マップ、SHAP、LIME、判断根拠の提示、説明の忠実性評価

敵対的頑健性 — 攻撃と防御の設計

敵対的摂動、FGSM、PGD、敵対的訓練、頑健性評価、実世界攻撃への耐性

不確実性推定 — ベイズ的NNと信頼度

ベイズニューラルネット、MCドロップアウト、深層アンサンブル、較正、予測信頼区間

マルチタスク学習 — 共有表現の同時学習

共有バックボーン、タスク別ヘッド、損失の重み付け、負の転移、補助タスク設計

少数データ学習 — Few-shotとメタ学習

Few-shot分類、プロトタイプネットワーク、メタ学習、MAML、エピソード学習

継続学習 — 破滅的忘却への対処

逐次タスク学習、リハーサル、正則化型手法、パラメータ隔離、知識保持の評価

スパイキングNN — 発火時刻に基づく計算

スパイク列、膜電位モデル、STDP学習、イベント駆動計算、省電力推論の可能性

ニューロモルフィック計算 — 脳型ハードウェア

脳型チップ、アナログ演算、インメモリコンピューティング、イベントカメラとの統合

カプセルネットワーク — 姿勢情報を持つ表現

カプセル、動的ルーティング、部分と全体の関係、プーリングの限界への提案

幾何学的深層学習 — 対称性と同変性の設計

群同変ネットワーク、回転同変性、多様体上の学習、点群処理、帰納バイアスの理論

ニューラル場表現 — NeRFと暗黙的関数

座標ベースネットワーク、NeRF、符号付き距離関数、ボリュームレンダリング、3D再構成

ホップフィールド網とボルツマンマシン — エネルギーモデル

連想記憶、エネルギー関数、制限ボルツマンマシン、対比的ダイバージェンス、歴史的意義

自己組織化マップ — 競合学習による写像

SOM、競合学習、近傍関数、高次元データの2次元可視化、クラスタ構造の把握

深層学習理論 — 近似・最適化・汎化の数理

普遍近似定理、宝くじ仮説、ニューラルタンジェントカーネル、損失地形、暗黙的正則化

ニューラルネット設計（CNN,） — 退避・古典資料archive

旧世代アーキテクチャ、歴代コンペ記録、更新前の設計資料など過去参照用アーカイブ