深層学習革命（ImageNet2012）

深層学習革命（ImageNet2012） — 概要

2012年ILSVRCでのAlexNet圧勝を転機に、CNN・GPU・大規模データが結合してAI研究と産業を一変させた革命の全体像を辿る入門ガイド

ImageNetデータセット — 大規模画像コーパスの構築

Fei-Fei Li主導、WordNet階層に基づく約1400万枚・2万超カテゴリ、クラウドソーシングによるアノテーション

ILSVRC — 大規模視覚認識チャレンジの競技設計

2010〜2017年開催、1000クラス分類、top-5誤り率という評価指標、検出・位置特定トラックの拡張

AlexNet — 2012年優勝と誤り率の劇的低下

Krizhevsky・Sutskever・Hintonによる8層CNN、top-5誤り率15.3%で2位に約10ポイント差の圧勝

GPU学習 — CUDAによる並列計算の活用

民生用GPU2枚での分割学習、CUDAプログラミング、行列積の並列化が深層モデル訓練を現実的時間に短縮

ReLU — 正規化線形ユニットの採用

シグモイド・tanhに代わる活性化関数、勾配消失の緩和、疎な活性化、学習の大幅な高速化

ドロップアウト — 過学習抑制の確率的正則化

学習時にユニットをランダムに無効化、アンサンブル近似としての解釈、全結合層での効果

データ拡張 — 訓練データの人工的増強

ランダム切り出し、左右反転、色・輝度変換、PCAカラー拡張による実効データ量の拡大と汎化改善

畳み込みニューラルネットワーク — 構造の基本原理

畳み込み層、プーリング層、重み共有、局所受容野、平行移動に対する頑健性、特徴マップの階層

LeNet — 手書き文字認識に始まるCNN前史

LeCunらによる1990年代の郵便番号・小切手読取り、MNIST、勾配学習による端到端の文字認識

ネオコグニトロン — 福島邦彦による階層視覚モデル

単純細胞・複雑細胞の交互配置、位置ずれ耐性、CNNの構造的原型となった1980年前後の日本発研究

誤差逆伝播法 — 多層網学習の基盤アルゴリズム

連鎖律による勾配計算、1986年の再普及、自動微分との関係、深層学習を支える計算手続き

ニューラルネット冬の時代 — 革命前夜の停滞

1990年代後半〜2000年代のNN不遇期、SVM・カーネル法の優勢、少数研究者による継続研究

深層信念ネットワーク — 2006年の事前学習ブレイクスルー

Hintonらによる層ごとの貪欲事前学習、教師なし初期化で深いネットが訓練可能になった転換点

制限ボルツマンマシン — エネルギーベースの生成モデル

可視層・隠れ層の二部グラフ、コントラスティブダイバージェンス学習、事前学習部品としての役割

オートエンコーダ — 表現学習と次元削減

符号化器・復号化器による再構成学習、デノイジングAE、スパースAE、特徴抽出への利用

勾配消失問題 — 深層化を阻んだ学習の壁

シグモイド系関数の飽和、層を遡る勾配の指数的減衰、深いネットが学習できなかった構造的原因

手作り特徴の時代 — SIFT・HOGと従来型認識

局所特徴量SIFT、勾配ヒストグラムHOG、特徴設計職人技の限界、学習特徴への転換前の主流手法

Bag of Visual Words — 革命以前の画像分類枠組み

局所特徴のクラスタリングによる視覚単語、ヒストグラム表現、空間ピラミッドマッチング

SVMと浅い学習 — 深層以前の機械学習主流

サポートベクターマシン、カーネルトリック、マージン最大化、2012年以前の画像認識の標準分類器

ZFNet — 可視化に基づくAlexNet改良

逆畳み込みによる特徴マップ可視化、フィルタサイズ・ストライドの見直し、2013年ILSVRC上位手法

VGGNet — 3×3畳み込みの積層による深化

オックスフォード大の16/19層構成、小さなフィルタの反復、均質設計、転移学習の定番バックボーン

GoogLeNet — Inceptionモジュールと効率化

1×1畳み込みによる次元削減、複数スケール並列処理、補助分類器、2014年ILSVRC分類優勝

ResNet — 残差接続による超深層化

スキップ接続で恒等写像を学習容易化、152層で2015年優勝、人間水準を超えたtop-5誤り率

バッチ正規化 — 内部共変量シフトへの処方

ミニバッチ統計による正規化、学習率の大胆な設定、収束高速化、深層網訓練の標準部品化

DenseNet — 密な接続による特徴再利用

全層間の連結によるフィーチャー再利用、勾配流の改善、パラメータ効率、ResNet以後の構造探究

転移学習 — 事前学習済み特徴の再利用

ImageNet学習済み重みの流用、下位層特徴の汎用性、少データ課題への適用、実務普及の原動力

ファインチューニング — タスク適応の実践技法

層の凍結と解凍、学習率の層別調整、最終層置換、ドメイン近接度に応じた調整戦略

R-CNN系列 — 物体検出への革命の波及

領域提案とCNN特徴の結合、Fast/Faster R-CNNによる高速化、RoIプーリング、二段検出の系譜

YOLO・SSD — 一段検出器とリアルタイム化

回帰として定式化した検出、グリッド分割、アンカーボックス、速度と精度のトレードオフ

セマンティックセグメンテーション — 画素単位の意味理解

全層畳み込みネットワークFCN、エンコーダデコーダ構造、U-Net、医療・自動運転での画素分類

顔認識の深層化 — DeepFace・FaceNet

埋め込み空間での距離学習、トリプレット損失、人間精度に迫った検証性能、実用展開と社会的議論

音声認識への波及 — DNN-HMMハイブリッド

音響モデルの深層化、GMMからDNNへの置換、2011〜12年の誤認識率急減、音声アシスタント実用化

word2vec — 単語分散表現とNLPへの波及

Skip-gram・CBOW、単語ベクトルの加法構成性、埋め込み学習の普及、言語処理の深層化の起点

RNN・LSTMの復権 — 系列データの深層学習

長短期記憶による長期依存の学習、ゲート機構、GRU、音声・言語・時系列への適用拡大

seq2seq — 系列変換とニューラル機械翻訳

エンコーダデコーダによる翻訳、統計的機械翻訳からの転換、ビームサーチ、産業翻訳サービスの刷新

注意機構 — アライメント学習の導入

翻訳における注意重み、文脈ベクトルの動的生成、可視化可能な対応付け、Transformerへの布石

GAN — 敵対的生成ネットワークの登場

Goodfellowらによる2014年提案、生成器と識別器のミニマックスゲーム、画像生成研究の爆発的展開

変分オートエンコーダ — 確率的生成モデルの深層化

変分推論と再パラメータ化トリック、潜在変数モデル、生成と表現学習を繋ぐ枠組み

DQN — 深層強化学習とAtariゲーム

Q学習とCNNの結合、経験再生、ターゲットネットワーク、画面画素からの直接学習という衝撃

AlphaGo — 囲碁における人間超え

方策・価値ネットワークとモンテカルロ木探索、2016年の李世乭戦勝利、深層学習の社会的認知の頂点

初期フレームワーク — Theano・Caffe・Torch

自動微分、宣言的計算グラフ、Caffeのモデル動物園、研究コミュニティのコード共有文化の形成

TensorFlow — 産業標準を狙った公開

Googleによる2015年オープンソース化、静的計算グラフ、分散学習対応、産業界への普及

PyTorch — define-by-runと研究者支持

動的計算グラフ、Pythonicな記述、デバッグ容易性、研究論文実装のデファクト化への道

Chainer — 日本発の動的グラフ先駆

Preferred Networksによるdefine-by-run方式の先駆的実装、日本の深層学習コミュニティ形成への寄与

AIハードウェアの進化 — cuDNN・TPU・アクセラレータ

cuDNNによる畳み込み最適化、データセンターGPU、Googleの専用チップTPU、推論高速化競争

大規模分散学習 — データ並列とモデル並列

同期・非同期SGD、パラメータサーバ、勾配集約AllReduce、大規模バッチ学習の技法

確率的勾配降下法 — ミニバッチ学習の基礎

ミニバッチによる勾配推定、学習率スケジューリング、モメンタム、収束性と汎化の実務的調整

適応的最適化 — AdaGrad・RMSProp・Adam

パラメータ別学習率、勾配の二次モーメント推定、Adamの普及、SGDとの汎化比較論争

重み初期化 — Xavier・He初期化

分散を保つ初期値設計、活性化関数に応じたスケーリング、深層網の学習立ち上がりの安定化

正則化技法 — weight decay・早期終了

L2正則化、早期終了、ラベル平滑化、混合サンプル拡張mixup、過学習との闘いの道具箱

ハイパーパラメータ探索 — 調整の体系化

グリッド探索、ランダム探索、ベイズ最適化、学習率レンジテスト、実験管理ツールの発達

表現学習 — 特徴階層の獲得という視点

エッジ→テクスチャ→部品→物体という階層的特徴、良い表現の性質、教師あり特徴の汎用性

CNN可視化 — ネットワークが見ているもの

顕著性マップ、Grad-CAM、特徴の最適化可視化、DeepDream、フィルタ応答の解釈

敵対的サンプル — 微小摂動による誤分類

FGSMによる摂動生成、人間に不可視のノイズ、頑健性評価、敵対的訓練による防御研究

モデル圧縮 — 蒸留・枝刈り・量子化

知識蒸留による小型化、重み枝刈り、8bit量子化、実行時メモリと精度のトレードオフ設計

軽量アーキテクチャ — MobileNetとエッジ推論

深さ方向分離畳み込み、SqueezeNet、ShuffleNet、スマートフォン・組込み機器での推論実現

ニューラルアーキテクチャ探索 — 構造設計の自動化

強化学習・進化計算による構造探索、探索空間設計、計算コスト削減手法、自動設計の成果と限界

モデルスケーリング — EfficientNetと複合拡大

深さ・幅・解像度の複合スケーリング、精度と計算量のパレート改善、スケール則研究への接続

ImageNetの再検証 — ラベル誤りとバイアス

アノテーション誤りの定量化、人物カテゴリの問題、再収集テストセットでの精度低下の発見

ベンチマーク競争文化 — SOTAとリーダーボード

最高性能更新の競争、過適合への懸念、評価指標の限界、ベンチマーク駆動研究の功罪

arXivとオープン研究 — 発表様式の変容

プレプリント即時公開、査読前引用、コード公開文化、研究スピードの加速と質の議論

深層学習の三巨頭 — Hinton・LeCun・Bengio

冬の時代を支えた三研究者、カナダの研究拠点、深層学習への貢献によるチューリング賞受賞

人材の産業移動 — 研究室から企業研究所へ

Hintonらの起業と買収、企業AI研究所の設立ラッシュ、高額報酬競争、学界空洞化の懸念

自動運転への応用 — 認識スタックの深層化

車線・歩行者・標識認識、センサーフュージョン、エンドツーエンド運転学習の試み、安全性検証

医療画像診断 — 専門医水準への接近

皮膚がん分類、糖尿病網膜症スクリーニング、胸部X線読影、規制承認と臨床導入の課題

画像キャプション生成 — 視覚と言語の接続

CNN符号化とRNN復号の結合、注意付きキャプション、評価指標BLEU・CIDEr、記述の多様性問題

視覚質問応答 — VQAタスクの成立

画像への自然言語質問、マルチモーダル融合、言語バイアスへの依存問題、データセット設計

マルチモーダル学習 — 複数感覚情報の統合

画像・テキスト・音声の共同埋め込み、クロスモーダル検索、対照学習による視覚言語事前学習

自己教師あり学習 — ラベルなしデータの活用

プレテキストタスク、対照学習、マスク予測、教師あり事前学習に匹敵する表現の獲得

半教師あり・弱教師あり学習 — 限定ラベルでの学習

擬似ラベル、一貫性正則化、ノイズラベル耐性、ウェブ規模の弱ラベルデータ活用

少数ショット学習・メタ学習 — 少データ適応

エピソード学習、プロトタイプネットワーク、学習の学習、人間の少例学習能力との比較

ドメイン適応 — 分布シフトへの対処

ソース・ターゲット分布の乖離、敵対的特徴整合、合成データから実データへの転移

Transformer — 自己注意による系列処理刷新

2017年提案の自己注意機構、再帰の排除と並列化、位置符号化、深層学習第二波の起点

事前学習言語モデル — BERT・GPTへの継承

大規模コーパス事前学習と微調整の枠組み、ImageNet事前学習パラダイムの言語への移植

Vision Transformer — CNN支配の終わりの始まり

画像パッチ系列への自己注意適用、大規模データでのCNN超え、帰納バイアス論争の再燃

普遍近似定理と深さの理論 — なぜ深いのか

一層で任意関数近似可能という定理、深さによる表現効率、回路計算量との類比、理論と実践の乖離

汎化の謎 — 過剰パラメータでもなぜ汎化するか

記憶容量を超えるパラメータ数、ランダムラベル記憶実験、二重降下現象、古典的学習理論への挑戦

損失地形とSGDの暗黙的正則化 — 最適化の幾何

平坦な極小と汎化の関係、モード接続性、SGDノイズの正則化効果、損失曲面の可視化研究

宝くじ仮説 — 疎な当たり部分網の存在

初期化時に存在する高性能サブネットワーク、反復枝刈りによる発見、疎学習研究への波及

説明可能AI — ブラックボックス批判への応答

LIME・SHAPなどの事後説明、忠実性と分かりやすさの緊張、高リスク領域での説明要求

公平性と倫理 — 認識技術の社会的影響

顔認識の人種・性別間精度差、監視利用への懸念、データセット由来のバイアス、利用規制の動き

計算コストと環境負荷 — 学習の資源問題

大規模学習の電力消費、炭素排出の推計、計算資源格差、効率的学習への研究誘因

データセット構築の実務 — アノテーション産業

クラウドソーシング労働、品質管理と多数決、アノテーション単価、ラベル付け作業の倫理

周辺ベンチマーク群 — MNIST・CIFAR・SVHN

小規模標準データセットの役割、手法検証の入口、飽和と卒業、ベンチマーク寿命の問題

検出・分割データセット — PASCAL VOC・COCO

物体検出・セグメンテーション・キャプションの標準評価、mAP指標、コンテキスト内物体の重視

再現性問題 — 実装差と乱数シードの影響

シード依存の性能変動、ハイパーパラメータ非公開、実装細部の差、再現性チェックリストの導入

深層学習教育 — MOOC・教科書・講座の普及

オンライン講座による裾野拡大、Goodfellowらの教科書、大学カリキュラム改編、独学者コミュニティ

コンペティション文化 — Kaggleと実践知の共有

データ分析競技、勝利解法の公開文化、アンサンブル技法の発達、企業課題と研究の接続

ニューラルスタイル変換 — 芸術への応用

内容とスタイルの分離表現、絵画風変換、DeepDreamの幻覚的画像、生成芸術ブームの先駆け

産業実装のパターン — 推論サービングとMLOps前史

モデルのAPI化、バッチ推論とオンライン推論、モデル更新運用、機械学習システム設計の教訓

生物視覚との対応 — 神経科学からの視点

腹側視覚路との階層対応、受容野研究との類比、CNN活動と脳活動の比較、計算神経科学への波及

ニューロモーフィック計算 — スパイキングNNの周縁

スパイク時刻符号化、イベント駆動計算、低消費電力チップ、深層学習主流との距離と接点

深層学習懐疑論 — 記号主義との論争再燃

常識推論・構成性の欠如批判、記号処理との統合論、ニューロシンボリックAI、限界を巡る学術論争

オープンソースとライセンス — モデル公開の慣行

学習済み重みの配布、Apache/MIT/BSD等の選択、商用利用条件、モデル動物園と再利用文化

半導体産業への波及 — AIチップ競争の勃発

GPU需要の急拡大、推論専用チップ、スタートアップ参入、データセンター投資の構造変化

国家AI戦略 — 各国の研究投資と政策

主要国のAI国家戦略策定、研究拠点整備、人材育成政策、輸出管理と技術覇権の議論

深層学習とメディア言説 — 誇大宣伝と実態

AIブーム報道、シンギュラリティ論議、雇用影響の予測、期待過熱と失望の循環の分析

革命の歴史記述 — 2012年をどう位置づけるか

第三次AIブームの起点論、データ・計算・アルゴリズム三要因説、技術史・科学史からの再評価

深層学習革命（ImageNet2012） — 退避・古典資料archive

旧版の講義資料、初期チュートリアル、廃止されたフレームワークの文書など歴史的資料の退避先