機械学習の勃興（1990年代〜）

機械学習の勃興（1990年代〜） — 概要

統計的学習理論、SVM、ブースティング、確率モデルが台頭しデータ駆動AIへ転換した時代の入門ガイド

統計的学習理論 — 汎化を数理で捉える理論的基盤の確立

経験リスク最小化、汎化誤差、一様収束、構造的リスク最小化、Vapnikの理論体系

VC次元 — 仮説クラスの複雑さを測る学習可能性の尺度

shattering、成長関数、汎化誤差上界、モデル複雑度と標本数のトレードオフ

PAC学習 — 確率的近似正当性による計算論的学習の枠組み

Valiantの枠組み、標本複雑度、誤差と信頼度のパラメータ、効率的学習可能性、COLT

サポートベクターマシン — マージン最大化分類器の台頭

最大マージン超平面、サポートベクター、ソフトマージン、二次計画法、Vapnikらの定式化

カーネル法 — 非線形問題を内積計算で扱う技法群の展開

ガウスカーネル、多項式カーネル、再生核ヒルベルト空間、Mercerの定理、特徴空間

カーネルトリック — 明示的写像を避ける高次元特徴計算

内積の置換、非線形決定境界、計算量削減、カーネル行列、正定値性の条件

SMOアルゴリズム — SVM学習を実用速度にした逐次最適化

PlattのSMO、二変数部分問題、作業集合選択、双対問題、大規模データへのSVM適用

サポートベクター回帰 — ε不感損失による回帰への拡張

εチューブ、スラック変数、SVRの双対形式、時系列予測や関数近似への応用

決定木学習 — C4.5とCARTによる規則獲得の実用化

情報利得、ジニ係数、QuinlanのC4.5、剪定、連続値分割、可読なif-then規則

アンサンブル学習 — 弱学習器の結合で精度を高める発想

多数決、平均化、多様性の確保、弱学習器と強学習器、委員会機械、誤り相関の低減

バギング — ブートストラップ標本の集約による分散低減

Breimanのbagging、復元抽出、out-of-bag誤差推定、不安定学習器の安定化

AdaBoostとブースティング — 弱学習器を逐次強化する理論

FreundとSchapireのAdaBoost、重み付き再標本、指数損失、弱学習可能性の等価性

ランダムフォレスト — 無作為化決定木の大規模アンサンブル

特徴の無作為部分選択、Breimanの定式化、変数重要度、頑健性、実務での普及

マージン理論 — ブースティングの汎化性能を説明する解析

マージン分布、過学習しにくさの説明、汎化上界、投票分類器の理論解析

ベイジアンネットワーク — 有向グラフによる確率推論の体系化

Pearlの確率伝播、条件付独立、d分離、診断・故障解析への応用、構造学習

グラフィカルモデル — 確率変数の依存構造を図示する枠組み

マルコフ確率場、因子グラフ、確率伝播法、ジャンクションツリー、周辺化推論

隠れマルコフモデル — 系列データ解析の主力確率モデル

前向き後ろ向きアルゴリズム、Viterbi復号、Baum-Welch学習、音声・遺伝子配列解析

EMアルゴリズム — 潜在変数モデルの反復的最尤推定法

E-stepとM-step、対数尤度の単調増加、欠測データ、混合モデルやHMMの学習

混合ガウスモデル — クラスタリングと密度推定の基本形

混合係数、責任度、EMによる推定、成分数選択、話者認識や背景モデルへの応用

ナイーブベイズ — 条件付独立仮定による軽量な確率的分類

多項分布モデル、ラプラス平滑化、テキスト分類、単純さと高い実用性能の両立

ロジスティック回帰 — 統計学と機械学習をつなぐ確率的分類

シグモイド関数、最尤推定、対数オッズ、正則化付き学習、判別モデルの代表格

最大エントロピーモデル — 制約下で最も平坦な分布を選ぶ原理

特徴関数、制約付き最適化、自然言語処理への適用、ロジスティック回帰との等価性

条件付き確率場 — 系列ラベリングのための構造化予測モデル

CRF、無向グラフ、ラベルバイアス問題の克服、品詞タグ付け、固有表現抽出

k近傍法 — 事例ベース推論による怠惰学習の代表手法

距離尺度、kの選択、次元の呪い、局所重み付け回帰、事例ベース推論との関係

ニューラルネット研究の退潮と存続 — 90年代の冬の時代

誤差逆伝播の限界認識、SVMへの人気移行、勾配消失問題、継続した少数研究者の系譜

畳み込みニューラルネット初期 — LeNetと手書き文字認識

LeCunのLeNet、畳み込み層、プーリング、重み共有、郵便番号・小切手読み取り実用化

LSTM — 勾配消失を克服した長短期記憶構造の提案

HochreiterとSchmidhuberの1997年提案、ゲート機構、セル状態、長期依存の学習

リカレントニューラルネット — 系列処理のための再帰構造

時間方向の展開、通時的誤差逆伝播、Elmanネット、系列予測、勾配消失・爆発

強化学習の確立 — 試行錯誤による制御学習の理論的整備

マルコフ決定過程、価値関数、方策、報酬設計、SuttonとBartoによる体系化

TD学習 — 時間差分誤差による価値推定の中核技法

TD(0)、適格度トレース、ブートストラップ推定、モンテカルロ法との比較

Q学習 — モデルフリー制御の収束保証を持つ代表手法

行動価値関数、方策オフ型学習、探索と活用、ε-greedy、収束定理

TD-Gammon — 自己対戦強化学習が示したゲーム熟達

Tesauroのバックギャモンプログラム、ニューラルネット価値関数、自己対戦訓練の威力

教師なし学習 — ラベルなしデータからの構造発見の潮流

クラスタリング、密度推定、次元削減、表現学習の源流、探索的データ解析との接続

k-means法 — 重心反復による分割型クラスタリング

Lloydのアルゴリズム、初期値依存性、クラスタ数選択、ベクトル量子化との関係

階層的クラスタリング — デンドログラムによる入れ子構造

凝集型と分割型、単連結・完全連結・Ward法、距離行列、系統樹的な可視化

自己組織化マップ — 位相を保存する競合学習の可視化手法

KohonenのSOM、近傍関数、勝者総取り、高次元データの二次元格子への写像

主成分分析 — 分散最大方向への線形次元削減

固有値分解、特異値分解、寄与率、白色化、前処理・可視化・圧縮への広範な利用

独立成分分析 — 信号源分離のためのブラインド分解

非ガウス性最大化、カクテルパーティ問題、FastICA、脳波・音声信号の分離

カーネルPCA — 非線形次元削減へのカーネル拡張

特徴空間での主成分、カーネル行列の固有分解、非線形構造の抽出、前処理応用

多様体学習 — IsomapとLLEによる非線形埋め込みの発見

測地距離、局所線形埋め込み、2000年のScience誌掲載、低次元多様体仮説

潜在意味解析 — 文書行列の特異値分解による意味抽出

LSA、単語文書行列、同義語・多義語問題、情報検索への適用、pLSAへの発展

トピックモデル — pLSAからLDAへ至る文書生成モデル

潜在ディリクレ配分法、トピック分布、ギブスサンプリング、文書コーパスの主題発見

統計的自然言語処理 — 規則からコーパス駆動への転換

nグラム言語モデル、Penn Treebank、統計的構文解析、単語の共起統計、平滑化

統計的機械翻訳 — 対訳コーパスからの翻訳モデル学習

IBMモデル、単語アライメント、雑音チャネルモデル、フレーズベース翻訳への発展

音声認識とHMM — 大語彙連続音声認識の実用化

音響モデル、言語モデル、MFCC特徴量、DARPA評価、ディクテーション製品の登場

スパムフィルタ — ベイズ分類の大衆的成功事例

単語頻度特徴、ナイーブベイズ適用、誤検出コスト、メールクライアントへの標準搭載

ランキング学習 — 検索結果順位づけへの機械学習の適用

ペアワイズ学習、リストワイズ学習、クリックログ、ウェブ検索エンジンでの実用

協調フィルタリング — 行動履歴に基づく推薦システム

ユーザーベース・アイテムベース近傍法、行列分解、評価行列の欠測、EC推薦への展開

Netflix Prize — 推薦精度コンペが研究に与えた衝撃

RMSE10%改善への賞金、行列分解手法の洗練、アンサンブル解、公開コンペ文化の確立

データマイニング — 大規模データベースからの知識発見

KDDプロセス、前処理、パターン発見、可視化、ビジネスインテリジェンスとの融合

アソシエーションルール — 頻出パターン発見とApriori

支持度、確信度、リフト値、バスケット分析、頻出アイテム集合の効率的探索

UCIリポジトリ — 公開データセットによるベンチマーク文化

共通データでの手法比較、Iris・Adultなどの定番データ、再現性と評価の標準化

MNIST — 手書き数字認識の標準ベンチマークの成立

7万枚の数字画像、誤り率競争、SVM・ニューラルネット比較の共通土俵、教育利用

交差検証 — ホールドアウトとk分割による汎化性能推定

k-fold、leave-one-out、訓練・検証・テスト分割、モデル選択への利用、過適合検出

バイアス・バリアンス分解 — 過学習と過少学習の誤差解析

予測誤差の三分解、モデル複雑度との関係、学習曲線、正則化やアンサンブルの根拠

正則化 — 罰則項による複雑さ制御と汎化の改善

L1・L2罰則、リッジ回帰、重み減衰、早期終了、事前分布としてのベイズ的解釈

Lasso — スパース推定を実現するL1正則化回帰

Tibshiraniの1996年提案、変数選択と推定の同時実行、解パス、高次元統計への道

特徴選択 — フィルタ・ラッパー・埋め込み法の体系

相互情報量、逐次前向き選択、再帰的特徴消去、次元の呪い対策、解釈性の向上

特徴量エンジニアリング — 手作り特徴設計の職人技

ドメイン知識の符号化、正規化、離散化、交互作用項、深層学習以前の性能決定要因

モデル選択と情報量規準 — AIC・BICによる複雑さの調停

赤池情報量規準、ベイズ情報量規準、尤度と罰則の均衡、統計学からの方法論輸入

最小記述長原理 — 圧縮としての学習という視点

MDL、二部符号、Kolmogorov複雑性との関係、Rissanenの理論、オッカムの剃刀の形式化

ノーフリーランチ定理 — 万能アルゴリズム不在の証明

Wolpertらの定理、全問題平均での同等性、帰納バイアスの必要性、手法選択の指針

ガウス過程 — カーネルによるベイズ的回帰と不確実性推定

共分散関数、事後分布、予測分散、ハイパーパラメータの周辺尤度最適化

MCMC — マルコフ連鎖モンテカルロによるベイズ推論の普及

Metropolis-Hastings法、ギブスサンプリング、収束診断、計算機統計学の隆盛

変分ベイズ — 決定論的近似推論のアプローチ

変分下界、平均場近似、KLダイバージェンス最小化、混合モデル・トピックモデル推論

粒子フィルタ — 逐次モンテカルロによる状態推定

重点サンプリング、リサンプリング、非線形非ガウス状態空間モデル、物体追跡応用

オンライン学習 — 逐次到着データへの適応的学習

パーセプトロン再評価、確率的勾配降下、後悔最小化、ストリームデータ処理

半教師あり学習 — ラベル不足を補う学習枠組みの登場

自己訓練、共訓練、グラフベース伝播、クラスタ仮定、ラベル付けコストの削減

能動学習 — 問い合わせ選択によるラベル効率の最大化

不確実性サンプリング、委員会による問合せ、期待誤差減少、アノテーション費用削減

転移学習・マルチタスク学習 — 課題間で知識を共有する萌芽

共有表現、タスク間正則化、ドメイン適応、負の転移、後の事前学習パラダイムの源流

異常検知 — 外れ値発見と不正検出への応用

One-class SVM、密度ベース検出、クレジットカード不正、ネットワーク侵入検知

構造化予測 — 系列・木・グラフを出力する学習の一般化

構造化パーセプトロン、構造化SVM、動的計画法による復号、構文解析への適用

評価指標の体系化 — 適合率・再現率からROC/AUCへ

F値、混同行列、ROC曲線、AUC、精度と再現率のトレードオフ、不均衡データ評価

二つの文化論争 — 統計学と機械学習の方法論的衝突

Breimanの2001年論文、データモデル対アルゴリズムモデル、予測精度対解釈性

計算学習理論 — サンプル複雑度と計算量の理論研究

学習可能性の境界、ブースティングの理論的起源、質問学習、ノイズ耐性モデル

ブースティングの統計的解釈 — 加法モデルと損失最小化

指数損失の段階的最適化、ロジット・ブースト、統計学的視点からの再解釈

勾配ブースティング — 関数空間での勾配降下という定式化

Friedmanの定式化、回帰木の逐次追加、縮小率、後のXGBoost系隆盛の理論的土台

混合エキスパートモデル — ゲート機構による分割統治学習

エキスパート網とゲート網、局所的専門化、階層的混合、EMによる学習

RBFネットワーク — 動径基底関数による関数近似器

ガウス基底、中心配置、線形出力層、補間理論との関係、SVMとの接点

ニューラルネットの実務応用 — OCRと文書読み取りの現場

小切手金額読み取り、郵便番号仕分け、帳票処理、冬の時代を支えた産業実装

進化計算との交差 — 遺伝的アルゴリズムによる探索最適化

選択・交叉・突然変異、遺伝的プログラミング、特徴選択やパラメータ探索への利用

バイオインフォマティクス応用 — 配列と発現データの解析

遺伝子発現マイクロアレイ分類、タンパク質構造予測、配列アライメント、HMM利用

金融・与信への応用 — スコアリングとリスク予測

クレジットスコアリング、債務不履行予測、不正取引検知、解釈性要求との折り合い

研究コミュニティの形成 — NIPS・ICML・COLT・KDDの発展

国際会議の成長、査読文化、産学交流、機械学習が独立分野として確立する過程

機械学習ソフトウェア — WekaとRが広げた裾野

GUIツールWeka、統計言語R、MATLABツールボックス、実験の再現性と教育普及

Deep Blue とゲームAI — 探索主体AIと学習の対比

1997年カスパロフ戦勝利、専用ハードと探索、評価関数調整、学習型アプローチとの違い

確率ロボティクス — ベイズフィルタとSLAMの成立

自己位置推定、地図構築、カルマンフィルタ、粒子フィルタ、自律移動ロボットへの実装

テキスト分類 — ニュース分類から感情分析の始まりへ

bag-of-words、TF-IDF、Reutersコーパス、SVMの文書分類での優位、極性判定の萌芽

Viola-Jones顔検出 — ブースティングの実時間画像応用

Haar-like特徴、積分画像、カスケード分類器、デジタルカメラ顔検出への搭載

ウェブ規模データへの道 — スケーラビリティ問題の浮上

クリックログ、大規模疎データ、線形分類器の再評価、分散処理需要、ビッグデータ前夜

構造データカーネル — 文字列・木・グラフへのカーネル拡張

文字列カーネル、畳み込みカーネル、グラフカーネル、生体配列や構文木の類似度計算

スペクトラルクラスタリング — グラフラプラシアンによる分割

類似度グラフ、固有ベクトル埋め込み、正規化カット、非凸クラスタ形状への対応

ノンパラメトリックベイズ — ディリクレ過程による柔軟モデル

中華料理店過程、無限混合モデル、クラスタ数の自動決定、階層ベイズとの融合

スタッキングとメタ学習 — モデル結合の高次手法

スタック汎化、メタ特徴、ブレンディング、コンペ実務での多段アンサンブル戦略

学習理論の精緻化 — Rademacher複雑度と安定性解析

データ依存の複雑度尺度、アルゴリズム安定性、PAC-Bayes、汎化上界の改良競争

データマイニング倫理の初期議論 — プライバシーと差別の芽

匿名化と再識別リスク、プライバシー保護データマイニング、信用審査の公平性議論

教科書と教育の成立 — 機械学習カリキュラムの標準化

Mitchell『Machine Learning』、Bishopのパターン認識教科書、大学講義の定着

深層学習前夜 — 2000年代半ばの事前学習研究への接続

多層化の再挑戦、教師なし事前学習の着想、GPU計算の胎動、次時代への橋渡し

機械学習の勃興（1990年代〜） — 退避・古典資料archive

旧版の講義ノート、初期ソフトウェア配布物、絶版教科書、歴史的ベンチマーク記録の保管庫