教師あり学習・教師なし学習・強化学習の基礎

教師あり学習・教師なし学習・強化学習の基礎 — 概要

機械学習の三大パラダイムの定義、代表手法、評価法、応用までを見渡す入門ガイド

機械学習の三大パラダイム — 学習形態による分類の全体像

教師あり・教師なし・強化学習の区別、ラベルの有無、報酬信号、半教師あり等の中間形態

教師あり学習の定式化 — 入力から出力への写像の学習

訓練データ、特徴ベクトル、ラベル、仮説空間、経験損失最小化、汎化誤差の基本概念

回帰と分類 — 予測タスクの二大類型

連続値予測と離散カテゴリ予測、二値分類、決定境界、回帰直線、タスク選択の指針

線形回帰 — 最小二乗法による直線当てはめ

単回帰、重回帰、正規方程式、残差、決定係数R²、多重共線性、外れ値の影響

ロジスティック回帰 — 確率を出力する線形分類器

シグモイド関数、オッズ比、交差エントロピー損失、決定境界、係数の解釈

k近傍法 — 距離に基づく怠惰学習

ユークリッド距離、kの選択、多数決分類、次元の呪い、スケーリングの必要性

決定木 — 条件分岐による予測モデル

情報利得、ジニ不純度、CART、剪定、可読性の高さ、過学習しやすさ

ランダムフォレスト — 決定木のバギング集成

ブートストラップ標本、特徴量サブサンプリング、OOB誤差、特徴量重要度

勾配ブースティング — 弱学習器の逐次加法モデル

AdaBoost、残差学習、学習率、XGBoost・LightGBMの実装、表形式データでの強さ

サポートベクターマシン — マージン最大化分類器

サポートベクトル、ソフトマージン、スラック変数、双対問題、ヒンジ損失

ナイーブベイズ — 条件付き独立を仮定する確率分類

ベイズの定理、事前・事後確率、多項分布モデル、スパム判定、ラプラス平滑化

パーセプトロンとニューラルネット入門 — 学習する線形素子

ローゼンブラットのパーセプトロン、活性化関数、多層化、誤差逆伝播法の基礎

損失関数 — 学習目標を定める誤差の尺度

二乗誤差、交差エントロピー、ヒンジ損失、Huber損失、タスク別の使い分け

勾配降下法 — 損失を最小化する反復最適化

学習率、バッチ・ミニバッチ・確率的勾配降下、モーメンタム、収束と局所解

正則化 — 複雑さへの罰則による過学習抑制

L1(Lasso)、L2(Ridge)、Elastic Net、スパース性、早期終了、ドロップアウト

過学習と汎化 — 未知データへの適応能力

訓練誤差と汎化誤差の乖離、モデル容量、アンダーフィッティング、汎化ギャップ

バイアス・バリアンス分解 — 予測誤差の構造分析

偏り、分散、ノイズ項への分解、トレードオフ、モデル複雑度との関係

交差検証 — 限られたデータでの性能推定

k分割交差検証、Leave-One-Out、層化分割、時系列分割、ネストした検証

分類の評価指標 — 混同行列から導く性能尺度

正解率、適合率、再現率、F1値、ROC曲線、AUC、PR曲線、閾値の選択

回帰の評価指標 — 連続値予測の誤差測定

MSE、RMSE、MAE、MAPE、決定係数R²、残差分析、指標ごとの外れ値感度

特徴量エンジニアリング — 予測に効く変数の設計

カテゴリ変数のエンコーディング、交互作用項、対数変換、ビニング、日付特徴量

特徴選択 — 有効な変数の絞り込み

フィルタ法、ラッパー法、埋め込み法、相互情報量、再帰的特徴消去、次元削減との違い

不均衡データの学習 — 少数クラスへの対処

オーバーサンプリング、SMOTE、アンダーサンプリング、クラス重み、閾値調整

アンサンブル学習 — 複数モデルの組み合わせ

バギング、ブースティング、スタッキング、投票法、多様性と精度向上の原理

ハイパーパラメータ調整 — 学習設定の最適化

グリッドサーチ、ランダムサーチ、ベイズ最適化、Optuna等のツール、探索空間設計

カーネル法 — 非線形問題の高次元写像

カーネルトリック、RBFカーネル、多項式カーネル、グラム行列、カーネルSVM

最尤推定とベイズ推定 — パラメータ推定の二大流儀

尤度関数、MAP推定、事前分布、共役事前分布、頻度主義とベイズ主義の対比

確率的グラフィカルモデル入門 — 依存関係の図的表現

ベイジアンネットワーク、マルコフ確率場、条件付き独立、隠れマルコフモデル

多クラス分類と多ラベル分類 — 二値を超える分類問題

One-vs-Rest、One-vs-One、ソフトマックス、多ラベルの評価、ラベル相関

ランキング学習 — 順位づけを学ぶ教師あり手法

ポイントワイズ・ペアワイズ・リストワイズ、NDCG、検索順位や推薦への応用

教師なし学習の定式化 — ラベルなしデータの構造発見

クラスタリング、次元削減、密度推定、表現学習という四大タスクと評価の難しさ

k-meansクラスタリング — 重心反復による分割

セントロイド更新、初期値依存、k-means++、エルボー法、球状クラスタの仮定

階層的クラスタリング — 樹形図で表す入れ子構造

凝集型・分割型、単連結・完全連結・ウォード法、デンドログラム、距離行列

密度ベースクラスタリング — 密度の濃淡による塊の検出

DBSCAN、コア点・境界点・ノイズ点、eps とminPts、任意形状クラスタ、OPTICS

混合ガウスモデルとEMアルゴリズム — 確率的クラスタリング

潜在変数、責任度、Eステップ・Mステップ、対数尤度の単調増加、ソフト割り当て

主成分分析 — 分散最大方向への射影

固有値分解、寄与率、累積寄与率、主成分負荷量、白色化、可視化への利用

特異値分解と行列分解 — 低ランク近似の基盤技術

SVD、低ランク近似、潜在意味解析、協調フィルタリングの行列分解、欠損値補完

非負値行列因子分解 — 加法的な部分表現の抽出

NMFの非負制約、パーツベース表現、文書トピック抽出、音源分離への応用

独立成分分析 — 混合信号の統計的分離

ICA、非ガウス性の最大化、ブラインド音源分離、カクテルパーティー問題、脳波解析

多様体学習と非線形次元削減 — 高次元データの低次元構造

t-SNE、UMAP、Isomap、局所線形埋め込み、近傍保存、可視化での注意点

自己組織化マップ — 競合学習による位相保存写像

コホネンのSOM、勝者総取り、近傍関数、格子上への写像、高次元データの可視化

オートエンコーダ — 再構成による表現学習

エンコーダ・デコーダ、ボトルネック層、雑音除去AE、スパースAE、次元削減との関係

異常検知 — 正常パターンからの逸脱発見

One-Class SVM、Isolation Forest、再構成誤差法、外れ値と新規性、不正検知への応用

密度推定 — データ分布そのものの推定

ヒストグラム、カーネル密度推定、バンド幅選択、パラメトリック対ノンパラメトリック

アソシエーションルール学習 — 頻出パターンの発見

支持度、確信度、リフト値、Aprioriアルゴリズム、FP-Growth、バスケット分析

トピックモデル — 文書集合の潜在主題抽出

潜在的ディリクレ配分法(LDA)、単語分布、文書トピック分布、ギブスサンプリング

クラスタリングの評価 — 分割の良さの測定

シルエット係数、Davies-Bouldin指数、調整ランド指数、NMI、クラスタ数の決定

埋め込み表現の学習 — 意味を保つベクトル化

word2vec、Skip-gram、GloVe、コサイン類似度、単語アナロジー、項目埋め込み

生成モデル入門 — データ分布からの標本生成

変分オートエンコーダ(VAE)、敵対的生成ネットワーク(GAN)、識別モデルとの対比

自己教師あり学習 — データ自身から作る擬似ラベル

対照学習、マスク予測、SimCLR、事前学習と微調整、ラベルコスト削減の意義

半教師あり学習 — 少量ラベルと大量非ラベルの併用

自己訓練、共訓練、ラベル伝播、一致正則化、クラスタ仮定と多様体仮定

能動学習 — ラベル付け対象の賢い選択

不確実性サンプリング、委員会によるクエリ、期待誤差減少、アノテーション費用削減

転移学習とドメイン適応 — 既存知識の別課題への流用

事前学習モデルの微調整、特徴抽出器の再利用、ドメインシフト、負の転移

オンライン学習 — 逐次到着データからの継続更新

逐次勾配更新、リグレット最小化、概念ドリフト、ストリーミングデータへの適用

メタ学習と少数ショット学習 — 学び方を学ぶ枠組み

few-shot分類、エピソード学習、MAML、プロトタイプネットワーク、タスク分布

強化学習の定式化 — エージェントと環境の相互作用

状態、行動、報酬、方策、収益、割引率、エピソード的課題と連続課題の区別

マルコフ決定過程 — 逐次意思決定の数学モデル

マルコフ性、状態遷移確率、報酬関数、割引率γ、最適方策の存在、MDPの構成要素

価値関数とベルマン方程式 — 将来収益の再帰的評価

状態価値V、行動価値Q、ベルマン期待方程式、ベルマン最適方程式、バックアップ図

動的計画法による解法 — モデル既知での最適方策計算

方策評価、方策改善、方策反復、価値反復、収束性、環境モデルが必要という前提

モンテカルロ法 — エピソード標本からの価値推定

初回訪問・逐次訪問MC、標本平均による推定、方策オン・オフ、重点サンプリング

TD学習 — ブートストラップによる逐次価値更新

TD(0)、TD誤差、TD(λ)と適格度トレース、MCとDPの中間としての位置づけ

Q学習 — 方策オフ型の行動価値学習

最大化演算による更新、方策オフ性、収束条件、過大評価バイアス、Double Q学習

SARSA — 方策オン型のTD制御

五つ組(s,a,r,s',a')による更新、Q学習との挙動差、期待SARSA、崖歩き問題の例

探索と活用のトレードオフ — 未知の試行と既知の利用

ε-greedy、ソフトマックス選択、楽観的初期値、UCB、探索スケジュールの設計

多腕バンディット問題 — 状態なし逐次選択の基礎

累積リグレット、UCBアルゴリズム、トンプソンサンプリング、文脈付きバンディット

関数近似と深層強化学習 — 大規模状態空間への拡張

価値関数の近似、DQN、経験再生、ターゲットネットワーク、Atariゲームでの成果

方策勾配法 — 方策を直接最適化する手法

REINFORCE、方策勾配定理、ベースラインによる分散低減、連続行動空間への対応

Actor-Critic法 — 方策と価値の同時学習

アクター(方策)とクリティック(価値)、アドバンテージ関数、A2C、PPOの基本思想

報酬設計と報酬成形 — 学習を導く信号の設計論

疎な報酬、報酬成形、報酬ハッキング、ポテンシャルベース成形、内発的報酬

モデルベース強化学習 — 環境モデルの学習と計画

遷移モデル学習、プランニング、Dynaアーキテクチャ、モンテカルロ木探索、標本効率

逆強化学習 — 行動から報酬関数を推定

専門家の実演データ、報酬の不定性、最大エントロピー逆強化学習、意図推定

模倣学習 — 実演からの方策獲得

行動クローニング、分布シフト、DAgger、実演データ収集、ロボット教示への応用

部分観測マルコフ決定過程 — 不完全情報下の意思決定

POMDP、信念状態、観測モデル、履歴依存方策、再帰ネットによる状態推定

マルチエージェント強化学習 — 複数主体の同時学習

協調と競争、ナッシュ均衡、非定常性の問題、集中学習・分散実行、自己対戦

強化学習の代表的成果 — ゲームと制御での画期

TD-Gammon、AlphaGoの自己対戦学習、ロボット制御、推薦・広告配信への展開

データ前処理 — 学習前のデータ整備

欠損値補完、標準化・正規化、外れ値処理、重複除去、カテゴリ変数の数値化

データ分割とリーケージ — 正しい性能評価の作法

訓練・検証・テスト分割、データリーク、前処理のfit範囲、時系列での未来情報混入

学習曲線とモデル診断 — 学習過程の可視化と改善判断

訓練・検証損失の推移、高バイアス・高バリアンスの見分け、データ追加の効果予測

モデル選択と情報量規準 — 複雑さと当てはまりの均衡

AIC、BIC、MDL原理、オッカムの剃刀、交差検証によるモデル比較との使い分け

ノーフリーランチ定理と帰納バイアス — 万能学習器の不在

全問題平均での性能同等性、仮定の必要性、帰納バイアスの例、手法選択への含意

計算学習理論 — 学習可能性の数学的保証

PAC学習、VC次元、標本複雑度、汎化誤差上界、ラーデマッハ複雑度の初歩

機械学習のための確率・統計 — 前提となる数理の基礎

確率分布、期待値と分散、ベイズの定理、大数の法則、中心極限定理、仮説検定

機械学習のための線形代数 — ベクトルと行列の道具箱

行列積、固有値・固有ベクトル、ノルム、射影、ランク、二次形式と正定値性

最適化の基礎 — 学習を支える数理計画

凸関数、勾配とヘッセ行列、ラグランジュ乗数法、KKT条件、制約付き最適化

実装ツールとライブラリ — 三パラダイムを支える環境

scikit-learn、PyTorch、TensorFlow、Gymnasium系RL環境、NumPy・pandas

ベンチマークデータセット — 手法比較の共通土台

Iris、MNIST、CIFAR-10、UCIリポジトリ、ImageNet、ベンチマーク文化と限界

モデルの解釈性 — 予測根拠の説明技術

特徴量重要度、部分依存プロット、LIME、SHAP、大域的説明と局所的説明

公平性とバイアス — 学習結果の社会的影響

訓練データの偏り、代理変数、公平性指標(統計的均等など)、緩和手法、監査

機械学習の歴史と人物 — パラダイム形成の歩み

サミュエルのチェッカー、パーセプトロン論争、決定木・SVMの隆盛、深層学習復興

三パラダイムの応用横断 — 実課題での使い分け

需要予測(教師あり)、顧客セグメント(教師なし)、動的制御(強化学習)の対応関係

AutoML — 学習パイプラインの自動化

自動特徴量生成、モデル探索、ニューラルアーキテクチャ探索、CASH問題

連合学習 — データを集めない分散学習

端末上学習、モデル集約(FedAvg)、通信効率、非IIDデータ、プライバシー動機

継続学習と破滅的忘却 — 逐次タスクでの知識保持

破滅的忘却、リハーサル法、正則化ベース手法、パラメータ分離、タスク境界問題

敵対的攻撃と頑健性 — 学習モデルの脆弱性

敵対的摂動、回避攻撃、データ汚染、敵対的訓練、頑健性と精度のトレードオフ

因果推論と機械学習 — 相関を超える効果推定

交絡、介入、傾向スコア、Uplift モデリング、反実仮想、予測と因果の区別

プライバシー保護機械学習 — 個人情報を守る学習技術

差分プライバシー、匿名化の限界、メンバーシップ推定攻撃、秘密計算との組合せ

MLOpsとモデル運用 — 本番環境での学習システム管理

モデルのバージョン管理、監視、再学習パイプライン、データドリフト検知、A/Bテスト

機械学習の教育と学習リソース — 体系的な学び方

定番教科書(PRML・Sutton&Barto等)、オンライン講座、コンペティション、カリキュラム設計

教師あり学習・教師なし学習・強化学習の基礎 — 退避・古典資料archive

旧版の講義資料、廃れた手法のノート、歴史的文献の控えを保管する退避区分