機械学習アルゴリズム理論（線形回帰・決定木）

機械学習アルゴリズム理論（線形回帰・決定木） — 概要

線形回帰・決定木を軸に、古典的な教師あり学習アルゴリズムの理論・最適化・評価・応用を体系的に学ぶ入門ガイド

教師あり学習の枠組み — 入力・出力・仮説空間の定式化

訓練データ、特徴ベクトル、ラベル、仮説空間、損失関数、経験リスク最小化、汎化誤差

単回帰 — 一変数の直線当てはめの基礎

説明変数、目的変数、回帰係数、切片、残差、決定係数、散布図による当てはめ確認

重回帰 — 複数説明変数による線形モデル

計画行列、偏回帰係数、自由度調整済み決定係数、変数間の交互作用項、標準化係数

最小二乗法 — 残差平方和最小化の原理

残差平方和、二乗誤差、ガウス・マルコフの定理、最良線形不偏推定量（BLUE）、射影の幾何

正規方程式 — 解析解による回帰係数の導出

行列の転置と逆行列、正規方程式の導出、擬似逆行列、ランク落ち、数値的安定性

勾配降下法 — 反復最適化による学習の基本

勾配ベクトル、更新則、収束条件、バッチ勾配降下、学習曲線、局所最適と大域最適

確率的勾配降下法（SGD） — ミニバッチによる高速化

ミニバッチ、エポック、シャッフル、モメンタム、収束の揺らぎ、大規模データへの適用

学習率と収束 — ステップ幅設計と学習の安定化

学習率スケジューリング、減衰、発散と振動、適応的学習率（AdaGrad、Adam）、早期終了

リッジ回帰 — L2正則化による係数縮小

L2ペナルティ、正則化係数、係数の縮小、多重共線性の緩和、正則化パスの観察

ラッソ回帰 — L1正則化とスパース推定

L1ペナルティ、係数のゼロ化、変数選択効果、LARSアルゴリズム、スパースモデリング

エラスティックネット — L1とL2の混合正則化

混合比パラメータ、グループ化効果、相関の強い特徴群の扱い、正則化パラメータの二重探索

多項式回帰 — 基底展開による非線形の表現

多項式特徴量、基底関数、スプライン、次数選択、過学習との関係、特徴量の爆発

一般化線形モデル（GLM） — リンク関数と指数型分布族

リンク関数、指数型分布族、ポアソン回帰、ガンマ回帰、逸脱度、反復重み付き最小二乗

ロジスティック回帰 — 二値分類の線形モデル

シグモイド関数、オッズ比、対数尤度、交差エントロピー損失、決定境界、確率出力

多クラスロジスティック回帰 — ソフトマックスによる拡張

ソフトマックス関数、One-vs-Rest、One-vs-One、多クラス交差エントロピー、クラス確率の校正

最尤推定 — 確率モデルとしての回帰の解釈

尤度関数、対数尤度、正規誤差仮定と最小二乗の等価性、AIC、BIC、モデル選択基準

ベイズ線形回帰 — 事前分布を用いた回帰推定

事前分布、事後分布、予測分布、共役事前分布、MAP推定と正則化の対応、不確実性の定量化

決定木の基礎 — 再帰分割による予測モデル

ノード、枝、葉、分割規則、再帰的分割、木の深さ、if-thenルールとしての解釈

ID3アルゴリズム — 情報利得に基づく木構築

情報利得、エントロピー、カテゴリ属性の多分岐、クインラン（Quinlan）による提案、貪欲構築

C4.5 — 利得比と連続値対応の改良決定木

利得比、連続属性の閾値分割、欠損値処理、誤り率に基づく剪定、ルールセットへの変換

CART — 分類回帰木と二分分割

二分分割、ジニ不純度、回帰木の分散基準、コスト複雑度剪定、サロゲート分割

エントロピーと情報利得 — 分割の良さの情報量的評価

シャノンエントロピー、条件付きエントロピー、相互情報量、分割前後の不純度差、多値属性バイアス

ジニ不純度 — 分類木で使われる不純度指標

ジニ係数の定義、誤分類率との比較、エントロピーとの挙動差、計算効率、分割点探索

回帰木 — 連続値予測のための決定木

葉ノードの平均予測、分散減少基準、区分定数近似、平滑性の欠如、モデル木との比較

剪定（プルーニング） — 木の複雑さ制御

事前剪定、事後剪定、コスト複雑度剪定、最小サンプル数制約、検証データによる枝刈り

決定木の過学習 — 深い木の汎化性能劣化

最大深さ、葉の最小サンプル数、訓練誤差と検証誤差の乖離、ノイズへの過適合、安定性の低さ

アンサンブル学習の基礎 — 弱学習器の組み合わせ理論

多数決、平均化、弱学習器と強学習器、多様性と精度のトレードオフ、誤差の分散削減

バギング — ブートストラップ集約による分散低減

ブートストラップ標本、復元抽出、OOB（アウトオブバッグ）誤差、分散削減効果、並列学習

ランダムフォレスト — 特徴量ランダム性を加えた木の森

特徴量サブサンプリング、木の非相関化、OOB評価、特徴量重要度、ブレイマン（Breiman）による提案

ブースティング概説 — 逐次的な弱学習器の強化

逐次学習、誤分類標本の重み付け、加法モデル、弱学習可能性、バギングとの対比

AdaBoost — 重み更新による適応的ブースティング

標本重みの指数的更新、弱学習器の重み係数、指数損失、マージン理論、決定株（stump）

勾配ブースティング — 残差への逐次当てはめ

負の勾配への回帰木当てはめ、縮小率（shrinkage）、部分サンプリング、フリードマンの定式化

XGBoost — 正則化付き勾配ブースティング実装

二次近似による目的関数、正則化項、欠損値の自動処理、ヒストグラム分割、並列化

LightGBM — 高速・省メモリな勾配ブースティング

Leaf-wise成長、ヒストグラムベース学習、GOSS、EFB、カテゴリ特徴の直接処理

CatBoost — カテゴリ変数に強いブースティング

順序付きターゲット統計、順序付きブースティング、リーク防止、対称木、GPU学習

スタッキング — メタ学習器による多段アンサンブル

レベル0/レベル1モデル、メタ特徴量、交差検証による予測生成、ブレンディング、リーク対策

バイアス・バリアンス分解 — 汎化誤差の構造理解

バイアス、バリアンス、既約誤差、モデル複雑度とのトレードオフ、学習曲線による診断

過学習と正則化 — 汎化性能を守る仕組み全般

訓練誤差と汎化誤差、正則化項、早期終了、データ拡張、モデル容量の制御、検証セット

交差検証 — k分割による汎化性能推定

k-fold、層化k-fold、Leave-One-Out、時系列分割、ネストした交差検証、分割数の選択

データ分割設計 — 訓練・検証・テストの切り分け

ホールドアウト法、層化抽出、グループ分割、データリーク、テストセット汚染の防止

回帰の評価指標 — 予測誤差の定量化

MSE、RMSE、MAE、MAPE、決定係数R²、自由度調整済みR²、指標間の使い分け

分類の評価指標 — 正解率を超えた性能測定

正解率、適合率、再現率、F1スコア、マクロ/マイクロ平均、Matthews相関係数

ROC曲線とAUC — 閾値に依存しない分類評価

真陽性率、偽陽性率、ROC曲線、AUC、PR曲線、閾値選択、不均衡データでの解釈

混同行列 — 分類結果の誤り構造の分析

真陽性・偽陽性・真陰性・偽陰性、多クラス混同行列、誤分類パターン分析、コスト行列

ハイパーパラメータ探索 — 設定値の系統的最適化

グリッドサーチ、ランダムサーチ、ベイズ最適化、Optuna等の探索ツール、探索空間設計

特徴量エンジニアリング — 予測力を高める変数設計

交互作用項、対数変換、ビニング、集約特徴量、日時特徴量、ドメイン知識の活用

特徴選択 — 有効な変数の絞り込み手法

フィルタ法、ラッパー法、埋め込み法、逐次前進選択、再帰的特徴削減（RFE）、相関分析

カテゴリ変数の符号化 — 質的データの数値化

One-Hotエンコーディング、ラベルエンコーディング、ターゲットエンコーディング、頻度符号化、ダミー変数の罠

標準化・正規化 — 特徴量スケーリングの理論

Zスコア標準化、min-max正規化、ロバストスケーリング、スケーリングが必要な手法と不要な手法

欠損値処理 — 不完全データへの対処法

リストワイズ削除、平均値補完、多重代入法、k近傍補完、欠損メカニズム（MCAR/MAR/MNAR）

外れ値とロバスト回帰 — 異常値に強い推定

外れ値検出、レバレッジ、Cookの距離、Huber損失、RANSAC、最小絶対偏差回帰

多重共線性 — 説明変数間の相関がもたらす問題

相関行列、係数推定の不安定化、分散拡大要因（VIF）、変数除去、主成分回帰による対処

回帰診断 — モデル仮定の妥当性検証

線形性、等分散性、正規性、独立性の検証、Q-Qプロット、ダービン・ワトソン検定

残差分析 — 残差プロットによるモデル改善

残差プロット、標準化残差、系統的パターンの検出、不等分散、変数変換の示唆

k近傍法（k-NN） — 距離に基づく怠惰学習

ユークリッド距離、kの選択、多数決と距離重み付け、kd木による高速化、怠惰学習の特徴

ナイーブベイズ — 条件付き独立仮定の分類器

ベイズの定理、条件付き独立仮定、ガウス/多項/ベルヌーイ型、ラプラス平滑化、テキスト分類

サポートベクターマシン（SVM） — マージン最大化分類

マージン最大化、サポートベクター、ソフトマージン、ヒンジ損失、双対問題、SVR

カーネル法 — 高次元写像による非線形化

カーネルトリック、RBFカーネル、多項式カーネル、グラム行列、カーネルリッジ回帰

パーセプトロン — 線形分類の原型アルゴリズム

ローゼンブラットのパーセプトロン、誤り訂正学習、収束定理、線形分離可能性、XOR問題

線形判別分析（LDA） — クラス分離を最大化する射影

クラス内分散、クラス間分散、フィッシャーの判別基準、二次判別分析（QDA）、次元削減への利用

主成分分析（PCA） — 分散最大方向への次元削減

共分散行列、固有値分解、寄与率、累積寄与率、主成分回帰、白色化、可視化への応用

特異値分解（SVD） — 行列分解による低ランク近似

特異値、左右特異ベクトル、低ランク近似、切り詰めSVD、PCAとの関係、推薦システム応用

k-meansクラスタリング — 重心ベースの非階層分割

重心更新、慣性（クラスタ内平方和）、k-means++初期化、エルボー法、シルエット係数

階層的クラスタリング — 樹形図による凝集と分割

凝集型、分割型、単連結・完全連結・ウォード法、デンドログラム、距離行列

密度ベースクラスタリング — DBSCANと近傍密度

コア点、境界点、ノイズ点、eps近傍、任意形状クラスタの検出、OPTICSへの拡張

混合ガウスモデルとEMアルゴリズム — 確率的クラスタリング

混合分布、潜在変数、Eステップ・Mステップ、対数尤度の単調増加、ソフト割り当て

次元の呪い — 高次元空間での学習の困難

高次元での距離集中、標本数の指数的要求、疎なデータ、次元削減の必要性、k-NNへの影響

統計的学習理論 — VC次元と汎化誤差限界

VC次元、成長関数、シャッタリング、汎化誤差上界、構造的リスク最小化、ラデマッハ複雑度

PAC学習 — 確率的近似正当学習の枠組み

PAC学習可能性、標本複雑度、誤差と信頼度のパラメータ、ヴァリアント（Valiant）の枠組み

ノーフリーランチ定理 — 万能アルゴリズム不在の原理

問題全体での性能の平均的等価性、帰納バイアスの必要性、アルゴリズム選択の指針

損失関数の設計 — 目的に応じた誤差の定義

二乗損失、絶対損失、ヒンジ損失、交差エントロピー、Huber損失、ロバスト性との関係

凸最適化 — 大域最適が保証される最適化理論

凸関数、凸集合、劣勾配、ラグランジュ双対、KKT条件、線形回帰・SVMの凸性

ニュートン法と準ニュートン法 — 二次情報を用いる最適化

ヘッセ行列、二次収束、BFGS、L-BFGS、ロジスティック回帰への適用、計算コスト

座標降下法 — 一変数ずつ更新する最適化

座標ごとの逐次最適化、ラッソの効率的解法、ソフト閾値作用素、収束性、並列化の工夫

オンライン学習 — 逐次到着データからの学習

逐次更新、リグレット最小化、オンライン勾配降下、概念ドリフト、ストリーミングデータ対応

半教師あり学習 — ラベル無しデータの活用

自己訓練、共訓練、ラベル伝播、クラスタ仮定、多様体仮定、擬似ラベルの品質管理

不均衡データ対策 — 少数クラス学習の工夫

アンダーサンプリング、オーバーサンプリング、SMOTE、クラス重み、閾値調整、評価指標選択

特徴量重要度 — モデルが重視する変数の定量化

不純度減少による重要度、並べ替え重要度、重要度のバイアス、相関特徴での注意点

部分依存プロット — 特徴量と予測の関係の可視化

部分依存（PDP）、個別条件付き期待値（ICE）、特徴量間相関下での解釈限界、周辺化

SHAPとLIME — 個別予測の説明手法

シャープレイ値、SHAP値、局所線形近似（LIME）、加法的特徴帰属、説明の一貫性

決定木の可視化 — 木構造の図示と読解

木構造図、分割条件の表示、葉ノードの分布表示、Graphviz等による描画、深い木の要約

ルール学習 — 決定リストとルール抽出

if-thenルール、決定リスト、被覆アルゴリズム、木からのルール抽出、ルールの単純化

回帰係数の統計的推論 — 信頼区間と仮説検定

係数の標準誤差、t検定、F検定、信頼区間、p値の解釈、多重比較の問題

分散分析と回帰 — ANOVAの回帰モデルによる表現

一元配置・二元配置分散分析、ダミー変数による定式化、平方和の分解、交互作用の検定

時系列データへの回帰応用 — 自己相関下での回帰

ラグ特徴量、トレンド・季節性、自己回帰（AR）モデル、系列相関、時系列交差検証

生存時間解析 — Cox比例ハザード回帰

打ち切りデータ、ハザード関数、比例ハザード仮定、部分尤度、カプラン・マイヤー曲線

分位点回帰 — 条件付き分位点の推定

ピンボール損失、中央値回帰、予測区間の構成、不等分散データへの適用、外れ値耐性

ロジスティック回帰の実務応用 — スコアリングと確率予測

信用スコアリング、医療リスク予測、顧客離反予測、確率校正（Platt法）、係数の業務的解釈

決定木・木系モデルの実務応用 — 表形式データでの活用

需要予測、与信審査、異常検知、レコメンド、表形式データにおける勾配ブースティングの優位性

実装ライブラリ — scikit-learnを中心とした実践環境

scikit-learnのEstimator API、fit/predict、Pipeline、ColumnTransformer、モデル永続化

因果推論と回帰 — 相関と因果の峻別

交絡変数、疑似相関、傾向スコア、操作変数法、回帰不連続デザイン、介入効果の推定

プライバシー保護学習 — 差分プライバシーと連合学習

差分プライバシー、ノイズ付加、連合学習、匿名化との違い、プライバシー予算の管理

公平性とバイアス — 機械学習モデルの倫理的評価

属性による差別、公平性指標（人口統計的均等、機会均等）、バイアスの検出と緩和手法

AutoML — モデル選択とチューニングの自動化

自動特徴量生成、モデル探索、ニューラルアーキテクチャ探索、auto-sklearn等のツール、限界と使い所

回帰分析の歴史 — 最小二乗法から機械学習まで

ルジャンドル・ガウスの最小二乗法、ゴルトンの回帰概念、ピアソンの相関、統計学から機械学習への系譜

統計学と機械学習の関係 — 推論文化と予測文化

説明重視と予測重視、パラメトリックとノンパラメトリック、ブレイマンの「二つの文化」論

データ分析コンペティション — Kaggleと実践的検証文化

Kaggle、リーダーボード、パブリック/プライベート評価、アンサンブル戦略、過学習への教訓

学習リソースと教育 — 古典的機械学習の学び方

教科書（PRML、ESL、はじめてのパターン認識等）、オンライン講座、演習用データセット、資格試験

機械学習アルゴリズム理論（線形回帰・決定木） — 退避・古典資料archive

旧版の教材、廃止された手法解説、過去のライブラリ仕様書など、参照頻度の低い資料の保管場所