機械学習モデル設計（教師あり・教師なし）

機械学習モデル設計（教師あり・教師なし） — 概要

教師あり・教師なし学習のモデル設計全体を見渡す入門ガイド。問題設定、手法選択、評価、運用までの道筋を示す

MLOps — 機械学習の運用設計

学習パイプライン、CI/CD、モデルレジストリ、デプロイ戦略、再学習トリガー、監視の一連の運用設計

教師あり学習の基礎 — 分類と回帰の問題設計

ラベル付きデータ、目的変数の型、分類・回帰・順序回帰の区別、訓練集合と汎化の基本概念

教師なし学習の基礎 — 構造発見の問題設計

ラベルなしデータからのクラスタリング、次元削減、密度推定、表現学習という四つの基本課題

線形回帰 — 最小二乗法と基本モデル

最小二乗法、正規方程式、多重共線性、残差分析、決定係数、線形モデルの仮定と診断

ロジスティック回帰 — 確率を出力する分類器

シグモイド関数、対数オッズ、最尤推定、多クラス化のソフトマックス、係数の解釈

正則化回帰 — リッジ・ラッソ・Elastic Net

L1/L2ペナルティ、係数縮小、スパース解による変数選択、正則化係数の調整と幾何的解釈

決定木 — 分岐規則による予測モデル

CART、ID3、C4.5、ジニ不純度、情報利得、枝刈り、木の深さ制御と解釈しやすさ

ランダムフォレスト — バギングと特徴量サブサンプリング

ブートストラップ集約、決定木の多数決、OOB誤差、特徴量重要度、木の本数と深さの設計

勾配ブースティング — 逐次的な弱学習器の加算

AdaBoost、勾配ブースティング木、XGBoost、LightGBM、CatBoost、学習率と早期停止

サポートベクターマシン — マージン最大化分類

ハードマージン・ソフトマージン、ヒンジ損失、双対問題、サポートベクター、Cパラメータ調整

k近傍法 — 距離に基づく怠惰学習

ユークリッド距離、kの選択、距離重み付け、次元の呪い、kd木や近似最近傍による高速化

ナイーブベイズ — 条件付き独立を仮定した分類

ベイズの定理、多項分布・ガウス・ベルヌーイ型、ラプラス平滑化、テキスト分類への応用

k-means — 重心ベースのクラスタリング

重心更新の反復、初期値問題とk-means++、ミニバッチ版、球状クラスタ仮定の限界

階層的クラスタリング — 凝集型と分割型

デンドログラム、単連結・完全連結・ウォード法、距離行列、クラスタ切断位置の決定

DBSCAN — 密度ベースのクラスタ抽出

コア点・境界点・ノイズ点、eps と minPts、任意形状クラスタ検出、HDBSCANへの発展

混合ガウスモデル — 確率的クラスタリング

混合分布、責任度によるソフト割当、EMアルゴリズムでの推定、共分散構造の選択

主成分分析（PCA） — 分散最大の線形次元削減

固有値分解、寄与率、主成分負荷量、ホワイトニング、可視化と前処理としての利用

t-SNE・UMAP — 非線形次元削減と可視化

近傍確率の保存、perplexity、多様体学習、局所構造と大域構造のトレードオフ

特徴量エンジニアリング — 予測力を生む変数設計

交互作用項、対数変換、集約統計量、日時特徴、ドメイン知識に基づく派生変数の設計

特徴量選択 — フィルタ・ラッパー・埋め込み法

相関係数、相互情報量、逐次選択、再帰的特徴量削減（RFE）、L1正則化による選択

データ前処理 — 標準化・正規化・欠損値処理

zスコア標準化、min-max正規化、欠損値補完（平均・中央値・多重代入）、外れ値クリッピング

カテゴリ変数の符号化 — one-hotとターゲット符号化

one-hot、順序符号化、ターゲットエンコーディング、頻度符号化、高カーディナリティ対策

不均衡データ対策 — 再サンプリングと重み付け

SMOTE、アンダーサンプリング、クラス重み、閾値調整、少数クラス評価指標の選択

交差検証 — 汎化性能の見積もり設計

k-fold、層化分割、leave-one-out、時系列分割、グループ分割、データ漏洩の防止

ハイパーパラメータ最適化 — 探索戦略の設計

グリッドサーチ、ランダムサーチ、ベイズ最適化、逐次半減法（Successive Halving）、探索空間設計

バイアス・バリアンス分解 — 誤差の構造理解

偏り・分散・ノイズへの分解、モデル複雑度との関係、アンサンブルによる分散低減

過学習と正則化 — 汎化のための制約設計

訓練誤差と検証誤差の乖離、早期停止、ペナルティ項、データ量とモデル容量のバランス

分類の評価指標 — 適合率・再現率・F1・AUC

正解率の限界、precision/recallトレードオフ、F1、ROC-AUC、PR-AUC、マクロ/マイクロ平均

回帰の評価指標 — RMSE・MAE・決定係数

RMSE、MAE、MAPE、決定係数R²、対数誤差、外れ値への感度と指標の使い分け

混同行列とROC曲線 — 判定閾値の分析

真陽性・偽陽性の集計、感度・特異度、ROC/PR曲線の描画、業務コストに応じた閾値決定

アンサンブル学習 — バギング・ブースティング・スタッキング

モデル多様性の確保、投票と平均化、スタッキングのメタ学習器、ブレンディングの設計

モデル選択と情報量基準 — AIC・BIC

尤度とパラメータ数のトレードオフ、AIC、BIC、最小記述長（MDL）、ネストモデル比較

学習曲線と検証曲線 — データ量と複雑度の診断

サンプル数対性能の曲線、高バイアス/高バリアンスの判別、追加データ収集の判断材料

損失関数の設計 — 交差エントロピー・ヒンジ・Huber

二乗誤差、交差エントロピー、ヒンジ損失、Huber損失、分位点損失、タスクに応じた選択

最適化アルゴリズム — SGDとその発展形

勾配降下法、確率的勾配降下、モーメンタム、AdaGrad、RMSProp、Adam、学習率スケジュール

カーネル法 — 非線形をとらえる内積設計

カーネルトリック、RBF・多項式・線形カーネル、グラム行列、カーネルPCA、リプレゼンター定理

ガウス過程回帰 — 関数の事前分布による予測

共分散関数（カーネル）の設計、予測分布と不確実性、ハイパーパラメータの周辺尤度最適化

ベイズ推論による学習 — 事後分布とMAP推定

事前分布・尤度・事後分布、MAP推定、共役事前分布、ベイズ線形回帰、予測分布の導出

確率的グラフィカルモデル — ベイジアンネットとHMM

有向・無向グラフ、条件付き独立、隠れマルコフモデル、ビタビアルゴリズム、条件付き確率場

EMアルゴリズム — 潜在変数モデルの推定

Eステップ・Mステップの反復、下界最大化、混合モデルや欠損データへの適用、局所解問題

半教師あり学習 — 少量ラベルと大量無ラベルの併用

自己訓練、共訓練、ラベル伝播、一致性正則化、擬似ラベルの品質管理

自己教師あり学習 — 疑似タスクによる表現獲得

対照学習、マスク予測、プレテキストタスク、SimCLR系の枠組み、下流タスクへの転用

能動学習 — ラベル付けコストの最小化

不確実性サンプリング、クエリ戦略、委員会による多様性選択、アノテーション予算の設計

オンライン学習 — 逐次データでの継続更新

逐次勾配更新、リグレット最小化、コンセプトドリフトへの追従、ストリーミング学習基盤

転移学習とファインチューニング — 事前学習の再利用

事前学習済みモデル、特徴抽出器の凍結、層別学習率、少数データへの適応設計

マルチタスク学習 — 複数目的の同時最適化

共有表現とタスク固有ヘッド、損失の重み付け、補助タスク設計、負の転移の回避

異常検知 — 正常からの逸脱をとらえる設計

One-Class SVM、Isolation Forest、局所外れ値因子（LOF）、再構成誤差法、閾値設定

推薦モデル — 協調フィルタリングと行列分解

ユーザー・アイテム行列、暗黙的フィードバック、行列分解、近傍法、コールドスタート対策

時系列予測モデル — ARIMAと状態空間モデル

自己相関、定常性、ARIMA、指数平滑法、状態空間モデル、季節性とトレンドの分解

生存時間分析 — イベント発生までの時間モデル

打ち切りデータ、カプラン・マイヤー推定、Cox比例ハザードモデル、ハザード比の解釈

ニューラルネットワーク基礎 — パーセプトロンと多層化

パーセプトロン、多層パーセプトロン（MLP）、隠れ層、万能近似定理、層数と幅の設計

誤差逆伝播法 — 勾配計算の連鎖律

連鎖律による勾配伝播、計算グラフ、自動微分、勾配消失・爆発とその対策

活性化関数 — 非線形性の導入設計

シグモイド、tanh、ReLU、Leaky ReLU、GELU、出力層のソフトマックス、選択の指針

正則化テクニック — Dropoutとバッチ正規化

Dropout、バッチ正規化、レイヤー正規化、重み減衰、ラベル平滑化、早期停止の併用

畳み込みニューラルネットワーク — 画像向けモデル設計

畳み込み層、プーリング、受容野、残差接続（ResNet系）、画像分類・検出への構成

再帰型ネットワーク — RNN・LSTM・GRU

系列データの逐次処理、長期依存問題、LSTMのゲート機構、GRU、双方向化の設計

オートエンコーダ — 再構成による表現学習

エンコーダ・デコーダ、ボトルネック表現、デノイジング、スパース制約、異常検知への応用

変分オートエンコーダ（VAE） — 生成的な潜在変数モデル

潜在変数の確率分布、再パラメータ化トリック、KLダイバージェンス項、潜在空間の補間

敵対的生成ネットワーク（GAN） — 生成器と識別器の競合

ミニマックスゲーム、モード崩壊、学習安定化の工夫、画像生成・データ拡張への利用

Transformerと注意機構 — 系列モデリングの標準形

自己注意、マルチヘッド注意、位置符号化、エンコーダ・デコーダ構成、事前学習との接続

埋め込み表現 — 離散データのベクトル化

word2vec、埋め込み層、分散表現、類似度計算、エンティティ埋め込みの表形式データ活用

距離学習（メトリックラーニング） — 類似度の学習設計

対照損失、トリプレット損失、シャム型ネットワーク、顔照合・類似検索への応用

トピックモデル — 文書集合の潜在構造抽出

潜在ディリクレ配分法（LDA）、トピック分布、ギブスサンプリング、トピック数の選定

アソシエーション分析 — 共起パターンの発見

支持度・確信度・リフト値、Aprioriアルゴリズム、FP-growth、バスケット分析への適用

自己組織化マップ（SOM） — 位相保存の競合学習

競合学習、近傍関数、二次元格子への写像、高次元データの可視化と類型化

スペクトラルクラスタリング — グラフ固有値による分割

類似度グラフ、グラフラプラシアン、固有ベクトル空間でのk-means、非凸クラスタへの対応

行列分解 — SVDと非負値行列因子分解

特異値分解（SVD）、低ランク近似、非負値行列因子分解（NMF）、推薦・トピック抽出への応用

因子分析と独立成分分析 — 潜在因子の分離

共通因子モデル、因子回転、独立成分分析（ICA）、ブラインド音源分離、PCAとの違い

モデル解釈性 — SHAP・LIME・特徴量重要度

SHAP値、LIME、部分依存プロット、permutation importance、大域的・局所的説明の使い分け

公平性とバイアス緩和 — 差別的予測の抑制設計

属性間の統計的均等、機会均等基準、前処理・学習中・後処理での緩和、公平性指標の測定

モデル圧縮 — 蒸留・枝刈り・量子化

知識蒸留、重み枝刈り、量子化、低ランク分解、エッジ端末への配置を見据えた軽量化

AutoML — モデル探索と特徴量生成の自動化

ニューラルアーキテクチャ探索（NAS）、自動特徴量生成、メタ学習、探索コストの管理

データ拡張 — 訓練データの人工的増幅

画像の回転・反転・切り抜き、mixup、テキストの同義語置換、時系列の窓ずらし、拡張方針の設計

ラベルノイズと弱教師あり学習 — 不完全な教師情報への対処

ノイズ耐性損失、ラベリング関数による弱教師、クラウドソーシングの品質管理、信頼度学習

ドメイン適応と分布シフト — 訓練と運用の環境差対策

共変量シフト、ラベルシフト、ドメイン不変表現、重要度重み付け、シフト検出の手法

確率校正（キャリブレーション） — 予測確率の信頼性調整

信頼度図、Plattスケーリング、等張回帰、温度スケーリング、期待校正誤差（ECE）

学習パイプライン設計 — 前処理から推論までの一体化

scikit-learnのPipeline、変換器と推定器の連結、訓練・推論の整合、データ漏洩防止の構造化

実験管理と再現性 — シード・バージョン・記録

乱数シード固定、データ・コード・モデルのバージョン管理、実験トラッキング、環境の固定化

モデル監視とドリフト検知 — 運用中の性能維持

入力分布の監視、予測分布の変化検知、性能劣化アラート、再学習のトリガー設計

特徴量ストアとデータ管理 — 学習資産の共有基盤

特徴量の定義共有、オンライン/オフライン提供、鮮度管理、訓練・推論間の一貫性確保

大規模学習 — 分散処理とミニバッチ設計

データ並列・モデル並列、ミニバッチサイズ、勾配集約、パラメータサーバ、学習の高速化

スパースモデリング — 疎な解による構造推定

L1正則化による疎性、圧縮センシング、辞書学習、少数説明変数の同定、高次元小標本問題

ロバスト統計と外れ値処理 — 汚染データへの耐性設計

M推定、中央値ベース統計量、RANSAC、外れ値検出と除去・頑健化の判断基準

ノーフリーランチ定理 — 万能モデル不在の設計思想

全問題での平均性能の等価性、帰納バイアスの必要性、タスク特性に応じた手法選択の根拠

統計的学習理論 — 汎化誤差の理論的保証

VC次元、ラデマッハ複雑度、汎化誤差上界、経験リスク最小化、構造的リスク最小化

PAC学習 — 確率的近似正当性の枠組み

PAC学習可能性、サンプル複雑度、仮説空間、ブースティングとの理論的接続

クラスタ数と妥当性評価 — エルボー法とシルエット係数

エルボー法、シルエット係数、ギャップ統計量、Davies-Bouldin指標、クラスタ安定性の検証

密度推定 — 分布そのものの学習

ヒストグラム、カーネル密度推定、バンド幅選択、混合モデルによるパラメトリック推定

ランキング学習 — 順位を予測するモデル設計

pointwise/pairwise/listwise手法、NDCG・MAP指標、検索結果や推薦順位の最適化

マルチラベル分類と構造化予測 — 複合出力の設計

ラベル集合の同時予測、バイナリ関連法、ラベル依存の考慮、系列ラベリング、出力構造の設計

連合学習（Federated Learning） — データを動かさない分散学習

端末上での局所学習、モデル集約（FedAvg）、通信効率、非IIDデータ、プライバシーとの両立

プライバシー保護機械学習 — 差分プライバシーと秘匿計算

差分プライバシー、ノイズ付加学習、秘密計算、匿名化とモデル反転攻撃への防御

敵対的攻撃とロバスト性 — 摂動に対する防御設計

敵対的サンプル、回避攻撃・ポイズニング攻撃、敵対的訓練、頑健性評価の方法論

因果推論と機械学習 — 相関を超えた効果推定

傾向スコア、反実仮想、アップリフトモデリング、二重頑健推定、施策効果の個別推定

量子機械学習 — 量子計算とMLの接点

量子回路によるカーネル計算、変分量子回路、量子アニーリングと最適化、現状の制約と展望

省資源機械学習（Green AI） — 計算コストと環境負荷

学習の電力消費、効率的アーキテクチャ選択、小規模データ学習、コスト対効果の設計指針

機械学習の教育とコンペ文化 — 学習コミュニティの生態

Kaggle等のコンペ、公開データセット、ベンチマーク文化、リーダーボード過適合の問題

機械学習ソフトウェア生態系 — 主要ライブラリと選定

scikit-learn、PyTorch、TensorFlow、XGBoost、ONNXによる相互運用、ライブラリ選定の観点

機械学習モデル設計（教師あり・教師なし） — 退避・古典資料archive

旧版の手法解説、廃止された分類項目、歴史的資料の退避棚。現行設計はUU00〜UU98を参照