機械学習の定義と基礎概念

機械学習の定義と基礎概念 — 概要

機械学習とは何かを定義から学ぶ入門領域。学習の類型、汎化、評価、代表手法、理論的基盤までの見取り図

機械学習の定義 — データから規則性を獲得する計算手法

サミュエルの定義、ミッチェルのタスクT・性能P・経験Eによる定式化、明示的プログラミングとの対比

AIと機械学習の関係 — 人工知能・ML・深層学習の包含構造

記号主義とコネクショニズム、ルールベースとの違い、深層学習の位置づけ、弱いAIと強いAIの区別

教師あり学習 — ラベル付きデータからの写像学習

入力と正解ラベルの対、分類と回帰、訓練事例、予測関数の学習、スパム判定や価格予測などの典型例

教師なし学習 — ラベルなしデータの構造発見

クラスタリング、次元削減、密度推定、潜在構造の抽出、顧客セグメンテーションなどの応用場面

半教師あり学習 — 少量ラベルと大量非ラベルの併用

自己訓練、ラベル伝播、クラスタ仮定と多様体仮定、アノテーションコスト削減という動機

強化学習の基礎 — 報酬信号による試行錯誤の学習

エージェント、環境、状態、行動、報酬、方策、価値関数、探索と活用のトレードオフ、マルコフ決定過程

自己教師あり学習 — データ自身から教師信号を作る枠組み

マスク予測、次単語予測、対照学習、事前学習と微調整、大規模言語モデルの学習を支える考え方

分類問題 — 離散カテゴリへの割り当てタスク

二値分類と多クラス分類、多ラベル分類、決定境界、クラス確率の出力、文字認識や診断支援の例

回帰問題 — 連続値を予測するタスク

目的変数と説明変数、線形回帰と非線形回帰、残差、外挿の危険、需要予測や気温予測の例

クラスタリング — 類似データのグループ化

距離尺度、クラスタ数の決定、ハードとソフトの割り当て、シルエット係数、市場分析や画像整理の応用

次元削減 — 高次元特徴空間の圧縮と可視化

主成分分析、特異値分解、t-SNE、UMAP、情報損失と圧縮率、可視化と前処理という二つの用途

訓練・検証・テスト分割 — データ分割の基本設計

ホールドアウト法、分割比率、層化抽出、時系列分割、テストデータへの情報漏れを防ぐ原則

交差検証 — k分割による汎化性能の推定

k-fold法、leave-one-out法、層化k-fold、ネストした交差検証、分散の小さい性能推定

過学習 — 訓練データへの過剰適合

訓練誤差とテスト誤差の乖離、複雑すぎるモデル、ノイズの記憶、正則化・データ増強・早期終了による対策

未学習 — モデル容量不足による適合不良

高バイアス状態、単純すぎる仮説、特徴量不足、訓練誤差自体が高い症状、モデル拡張による改善

汎化 — 未知データに対する予測性能

汎化誤差、経験誤差との差、独立同分布仮定、汎化ギャップ、機械学習の最終目標としての位置づけ

バイアス・バリアンス分解 — 誤差の構造的理解

バイアス、バリアンス、既約誤差の三分解、モデル複雑度とのトレードオフ、二重降下現象への言及

正則化 — 罰則項による複雑度の制御

L1正則化（ラッソ）、L2正則化（リッジ）、Elastic Net、スパース性、重み減衰、罰則係数の調整

モデル複雑度と容量 — 表現力と過学習の均衡

パラメータ数、自由度、表現力、記憶と汎化、容量制御の手段としての正則化とアーキテクチャ選択

仮説空間と帰納バイアス — 学習器が持つ前提

仮説集合、探索空間、帰納バイアスの必然性、線形性・平滑性・局所性などの仮定、バイアスと表現力の関係

ノーフリーランチ定理 — 万能アルゴリズムの不在

全問題平均では優劣なしという定理、問題依存のアルゴリズム選択、帰納バイアス選択の重要性の根拠

オッカムの剃刀 — 単純性を好む原理と最小記述長

単純な仮説の優先、最小記述長原理（MDL）、モデル選択への応用、単純性と精度の均衡

次元の呪い — 高次元空間での学習の困難

データ疎性、距離の集中現象、必要サンプル数の指数的増加、次元削減と特徴選択による緩和

損失関数 — 予測の悪さを測る尺度

二乗誤差、絶対誤差、交差エントロピー、ヒンジ損失、Huber損失、タスクに応じた損失の選択

経験リスク最小化 — 学習の統計的定式化

真のリスクと経験リスク、期待損失、一様収束、構造的リスク最小化との対比、統計的学習理論の出発点

最尤推定 — 確率モデルのパラメータ推定

尤度関数、対数尤度、最尤法と二乗誤差最小化の対応、交差エントロピーとの関係、推定量の一致性

ベイズ推定とMAP推定 — 事前知識を組み込む推定

事前分布、事後分布、ベイズの定理、MAP推定、正則化との対応、ベイズ的モデル平均

勾配降下法 — 損失を下る反復最適化

勾配、学習率、収束、局所最適解と大域最適解、凸最適化、鞍点、最適化としての学習の見方

確率的勾配降下法 — ミニバッチによる効率的最適化

SGD、ミニバッチサイズ、エポック、勾配ノイズ、モメンタム、Adamなどの適応的学習率手法

学習率とスケジューリング — 最重要ハイパーパラメータ

学習率の大小と発散・停滞、減衰スケジュール、ウォームアップ、収束速度と安定性の均衡

ハイパーパラメータ探索 — 設定値の系統的な調整

グリッドサーチ、ランダムサーチ、ベイズ最適化、検証データによる選択、探索コストの管理

特徴量と表現 — 入力をベクトルとして表す

特徴ベクトル、数値・カテゴリ・テキスト・画像の表現、良い表現が性能を決めるという原則

特徴量エンジニアリング — 人手による特徴設計

ドメイン知識の活用、交互作用項、対数変換、集約特徴、表現学習との対比、実務での重要性

特徴選択 — 有効な変数の絞り込み

フィルタ法、ラッパー法、埋め込み法、相互情報量、L1正則化による選択、冗長特徴の除去

データ前処理 — 正規化・標準化・欠損値処理

min-maxスケーリング、標準化、外れ値処理、欠損値の補完と削除、前処理の学習データ基準の原則

カテゴリ変数の符号化 — 質的データの数値化

one-hotエンコーディング、順序エンコーディング、ターゲットエンコーディング、高カーディナリティ対策、埋め込み表現

学習曲線 — データ量・訓練進行と誤差の関係

訓練誤差と検証誤差の推移、データ追加の効果予測、過学習の診断、スケーリング則への接続

分類の評価指標 — 正解率・適合率・再現率・F1

accuracy、precision、recall、F1スコア、マクロ平均とマイクロ平均、指標選択とタスク目的の対応

混同行列 — 予測と正解のクロス集計

真陽性、偽陽性、真陰性、偽陰性、多クラスへの拡張、誤分類パターンの分析、閾値との関係

ROC曲線とAUC — 閾値に依らない識別性能評価

真陽性率と偽陽性率、ROC曲線の描画、AUCの解釈、PR曲線との使い分け、不均衡データでの注意

回帰の評価指標 — MSE・MAE・決定係数

平均二乗誤差、平均絶対誤差、RMSE、決定係数R²、MAPE、外れ値への感度による指標の使い分け

クラス不均衡問題 — 偏ったラベル分布への対処

アンダーサンプリング、オーバーサンプリング、SMOTE、クラス重み付け、適切な評価指標の選択

パラメトリックとノンパラメトリック — モデルの二大類型

固定パラメータ数の仮定、線形回帰とk近傍法の対比、柔軟性とデータ効率、カーネル密度推定

識別モデルと生成モデル — 二つのモデル化戦略

条件付き確率の直接学習と同時分布の学習、ロジスティック回帰とナイーブベイズの対比、生成モデルの応用

線形回帰 — 最小二乗法による直線当てはめ

最小二乗法、正規方程式、重回帰、多重共線性、残差分析、最も基本的な教師あり学習モデル

ロジスティック回帰 — 確率を出力する線形分類器

シグモイド関数、オッズとロジット、交差エントロピー損失、係数の解釈、多クラスへのソフトマックス拡張

k近傍法 — 近くの事例に基づく怠惰学習

距離計算、kの選択、多数決と平均、怠惰学習、次元の呪いの影響、計算量と近似近傍探索

決定木 — 条件分岐による解釈しやすいモデル

情報利得、ジニ不純度、CART、剪定、分岐規則の可読性、過学習しやすさとアンサンブルへの発展

アンサンブル学習 — 複数モデルの組み合わせ

バギング、ブースティング、スタッキング、多数決と平均化、弱学習器、分散低減とバイアス低減

ランダムフォレスト — 決定木のバギング集団

ブートストラップ標本、特徴量のランダム選択、OOB誤差、特徴量重要度、頑健で扱いやすい定番手法

勾配ブースティング — 逐次的な誤差修正の合成

残差への逐次適合、AdaBoost、GBDT、XGBoost、LightGBM、表形式データでの高い実績

サポートベクターマシン — マージン最大化による分類

最大マージン、サポートベクター、ソフトマージン、スラック変数、双対問題、高次元での有効性

カーネル法 — 非線形をなす暗黙の高次元写像

カーネルトリック、RBFカーネル、多項式カーネル、再生核ヒルベルト空間、カーネルリッジ回帰

ナイーブベイズ — 条件付き独立を仮定した分類器

ベイズの定理、特徴独立の仮定、多項分布モデル、スムージング、テキスト分類・スパム判定での実用

パーセプトロン — 線形識別器の原型

ローゼンブラットの提案、重みの逐次更新則、線形分離可能性、XOR問題の限界、ニューラルネットへの系譜

ニューラルネットワークの基礎 — 多層による関数近似

ニューロン、重みとバイアス、多層パーセプトロン、隠れ層、万能近似定理、深層学習への入口

活性化関数 — 非線形性を与える要素関数

シグモイド、tanh、ReLU、Leaky ReLU、ソフトマックス、勾配消失問題との関係

誤差逆伝播法 — 連鎖律による勾配計算

連鎖律、順伝播と逆伝播、計算グラフ、自動微分、勾配消失と勾配爆発、深層学習を可能にした算法

表現学習と深層学習 — 特徴を自動で学ぶ考え方

階層的特徴抽出、手作り特徴からの脱却、事前学習、埋め込み、深さが表現力に与える効果

k-means法 — 重心に基づく代表的クラスタリング

重心更新の反復、初期値依存性、k-means++、エルボー法によるクラスタ数選択、球状クラスタの仮定

階層的クラスタリングと密度ベース法 — 構造の異なる群れの発見

凝集型と分割型、デンドログラム、ウォード法、DBSCAN、密度到達性、非凸クラスタへの対応

主成分分析 — 分散最大方向への線形射影

固有値分解、寄与率、主成分負荷量、白色化、特異値分解との関係、可視化とノイズ除去への利用

確率論の基礎 — 機械学習を支える確率の言葉

確率変数、条件付き確率、ベイズの定理、期待値と分散、正規分布、独立同分布仮定

統計学と機械学習 — 推測統計との連続性と相違

推定と検定、予測重視と説明重視、標本と母集団、統計的学習という呼称、両分野の用語対応

線形代数の基礎 — ベクトルと行列による表現

内積、行列積、ノルム、固有値と固有ベクトル、ランク、データ行列とパラメータの行列表現

微分と最適化の数学 — 勾配・凸性・制約

偏微分、勾配ベクトル、ヘッセ行列、凸関数、ラグランジュ乗数法、制約付き最適化

情報理論の基礎 — エントロピーと分布間距離

エントロピー、交差エントロピー、KLダイバージェンス、相互情報量、損失関数や特徴選択への応用

計算学習理論 — PAC学習と学習可能性

PAC学習の枠組み、サンプル複雑度、誤差と信頼度、ヴァリアントの提案、学習可能性の理論的保証

VC次元 — 仮説空間の複雑さの尺度

シャッタリング、VC次元の定義、汎化誤差上界、ヴァプニクとチェルヴォネンキスの理論、SVMとの関係

オンライン学習とバッチ学習 — データ到着様式による区別

逐次更新、リグレット最小化、ストリーミングデータ、概念ドリフトへの追従、ミニバッチとの中間形態

転移学習 — 学習済み知識の別タスクへの再利用

事前学習と微調整、ドメイン適応、特徴抽出器の流用、少データ環境での有効性、負の転移

マルチタスク学習とメタ学習 — 複数タスクからの学習

共有表現、タスク間の正則化効果、few-shot学習、学習の学習、タスク分布からの汎化

能動学習 — ラベル付け対象を自ら選ぶ学習

不確実性サンプリング、クエリ戦略、アノテーション予算、委員会によるクエリ、人間参加型の学習

異常検知 — 正常パターンからの逸脱の発見

外れ値検出、One-Class SVM、Isolation Forest、再構成誤差、不正検知や故障予知への応用

推薦システムの基礎 — 協調フィルタリングと行列分解

ユーザー・アイテム行列、協調フィルタリング、内容ベース推薦、行列分解、コールドスタート問題

時系列データの学習 — 順序依存データの予測

自己相関、ラグ特徴、定常性、時系列分割による検証、リーク防止、需要予測や異常監視への応用

ベンチマークデータセット — 共通課題による性能比較

Iris、MNIST、CIFAR-10、ImageNet、UCIリポジトリ、ベンチマーク文化と過適合の問題

データラベリング — アノテーションの設計と品質

アノテーションガイドライン、作業者間一致率、クラウドソーシング、ラベルノイズ、弱教師あり学習

データリーケージ — 評価を壊す情報漏れ

目的変数の混入、前処理での漏れ、時間的リーク、重複データ、パイプライン内での正しい分割順序

早期終了とドロップアウト — 訓練過程での正則化

検証誤差の監視による打ち切り、patienceの設定、ドロップアウト、データ増強、暗黙的正則化

モデル選択と情報量規準 — 複雑さと当てはまりの均衡

AIC、BIC、交差検証による選択、尤度と罰則、モデル比較の手続き、選択後推論の注意点

分布シフト — 訓練時と運用時のデータのずれ

共変量シフト、ラベルシフト、概念ドリフト、ドメインギャップ、シフト検知と再学習の運用

確率的出力とキャリブレーション — 予測確率の信頼性

確信度、信頼度較正、Platt scaling、温度スケーリング、キャリブレーション曲線、意思決定閾値

機械学習パイプライン — 前処理から評価までの工程管理

データ収集、前処理、学習、評価、デプロイの一連の流れ、再現性、実験管理、MLOpsの入口

機械学習ライブラリ — 実装を支えるソフトウェア基盤

scikit-learn、TensorFlow、PyTorch、NumPy、pandas、fit/predictの共通インターフェース

機械学習の歴史 — パーセプトロンから深層学習まで

1950年代の黎明、パーセプトロン、AIの冬、SVM隆盛、2012年ImageNetでの深層学習躍進

代表的研究者 — 分野を築いた人々

サミュエル、ローゼンブラット、ヴァプニク、ヒントン、ルカン、ベンジオ、2018年チューリング賞

機械学習の応用領域 — 産業と科学への展開

画像認識、音声認識、自然言語処理、医療診断支援、金融与信、創薬、気象予測などの代表的応用

解釈可能性と説明可能AI — モデル判断の根拠提示

特徴量重要度、部分依存プロット、LIME、SHAP、ブラックボックス問題、解釈性と精度の均衡

公平性とバイアス — 機械学習の社会的偏り

訓練データの偏り、公平性指標、グループ間格差、代理変数問題、バイアス緩和手法、影響評価

プライバシー保護学習 — 個人データを守る学習技術

差分プライバシー、連合学習、匿名化、メンバーシップ推論攻撃、秘密計算、データ最小化原則

敵対的事例とロバスト性 — 摂動に対する脆弱性

敵対的摂動、敵対的訓練、ノイズ耐性、分布外検知、モデルの頑健性評価、安全性検証

AutoML — 機械学習パイプラインの自動化

自動特徴量生成、自動モデル選択、ニューラルアーキテクチャ探索、ハイパーパラメータ自動調整

因果推論と機械学習 — 相関を超えた因果の学習

相関と因果の区別、交絡、反実仮想、傾向スコア、介入効果推定、予測モデルとの目的の違い

機械学習と計算資源 — 学習コストとスケーリング

GPU・TPUによる並列計算、計算量とメモリ、スケーリング則、モデル圧縮、蒸留、消費電力の課題

機械学習の教育と資格 — 学習リソースの体系

代表的教科書（PRML、ESL）、公開講義とMOOC、Kaggleなどの競技、大学カリキュラムでの位置づけ

機械学習研究の生態系 — 学会・論文・再現性

NeurIPS、ICML、arXivプレプリント文化、査読、ベンチマーク競争、再現性危機と実験報告基準

機械学習の哲学的側面 — 帰納・知能・理解をめぐる問い

帰納の問題、チューリングテスト、中国語の部屋、知能の定義、学習と理解の区別、汎化の認識論

機械学習の定義と基礎概念 — 退避・古典資料archive

旧版の定義集、歴史的教材、更新前の分類項目など、現行体系から退避した資料の保管区分