データと特徴量の基礎

データと特徴量の基礎 — 概要

機械学習の土台となるデータ収集・前処理・特徴量設計・品質管理を体系的に学ぶ入門ガイド

データの種類と構造 — 構造化・半構造化・非構造化の区分

表形式、テキスト、画像、音声、時系列、グラフ、JSON/XMLなど各データ形態の特性と扱い

データ収集 — 調査・センサー・ログからの取得設計

アンケート調査、実験計画、センサー計測、行動ログ、API取得など収集手段と設計上の注意

公開データセット — 研究用ベンチマークと入手経路

MNIST、CIFAR-10、ImageNet、Iris、UCIリポジトリ、Kaggleなど代表的データセット

探索的データ分析（EDA） — 分布と関係性の初期把握

要約統計、分布確認、欠損・外れ値の点検、仮説発見までの探索手順とツール活用

記述統計の基礎 — 平均・分散・分位点による要約

平均、中央値、最頻値、分散、標準偏差、歪度、尖度、分位点によるデータ要約の基本

データ可視化 — 分布・関係・時系列を図で捉える

ヒストグラム、散布図、箱ひげ図、ヒートマップ、折れ線グラフの使い分けと読み方

相関分析 — 変数間の関連を測る指標群

ピアソン相関、スピアマン順位相関、相互情報量、擬似相関と因果の混同への注意

サンプリング — 無作為抽出と層化抽出の設計

単純無作為抽出、層化抽出、系統抽出、ブートストラップ、標本の代表性と偏りの評価

データクリーニング — 誤記・表記揺れ・型不整合の修正

表記揺れ統一、単位換算、型変換、範囲チェック、正規表現による整形と検証の実務

欠損値のメカニズム — MCAR・MAR・MNARの区別

完全ランダム欠損、条件付きランダム欠損、非ランダム欠損の分類と分析方針への影響

欠損値補完 — 単一代入と多重代入の手法

平均値・中央値補完、回帰補完、k近傍補完、多重代入法、欠損フラグ特徴の追加

外れ値検出 — 統計的手法と密度ベース法

Zスコア、IQR基準、マハラノビス距離、LOF、Isolation Forestによる異常検知

重複検出と名寄せ — レコード連結・エンティティ解決

完全一致・曖昧一致による重複排除、編集距離、レコードリンケージ、名寄せキー設計

ノイズとラベルノイズ — 誤ラベルの影響と対処

計測ノイズ、誤ラベルの混入率推定、信頼度に基づく除去・修正、頑健な損失関数の利用

正規化と標準化 — Min-Max・Zスコア変換

Min-Maxスケーリング、Zスコア標準化、ロバストスケーリング、適用範囲と使い分け

非線形変換 — 対数・べき乗・分位点変換

対数変換、平方根変換、Box-Cox変換、Yeo-Johnson変換、分位点変換による分布補正

離散化・ビニング — 連続値の区間分割

等幅ビニング、等頻度ビニング、決定木ベース分割、離散化が解釈性と精度に与える影響

カテゴリ変数の符号化 — one-hot・ラベル・順序符号化

one-hotエンコーディング、ラベル符号化、順序尺度の扱い、ダミー変数の多重共線性

ターゲットエンコーディング — 目的変数統計による符号化

カテゴリごとの目的変数平均の利用、平滑化、交差検証内での計算、リーク防止の作法

高カーディナリティ特徴 — 多水準カテゴリの圧縮表現

頻度符号化、希少カテゴリ統合、ハッシュトリック、埋め込み層による低次元表現化

特徴量交差 — 交互作用項と多項式特徴の生成

特徴の掛け合わせ、多項式特徴、比率・差分特徴、組合せ爆発と正則化による制御

日付時刻特徴 — 周期性と経過時間の抽出

年月日・曜日・時間帯の分解、祝日フラグ、周期の三角関数表現、経過日数の算出

時系列特徴量 — ラグ・移動統計・窓集計

ラグ特徴、移動平均・移動分散、指数平滑、ローリング窓集計、季節性・トレンド分解

地理空間特徴 — 位置情報からの特徴設計

緯度経度、距離計算、メッシュ・行政区画への集約、近傍施設数などの空間集計特徴

テキスト前処理 — トークン化・正規化・ストップワード

トークン化、小文字化、ステミング、レンマ化、形態素解析、ストップワード除去

Bag-of-WordsとTF-IDF — 疎ベクトルによる文書表現

単語頻度ベクトル、TF-IDF重み付け、文書間類似度、語彙構築と次元の管理

n-gramと文字特徴 — 局所的な語列パターンの利用

単語n-gram、文字n-gram、言語判定・スパム検出への応用、次元増大への対策

単語埋め込み — 分散表現による意味の数値化

Word2Vec、GloVe、fastText、類似語演算、事前学習ベクトルの転用と限界

画像データの前処理 — リサイズ・正規化・色空間

リサイズ、切り抜き、画素値正規化、RGB/HSV/グレースケール変換、チャネル順序の扱い

古典的画像特徴 — 深層学習以前の手設計特徴

SIFT、HOG、エッジ検出、色ヒストグラム、テクスチャ特徴と物体認識への応用

音声特徴量 — スペクトログラムとMFCC

短時間フーリエ変換、スペクトログラム、メル尺度、MFCC、ピッチ・エネルギー特徴

データ拡張 — 変形とノイズ付加による水増し

回転・反転・切り抜き、色調変換、ノイズ付加、Mixup、テキスト・音声への拡張適用

特徴選択の枠組み — フィルタ・ラッパー・組込み法

三つのアプローチの比較、計算コストと精度のトレードオフ、選択結果の安定性評価

フィルタ法 — 統計量に基づく特徴の絞り込み

分散閾値、カイ二乗検定、相関係数、相互情報量、ANOVAによる単変量スクリーニング

ラッパー法 — モデル性能で探索する特徴選択

前向き選択、後ろ向き消去、再帰的特徴消去（RFE）、探索コストと過学習リスク

組込み法 — 学習過程に統合された特徴選択

L1正則化（Lasso）による係数の疎化、Elastic Net、決定木・勾配ブースティングの重要度

特徴量重要度 — 寄与度の測定と解釈

permutation importance、SHAP値、部分依存プロット、重要度解釈の落とし穴

主成分分析（PCA） — 分散最大化による次元削減

固有値分解、寄与率、主成分の解釈、白色化、標準化の前処理としての位置づけ

線形判別分析（LDA） — クラス分離を最大化する射影

クラス間分散とクラス内分散の比の最大化、PCAとの違い、判別軸の可視化と限界

非線形次元削減 — t-SNE・UMAPによる可視化

多様体学習の考え方、t-SNEのperplexity、UMAPの近傍グラフ、可視化解釈の注意点

行列分解 — SVD・NMFによる潜在構造抽出

特異値分解、非負値行列因子分解、潜在意味解析、推薦システムへの応用と低ランク近似

ランダム射影と特徴ハッシング — 高次元の高速圧縮

Johnson-Lindenstrauss補題、ランダム射影、ハッシュ関数による特徴写像と衝突の扱い

オートエンコーダ — 表現学習による特徴抽出

符号化器・復号化器、ボトルネック表現、デノイジング型、次元削減・異常検知への利用

スパース特徴 — 疎行列表現と効率的処理

疎行列格納形式（CSR/CSC）、メモリ効率、疎データに適したアルゴリズム選択

データ分割 — 訓練・検証・テストの設計

ホールドアウト法、分割比率の考え方、検証セットの役割、テストセットの厳格な隔離

交差検証 — k-fold と派生手法

k-fold、層化k-fold、グループk-fold、時系列分割、leave-one-outの使い分け

データリーケージ — 学習時の情報漏洩と防止策

目的変数リーク、前処理の分割前適用、時間的リーク、パイプライン化による防止

クラス不均衡 — 少数クラスへの対処法

アンダーサンプリング、オーバーサンプリング、SMOTE、閾値調整、評価指標の選択

サンプル重み付け — コスト考慮と重要度重み

クラス重み、誤分類コスト行列、傾向スコアによる重み付け、共変量シフトの補正

ラベル付け・アノテーション — 作業設計とガイドライン

アノテーション仕様書、ラベル体系設計、境界事例の扱い、作業ツールと工程管理

アノテーション品質 — 評価者間一致と正解データ

Cohenのカッパ係数、多数決集約、ゴールドスタンダード作成、品質監査の仕組み

クラウドソーシング — 大規模ラベル収集の運用

作業の分割設計、報酬設計、品質管理用チェック問題、作業者スキルの推定と集約

能動学習 — 選択的サンプリングでラベル費用削減

不確実性サンプリング、多様性基準、委員会によるクエリ、アノテーション予算の最適配分

弱教師ありデータ — ヒューリスティックによるラベル生成

ラベリング関数、遠距離教師（distant supervision）、ノイズ付きラベルの統合

半教師あり学習のデータ活用 — ラベルなしデータの利用

自己訓練、擬似ラベル、一致正則化、ラベル付き少数とラベルなし多数の組合せ設計

自己教師あり学習の前段 — 疑似タスクによる表現獲得

マスク予測、対照学習、データ自体から教師信号を作る発想と下流タスクへの転移

合成データ — シミュレーションと生成モデルによる作成

物理シミュレーション、レンダリング、生成モデルによるデータ合成、実データとの乖離評価

データ量と学習曲線 — サンプルサイズと精度の関係

学習曲線の描画、データ追加の効果予測、過学習・未学習の診断、必要データ量の見積り

スケーリングとモデル特性 — 距離ベース法への影響

k近傍法、SVM、勾配降下法へのスケール影響、木モデルのスケール不変性の理解

前処理パイプライン — 変換の一貫適用と再現性

fit/transformの分離、学習時と推論時の変換一致、パイプライン部品化と直列化

ETLとELT — 抽出・変換・格納のワークフロー

データソース抽出、変換処理の設計、データウェアハウス格納、バッチ処理の運用管理

データフォーマット — ファイル形式の選択と変換

CSV、TSV、JSON、Parquet、Arrow、列指向形式の利点、文字コードと圧縮の扱い

データベースとSQL — 学習用データの抽出と集計

SELECT・JOIN・GROUP BYによる特徴集計、ウィンドウ関数、抽出クエリの再現性確保

大規模データ処理基盤 — 分散処理による前処理

MapReduceの考え方、Hadoop、Sparkによる分散変換、パーティション設計と性能

ストリーミングデータ — 逐次到着データの特徴計算

オンライン集計、スライディングウィンドウ、逐次更新可能な統計量、遅延データの扱い

ログデータ — 行動ログ・クリックストリームの整形

イベントログの構造化、セッション分割、ユーザー単位集約、ボット・異常アクセス除去

センサー・IoTデータ — 計測データ特有の前処理

サンプリング周波数、欠測・断続、キャリブレーション、複数センサーの時刻同期

表形式データの実務特徴設計 — 集計とドメイン知識

顧客単位集約、RFM指標、比率・差分特徴、業務知識を反映した特徴の発想法

グラフデータの特徴 — ネットワーク構造の数値化

次数、中心性指標、クラスタ係数、近傍集約特徴、隣接行列とグラフ埋め込みの基礎

マルチモーダルデータ — 異種データの整列と結合

テキスト・画像・数値の結合設計、キー整合、時刻整列、モダリティ欠損への対応

系列データの整形 — パディングとマスク処理

可変長系列のパディング・切り詰め、マスクによる無効位置の除外、バケット化バッチ

トークナイザ — サブワード分割による語彙圧縮

BPE、WordPiece、SentencePiece、未知語問題の緩和、語彙サイズの設計

データスキーマと型検証 — 制約チェックによる防御

スキーマ定義、型・範囲・一意性制約、投入時バリデーション、異常レコードの隔離

データ品質管理 — 品質次元の指標化と監視

完全性、一貫性、正確性、適時性の指標、品質ダッシュボード、品質劣化の検知運用

データドリフト — 入力分布の経時変化の監視

共変量シフト、分布距離指標（KLダイバージェンス等）による検知、再学習の判断基準

概念ドリフト — 入出力関係の変化への対応

突発型・漸進型ドリフトの分類、性能監視による検知、窓ベース再学習と適応手法

選択バイアス — 収集過程が生む偏りと補正

生存バイアス、自己選択、サンプリングバイアス、傾向スコアや重み付けによる補正

データの公平性 — 属性偏りとバイアス緩和の前処理

保護属性の偏り測定、代理変数の発見、リサンプリング・リラベリングによる緩和

匿名化と仮名化 — 個人特定リスクの低減手法

k-匿名性、l-多様性、マスキング、汎化、再識別攻撃のリスクと有用性の均衡

差分プライバシー — ノイズ付加による厳密な保護

プライバシー予算ε、ラプラス機構、集計値への適用、学習アルゴリズムへの組込み

個人データ保護法制 — 法規制とデータ利用の実務

GDPR、日本の個人情報保護法、利用目的の特定、同意取得、越境移転の基本的な論点

データガバナンス — 利用権限と管理体制

アクセス権限設計、データ分類、保持期間ポリシー、監査ログ、管理責任者の役割

データバージョン管理 — 再現性のためのデータ追跡

データセットのスナップショット、ハッシュによる同一性検証、DVC等の管理ツール活用

データリネージ — 由来と変換履歴の記録

データの出所、変換工程の追跡、上流変更の影響分析、監査・障害調査への活用

データカタログとメタデータ — 検索可能な資産管理

項目定義書、メタデータ付与、データ辞書、組織内でのデータ発見性と利活用促進

特徴量ストア — 学習と推論での特徴一貫供給

特徴量の登録・共有・再利用、オンライン/オフライン供給の一致、鮮度と計算コスト管理

データセット文書化 — データシートと利用条件明記

収集方法・対象範囲・既知の限界の記述、ライセンス表示、Datasheets for Datasetsの実践

ベンチマーク設計 — 評価用データの構築と落とし穴

タスク定義、難易度分布、リーダーボード運用、ベンチマーク過適合と飽和の問題

テストデータ汚染 — 訓練データとの重複問題

訓練・評価間の重複検出、事前学習コーパスへの評価データ混入、汚染の検査手法

データ中心AI — モデルよりデータ品質改善の重視

ラベル一貫性の系統的改善、誤りデータの特定と修正、データ改善の反復ワークフロー

基盤モデルの事前学習データ — 大規模コーパスの収集と濾過

ウェブクロールコーパス、重複除去、品質フィルタリング、有害コンテンツ除去の工程

データ拡張の自動化 — 拡張方策の探索的学習

拡張操作の組合せ探索、方策の自動最適化、タスク適応的な拡張強度の調整

自動特徴量エンジニアリング — AutoMLによる特徴生成

特徴の自動生成・自動選択、リレーショナルデータからの集約特徴合成、探索コスト管理

データ流通と取引 — データ市場・ライセンスの動向

データ提供契約、利用許諾条件、二次利用の制約、データ仲介事業と価値評価の課題

オープンデータ活用 — 政府統計・公共データの前処理

政府統計、地理・気象データ、公開APIからの取得、書式の不統一と結合キー整備

ウェブスクレイピング実務 — 取得の作法と整形

robots.txtと利用規約の確認、取得間隔の配慮、HTML解析、動的ページへの対応

プライバシー保護計算 — データを渡さない学習

連合学習、秘密計算、準同型暗号の概要、分散データでの特徴集計と通信コスト

データ倫理 — 収集同意と利用範囲の論点

インフォームドコンセント、二次利用の妥当性、著作権と学習利用、社会的影響の考慮

データと特徴量の基礎 — 退避・古典資料archive

旧版の前処理手順書、廃止された特徴設計資料、歴史的データセットの記録の保管庫