データ前処理・特徴量設計

データ前処理・特徴量設計 — 概要

生データを学習可能な形に整える工程全体の入門。欠損・外れ値処理、スケーリング、エンコーディング、特徴選択、パイプライン設計を概観

欠損値の類型 — MCAR・MAR・MNARの区別と診断

完全ランダム欠損、条件付きランダム欠損、非ランダム欠損の定義、欠損パターン可視化、Littleの検定、欠損メカニズムの推定

欠損値補完 — 単純代入から多重代入まで

平均・中央値・最頻値代入、k-NN補完、回帰補完、MICEによる多重代入、欠損フラグ特徴、補完がもたらすバイアス

外れ値検出（統計的手法） — zスコア・IQR・検定

zスコア基準、四分位範囲(IQR)ルール、修正zスコア、Grubbs検定、箱ひげ図による可視化、分布仮定の注意点

外れ値検出（機械学習） — 密度・分離ベースの手法

Isolation Forest、Local Outlier Factor(LOF)、One-Class SVM、Elliptic Envelope、教師なし異常スコアの解釈

外れ値処理 — 除去・クリッピング・Winsorizing

行削除の判断基準、上下限クリッピング、Winsorize処理、ロバスト統計での吸収、外れ値がドメイン情報である場合の扱い

標準化 — zスコアによる平均0・分散1への変換

StandardScalerの仕組み、学習データ統計量の保存、テストデータへの適用、勾配法・SVM・k-NNでの必要性

Min-Max正規化 — 指定区間へのスケーリング

[0,1]区間への線形変換、MinMaxScaler、画像画素値の正規化、外れ値への脆弱性、MaxAbsScalerとの比較

ロバストスケーリング — 中央値とIQR基準の変換

RobustScalerの原理、外れ値を含むデータでの安定性、中央値センタリング、四分位範囲による除算、標準化との使い分け

べき変換 — Box-Cox・Yeo-Johnson変換

歪んだ分布の正規化、対数変換・平方根変換、Box-Cox(正値限定)、Yeo-Johnson(負値対応)、λパラメータの最尤推定

分位変換 — ランクに基づく分布写像

QuantileTransformerによる一様分布・正規分布への写像、ランク変換、経験累積分布関数、外れ値の自動抑制効果

離散化・ビニング — 連続値のカテゴリ化

等幅ビニング、等頻度ビニング、決定木ベース分割、KBinsDiscretizer、情報損失と非線形性獲得のトレードオフ

One-Hotエンコーディング — ダミー変数化

カテゴリの二値ベクトル展開、ダミー変数トラップ、drop_first、疎行列出力、未知カテゴリのhandle_unknown設定

ラベル・順序エンコーディング — 整数への写像

LabelEncoder、OrdinalEncoder、順序尺度(サイズ・等級)の明示的順位付け、名義尺度への誤適用が生む擬似的順序の問題

ターゲットエンコーディング — 目的変数統計による符号化

カテゴリ別の目的変数平均、平滑化(スムージング)、out-of-fold計算によるリーク防止、ベイズ的縮小、回帰・分類での使い分け

頻度・カウントエンコーディング — 出現数による符号化

カテゴリ出現回数・出現率への置換、人気度情報の付与、同頻度カテゴリの衝突、ターゲット非依存でリークしにくい性質

ハッシュトリック — 高次元カテゴリの固定長圧縮

FeatureHasher、ハッシュ関数による次元固定、衝突の許容、語彙管理不要の利点、大規模オンライン学習での活用

エンティティ埋め込み — カテゴリの分散表現学習

ニューラルネットのEmbedding層でカテゴリを低次元ベクトル化、類似カテゴリの近接配置、One-Hotの次元爆発回避

交互作用特徴 — 積・比・多項式の生成

変数間の積項・比率項、PolynomialFeatures、二次以上の多項式展開、次元爆発への対処、線形モデルの表現力強化

集約特徴 — グループ別統計量の付与

groupbyによる平均・最大・分散・件数、顧客別・店舗別集計、複数テーブル結合後の集約、リレーショナルデータの平坦化

時系列特徴 — ラグ・移動窓統計の設計

ラグ特徴、移動平均・移動標準偏差、指数加重平均、ローリングウィンドウ集計、未来情報混入の防止、予測ホライズンとの整合

日時特徴 — 周期性のsin/cosエンコード

年月日・曜日・時刻の分解、祝日フラグ、月末月初、周期変数の三角関数エンコード、経過日数、営業日カレンダー

テキスト正規化・トークン化 — 前処理の第一歩

小文字化、句読点・記号除去、単語分割、正規表現クリーニング、HTMLタグ除去、絵文字・URLの処理方針

ストップワード・ステミング・レンマ化

機能語の除去リスト、Porterステマー、レンマ化による原形復元、品詞情報の利用、除去が逆効果になるタスクの見極め

Bag-of-Words・TF-IDF — 文書のベクトル化

単語出現行列、語彙構築、TF-IDF重み付け、文書頻度による希少語強調、min_df/max_df設定、コサイン類似度

n-gram特徴 — 連続語列の捕捉

バイグラム・トライグラム、文字n-gram、語順情報の部分的保持、次元増大と疎性、言語判定・スパム検出への応用

単語埋め込み — Word2Vec・GloVe・fastText

Skip-gram・CBOW、共起統計に基づくGloVe、サブワード対応のfastText、事前学習ベクトルの利用、文書ベクトルへの平均化

文脈埋め込みの特徴抽出 — BERT系モデルの活用

Transformerエンコーダの隠れ状態、[CLS]ベクトル・平均プーリング、文埋め込み、事前学習モデルを固定特徴抽出器として使う手法

日本語形態素解析 — 分かち書きと辞書

MeCab・Sudachi・Janomeによる形態素分割、IPA辞書・UniDic・NEologd、品詞フィルタ、表記ゆれと辞書更新

サブワード分割 — BPE・WordPiece・SentencePiece

頻度ベースのマージ規則、未知語問題の解消、語彙サイズ設計、言語非依存のSentencePiece、トークナイザ学習の再現性

系列パディング・マスキング — 可変長入力の整形

固定長へのパディング、切り詰め(truncation)、アテンションマスク、バケット化によるバッチ効率化、末尾/先頭切り詰めの選択

画像前処理 — リサイズ・正規化・色空間変換

リサイズ・中央切り抜き、画素値の平均分散正規化、RGB/グレースケール/HSV変換、アスペクト比保持、チャネル順序の規約

画像データ拡張 — 幾何変換とMixup系手法

回転・反転・平行移動・拡大縮小、色調変換、ランダム消去、Mixup・CutMix、RandAugmentなどの自動拡張方策

音声特徴 — MFCC・メルスペクトログラム

短時間フーリエ変換、メルフィルタバンク、MFCC係数、対数メルスペクトログラム、音声認識・話者識別の入力表現

信号処理特徴 — フーリエ変換・ウェーブレット

周波数領域特徴、パワースペクトル、ウェーブレット変換による時間周波数解析、ピーク検出、振動・波形データの特徴化

センサーデータ前処理 — 平滑化とリサンプリング

移動平均・Savitzky-Golayフィルタによる平滑化、ノイズ除去、サンプリング周波数の統一、欠測区間の補間、キャリブレーション

特徴選択（フィルタ法） — 統計量による事前選抜

相関係数、カイ二乗検定、分散閾値、ANOVA F値、SelectKBest、モデル非依存で高速だが交互作用を見落とす限界

特徴選択（ラッパー法） — モデル性能による探索

再帰的特徴削減(RFE)、前向き/後向き逐次選択、交差検証スコアによる評価、計算コストと過学習リスクの管理

特徴選択（組み込み法） — 学習過程での自動選択

Lasso(L1正則化)による係数ゼロ化、ElasticNet、決定木・勾配ブースティングの特徴量重要度、SelectFromModel

相互情報量による特徴評価 — 非線形関連の測定

エントロピーと相互情報量、mutual_info_classif/regression、非線形依存の検出、相関係数では捉えられない関係の発見

多重共線性 — VIFと相関構造の管理

分散拡大係数(VIF)、相関行列による冗長変数検出、係数推定の不安定化、主成分への置換、片方削除の判断基準

PCAによる次元削減 — 主成分への射影

分散最大方向の抽出、寄与率と累積寄与率、スクリープロット、白色化(whitening)、標準化の前提、固有値分解とSVD

非線形次元削減 — t-SNE・UMAP・カーネルPCA

多様体学習、t-SNEの近傍保存と可視化用途、UMAPの高速性と変換再利用、カーネルPCA、パープレキシティ等の設定

特徴量重要度 — permutation importanceとSHAP

並べ替え重要度、SHAP値による寄与分解、不純度ベース重要度のバイアス、高カーディナリティ変数の過大評価問題

クラス不均衡（オーバーサンプリング） — SMOTE系手法

少数クラスの複製、SMOTEによる補間合成、ADASYN、Borderline-SMOTE、検証データへの適用禁止、imbalanced-learn

クラス不均衡（アンダーサンプリング・重み付け）

多数クラスの間引き、Tomek Links、NearMiss、class_weight設定、損失関数の重み調整、評価指標(F1・AUC)の選択

データリーク — 原因類型と防止策

目的変数由来特徴、前処理統計量のテストデータ混入、時間的リーク、重複レコード跨ぎ、fitは学習データのみという原則

データ分割 — 層化・グループ・時系列分割

train/validation/test分割、StratifiedKFold、GroupKFold、TimeSeriesSplit、同一個体の分割跨ぎ防止

交差検証と前処理 — fold内fit/transformの徹底

各foldで前処理を再学習する原則、cross_val_scoreとPipelineの組合せ、ネストした交差検証、リークの無い性能推定

前処理パイプライン — Pipeline・ColumnTransformer

変換器と推定器の直列化、列ごとの処理分岐、カスタムTransformer、fit/transformインタフェース、直列化と再利用

特徴量ストア — 学習と推論の一貫性確保

特徴量の定義・計算・配信の一元管理、オンライン/オフラインストア、training-serving skewの防止、Feast等のOSS

データクリーニング — 重複除去と型変換

重複行の検出と削除、データ型の適正化、日付パース、数値に混じる文字列、不正値・矛盾値の検出と修正ルール

名寄せ・レコードリンケージ — 同一実体の統合

表記ゆれの照合、編集距離・Jaro-Winkler類似度、ブロッキングによる候補絞り込み、確率的リンケージ、企業名・住所の突合

文字列正規化 — Unicode正規化と全半角統一

NFKC正規化、全角半角変換、大文字小文字統一、濁点結合文字、空白・改行の正規化、日本語テキスト特有の表記ゆれ

データ品質指標 — 完全性・一貫性・妥当性

欠損率・重複率・制約違反率の測定、正確性・適時性・一意性の評価軸、品質ダッシュボード、修正優先度の決定

データプロファイリング — 自動統計サマリ

列ごとの型・分布・欠損・カーディナリティの自動集計、ydata-profiling等のツール、初見データの当たり付け

探索的データ分析（EDA） — 分布と関係の可視化

ヒストグラム・散布図・箱ひげ図・相関ヒートマップ、目的変数との関係確認、仮説生成、特徴量設計の着想源としてのEDA

スキーマ・期待値検証 — データテストの自動化

列の型・範囲・一意性・非NULL制約の宣言的テスト、Great Expectations、パイプラインへの検証組込み、異常データの隔離

データドリフト検出 — 分布変化の監視

PSI(母集団安定性指標)、KS検定、学習時と運用時の分布比較、特徴量ドリフトと概念ドリフトの区別、再学習トリガー

サンプリング設計 — 層化・重み付き抽出

無作為抽出、層化サンプリング、重み付きサンプリング、ダウンサンプリング後の確率補正、大規模データからの代表標本作成

地理空間特徴 — 座標・距離・ジオハッシュ

緯度経度の扱い、ハバーサイン距離、最寄り施設距離、ジオハッシュ・メッシュ化、逆ジオコーディング、空間結合

グラフ特徴 — 中心性とノード埋め込み

次数・媒介中心性・PageRank、クラスタ係数、node2vec・DeepWalkによるノード埋め込み、ソーシャル・取引ネットワークの特徴化

疎行列表現 — CSR/CSCとメモリ効率

疎行列フォーマット(CSR・CSC・COO)、scipy.sparse、One-Hot・TF-IDF出力の効率的保持、疎性を活かす学習器の選択

希少カテゴリ処理 — 統合と「その他」化

低頻度カテゴリの閾値統合、rare category binning、新規カテゴリの推論時対応、階層カテゴリの上位集約

ドメイン派生特徴 — 比率・差分・変化率の設計

売上/面積などの比率特徴、前期比・増減率、BMIのような業務指標、単価×数量の分解、専門知識を式に落とす設計作法

自動特徴量生成 — featuretoolsとDeep Feature Synthesis

リレーショナルテーブルからの集約・変換プリミティブ自動適用、Deep Feature Synthesis、生成特徴の爆発と選択

AutoMLの前処理自動化 — 探索空間としての前処理

前処理手法選択のハイパーパラメータ化、auto-sklearn・TPOT等のパイプライン探索、メタ学習による初期候補、人手設計との併用

アルゴリズム別スケーリング要否 — 距離型と木型の違い

k-NN・SVM・ニューラルネットはスケール敏感、決定木・ランダムフォレスト・勾配ブースティングは不変、正則化と単位の関係

ターゲット変換 — 目的変数の前処理

目的変数の対数変換・Box-Cox、逆変換時のバイアス補正、TransformedTargetRegressor、歪んだ回帰目標の安定化

ラベルノイズ — 誤ラベルの検出と修正

confident learningによる誤ラベル推定、cleanlab、損失値による疑わしい標本抽出、再アノテーション、ノイズ耐性損失

アノテーション設計 — ガイドラインと一致率管理

ラベル定義書の作成、アノテータ間一致率(Cohenのκ・Fleissのκ)、多数決集約、境界事例の裁定プロセス、品質監査

弱教師ラベリング — ラベリング関数によるラベル生成

ヒューリスティック規則・辞書・遠距離教師によるラベル付与、Snorkelの生成モデル集約、ノイズ混じりラベルでの学習

擬似ラベル — 半教師あり学習向けデータ整備

学習済みモデルの予測を仮ラベルとして追加、確信度閾値、自己学習(self-training)、確証バイアスの抑制策

テキストデータ拡張 — 同義語置換と逆翻訳

同義語置換・ランダム挿入削除(EDA法)、逆翻訳(back-translation)、言語モデルによる言い換え生成、意味保存の検証

表形式データ拡張 — ノイズ付加と標本混合

ガウスノイズ付加、特徴のランダムスワップ、mixupの表形式適用、拡張が分布を歪めるリスク、効果検証の方法

合成データ生成 — 統計モデル・生成モデルの活用

コピュラ・ベイジアンネットによる統計的合成、GAN系(CTGAN等)の表形式生成、有用性と開示リスクの評価、テストデータ代替

匿名化・仮名化 — k-匿名性と差分プライバシー

識別子の削除・一般化・抑制、k-匿名性・l-多様性・t-近接性、差分プライバシーのノイズ付加、再識別リスク評価

PII検出・マスキング — 個人情報の自動処理

氏名・住所・電話番号・メールの正規表現/NERによる検出、マスキング・トークン化・ハッシュ化、ログ・自由記述欄の秘匿化

時系列の欠測・不等間隔処理 — 補間とリサンプリング

線形・スプライン補間、前方/後方フィル、固定間隔へのリサンプリング、集約粒度の変更、欠測が情報を持つ場合のフラグ化

季節調整・トレンド除去 — 定常化の前処理

差分化、STL分解によるトレンド・季節・残差の分離、移動平均によるトレンド推定、定常性検定(ADF)、季節ダミー

単位・尺度の統一 — 換算と整合性確保

メートル法・ヤードポンド法の換算、通貨換算と為替レート時点、税込税抜、名寄せ前の単位検査、単位混在バグの検出

数値型最適化 — メモリ削減のための型設計

float64→float32/16、int縮小、pandasのcategory型、ダウンキャストの精度影響、大規模データフレームのメモリ削減

大規模分散前処理 — Spark・Daskによる並列化

分散データフレーム、パーティション設計、シャッフルコスト、遅延評価、単機pandasからの移行判断、Parquet等の列指向形式

GPU前処理 — RAPIDS cuDFによる高速化

GPUデータフレーム処理、cuDF・cuMLのAPI互換性、CPU-GPU間転送コスト、大規模結合・集計の高速化、適用判断の目安

ストリーミング前処理 — オンライン統計量の更新

逐次的な平均・分散の更新(Welford法)、スライディングウィンドウ集計、オンライン正規化、リアルタイム特徴量計算

深層学習入力パイプライン — tf.data・DataLoader

バッチ化・シャッフル・プリフェッチ、並列データ読み込み、変換のオンザフライ適用、GPUを遊ばせないI/O設計

再現性管理 — シード固定とデータバージョニング

乱数シードの固定、前処理コードのバージョン管理、DVCによるデータ版管理、環境固定、実験の追跡と再現手順の文書化

データ辞書・特徴量ドキュメント — 定義の共有

列名・型・単位・生成ロジック・更新頻度の記録、特徴量カタログ、命名規約、担当者間・学習/推論間の認識ずれ防止

行動ログ・推薦データの特徴 — セッション化と統計

クリックログのセッション分割、CTR・滞在時間などの行動統計、ユーザー×アイテム集約、直近行動の重み付け、コールドスタート

コンペ実践の特徴技法 — Kaggle由来のノウハウ

ターゲットエンコーディングの多層化、集約特徴の大量生成、adversarial validationによる分布差検出、特徴の取捨選択

マルチモーダル前処理 — 異種データの整合と融合

テキスト・画像・表形式・音声の同期、時刻合わせ、モダリティ別正規化、埋め込み結合(early/late fusion)、欠損モダリティ対応

データ中心AI — モデル固定でデータを磨く思想

モデル改良よりデータ品質改善を優先するData-Centric AIの考え方、ラベル一貫性、系統的エラー分析、小規模高品質データの価値

特徴量設計の歴史 — 手作業特徴から表現学習へ

画像のSIFT・HOG、音声のMFCCなど人手設計特徴の時代、深層学習による特徴学習への転換、表形式データで残る人手設計の意義

表現学習との関係 — 特徴設計自動化をめぐる議論

end-to-end学習と特徴量エンジニアリング不要論、自己教師あり学習による事前学習表現、転移学習時代の前処理の役割再定義

公平性と特徴設計 — センシティブ属性と代理変数

性別・人種等の属性の扱い、郵便番号などの代理変数(proxy)問題、属性除去だけでは防げないバイアス、公平性指標との接続

因果を意識した特徴設計 — 交絡と処置後変数

交絡変数の統制、処置後変数(collider)混入の危険、予測目的と因果推論目的の特徴選択の違い、時間的先行性の確認

データセットシフト理論 — 共変量・事前確率シフト

共変量シフト・事前確率(ラベル)シフト・概念シフトの分類、重要度重み付けによる補正、ドメイン適応との関係

データ収集の適法性 — 著作権・利用規約・スクレイピング

Webスクレイピングの規約遵守、robots.txt、著作権とテキストマイニング例外、ライセンス確認、収集ログの記録と説明責任

専門領域データの前処理 — 医療・金融等の固有課題

電子カルテの構造化、ICD等の標準コード体系への対応付け、検査値の単位統一、金融時系列のコーポレートアクション調整

データ前処理・特徴量設計 — 退避・古典資料archive

旧版の前処理手順書、廃止された変換仕様、過去ツールのドキュメントなど、現行カタログから退避した資料の保管区分