データ収集・クリーニング実務

データ収集・クリーニング実務 — 概要

機械学習用データの収集・前処理・品質管理・ラベリング・ガバナンスまでの実務全体を俯瞰する入門ガイド

データ収集計画 — 要件定義と収集設計の基本

目的変数の定義、必要サンプル数、収集源の選定、コスト見積り、収集スケジュール設計

Webスクレイピング — HTML解析とデータ抽出

HTMLパーサ、CSSセレクタ、XPath、Beautiful Soup、動的ページのレンダリング対応

Webクローリング — 大規模巡回と負荷配慮

クローラ設計、robots.txt遵守、アクセス間隔制御、User-Agent明示、Scrapyの運用

API経由のデータ取得 — REST・認証・レート制限

REST/GraphQL、APIキーとOAuth認証、ページネーション、レート制限対応、レスポンス整形

オープンデータ活用 — 政府統計・公共データの取得

政府統計、自治体オープンデータ、学術リポジトリ、Kaggle等の公開データセットの探索と取得

センサー・IoTデータ収集 — 計測値の取り込み

センサー計測、サンプリング周波数、MQTT等の軽量プロトコル、欠測・異常計測値の一次処理

ログデータ収集 — アクセスログ・イベントログ

Webアクセスログ、アプリのイベントログ、構造化ログ設計、ログ収集エージェント、集約基盤

アンケート・調査データ — 設計と回収の実務

質問票設計、選択肢設計、回答バイアス、サンプル代表性、回収データのコード化と点検

クラウドソーシング収集 — 作業設計と品質確保

マイクロタスク分割、報酬設計、作業者スクリーニング、ゴールド問題、多数決による品質担保

合成データ生成 — シミュレーションと生成モデル

物理シミュレーション、レンダリング合成画像、生成モデルによるデータ生成、実データとの混合

データ形式の実務 — CSV・JSON・Parquet

CSV方言、JSON/JSON Lines、Parquet/Avroの列指向形式、圧縮、形式間変換の落とし穴

文字コード処理 — UTF-8とShift_JISの実務

UTF-8、Shift_JIS、BOM、文字化け検出、エンコーディング推定、機種依存文字の扱い

欠損値の検出と分類 — MCAR・MAR・MNAR

欠損パターンの可視化、MCAR/MAR/MNARの区別、欠損理由の調査、欠損率による列の取捨

欠損値補完 — 単純代入から多重代入まで

平均・中央値代入、回帰補完、k近傍補完、多重代入法、補完が学習に与える影響の評価

外れ値検出 — 統計・距離・密度ベース手法

四分位範囲、zスコア、マハラノビス距離、LOF、Isolation Forestによる異常検出

外れ値の処理方針 — 除去・変換・ロバスト化

除去と保持の判断基準、winsorizing、対数変換、ロバスト統計量、業務的異常との区別

重複データ排除 — 完全一致と近似一致

完全重複の検出、キー重複、あいまい一致、編集距離、重複が評価指標に与える歪みの防止

名寄せ・レコードリンケージ — エンティティ解決

顧客名寄せ、住所・氏名の照合、ブロッキング、確率的リンケージ、統合後のID設計

表記ゆれの正規化 — 全半角・カナ・略称統一

全角半角統一、大文字小文字、カタカナ表記ゆれ、略称展開、Unicode正規化NFKC

型変換とパース — 数値・日付・真偽値

文字列から数値への変換、桁区切りと通貨記号、日付パース、真偽値表現の揺れ、型推定の検証

日付・時刻データ処理 — タイムゾーンと暦

ISO 8601、タイムゾーン変換、夏時間、和暦西暦変換、うるう年・月末処理、期間計算

単位・尺度の統一 — 換算と整合性確保

度量衡換算、通貨換算と為替レート時点、パーセントと比率の混在、単位注記の欠落対策

数値スケーリング — 標準化とMin-Max正規化

標準化、Min-Max正規化、ロバストスケーリング、対数変換、学習時と推論時の統計量共有

カテゴリ変数の処理 — エンコーディング各手法

one-hot、ラベル、順序、ターゲットエンコーディング、高カーディナリティと未知カテゴリ対策

テキストクリーニング — ノイズ除去とトークン化

HTMLタグ除去、絵文字・記号処理、ストップワード、トークン化、ステミングと見出し語化

日本語テキスト処理 — 形態素解析と分かち書き

形態素解析器、辞書選択、未知語対応、分かち書き、品詞フィルタ、固有名詞の扱い

正規表現の実務 — パターン抽出と置換

電話番号・メール・URLの抽出、置換による整形、貪欲マッチの罠、性能問題と可読性

画像データ前処理 — リサイズ・正規化・形式変換

リサイズとアスペクト比、画素値正規化、色空間変換、EXIF回転、破損画像の検出

音声データ前処理 — サンプリングとノイズ処理

サンプリングレート統一、無音区間除去、ノイズ低減、スペクトログラム変換、音量正規化

動画データ処理 — フレーム抽出とショット分割

フレーム抽出、キーフレーム選択、ショット境界検出、解像度・コーデック統一、字幕対応付け

表データの整形 — tidy dataと縦横変換

tidy dataの原則、ピボットとアンピボット、ヘッダ多段表の展開、セル結合の解消

データ結合の実務 — 結合キー設計とjoin

内部・外部結合、結合キーの粒度不一致、多対多結合の膨張、結合後の行数検算

集約とグループ化 — 粒度設計と要約統計

group byによる集約、粒度の統一、時間窓集約、加重平均、集約時の欠損の扱い

サンプリング設計 — 無作為・層化・系統抽出

無作為抽出、層化抽出、系統抽出、サンプルサイズ設計、母集団代表性の確認

クラス不均衡対策 — リサンプリングとSMOTE

オーバーサンプリング、アンダーサンプリング、SMOTE、クラス重み、評価指標の選び直し

データ拡張 — 画像・テキストのaugmentation

回転・反転・切り抜き、色変換、mixup、テキストの同義語置換・逆翻訳、拡張の副作用

特徴量エンジニアリング — 派生変数の設計

比率・差分・交互作用項、集約特徴量、日時からの周期特徴、ドメイン知識の変数化

特徴量選択 — フィルタ・ラッパー・埋め込み法

相関・相互情報量によるフィルタ、逐次選択、L1正則化、重要度に基づく削減、多重共線性

次元削減の前処理利用 — PCAと埋め込み

主成分分析、特異値分解、t-SNE/UMAPの可視化利用、埋め込みベクトルの特徴量化

訓練・検証・テスト分割 — ホールドアウトと交差検証

ホールドアウト、k分割交差検証、層化分割、グループ分割、分割の再現性とシード管理

データリーケージ防止 — 前処理と分割の順序

分割前のスケーリング禁止、ターゲット由来特徴の混入、重複レコードの分割跨ぎ検出

時系列データの分割 — 未来情報の遮断

時間順分割、ローリング検証、ルックアヘッドバイアス、特徴量計算時点の固定

アノテーション設計 — ガイドラインと定義策定

ラベル体系設計、境界事例の判断基準、ガイドライン文書化、パイロットラベリングと改訂

アノテーションツール — ラベリング基盤の選定

画像バウンディングボックス、セグメンテーション、テキストスパン付与、ツール選定と権限管理

ラベル品質管理 — アノテータ間一致率の測定

Cohenのκ係数、Fleissのκ、多重ラベリングと調停、アノテータ訓練、品質監査の設計

弱教師ありラベリング — ルールと遠距離監督

ラベリング関数、ヒューリスティックルール、遠距離監督、ラベルモデルによる統合、精度検証

能動学習 — ラベル付け対象の優先順位付け

不確実性サンプリング、多様性サンプリング、クエリ戦略、ラベリング予算の最適配分

モデル支援ラベリング — 事前ラベルと人手修正

既存モデルによる事前ラベル付け、人手修正フロー、確信度に応じた振り分け、確証バイアス対策

データ品質の評価軸 — 完全性・正確性・一貫性

完全性、正確性、一貫性、適時性、一意性、妥当性の6観点と品質指標の定量化

データプロファイリング — 統計要約と分布確認

基本統計量、ユニーク数、欠損率、分布ヒストグラム、列間相関、プロファイリングツール

バリデーションルール — 制約チェックの実装

値域・形式・参照整合性の制約、スキーマ検証、期待値テスト、違反レコードの隔離処理

スキーマ設計と進化 — 型定義と互換性管理

列の型・制約定義、スキーマレジストリ、後方互換な変更、スキーマドリフトの検知

探索的データ分析（EDA） — 可視化による点検

分布・散布図・箱ひげ図、欠損マップ、相関行列、異常パターン発見、仮説の洗い出し

SQLによるデータ整形 — 抽出・変換クエリ

SELECTによる抽出、CASE式変換、ウィンドウ関数、CTEによる段階整形、実行計画の確認

pandas実務 — DataFrame操作と落とし穴

読み込みオプション、欠損処理、merge/groupby、メソッドチェーン、コピー警告と型の罠

大規模データの分散処理 — Sparkによる変換

Apache Spark、パーティション設計、シャッフル最適化、遅延評価、メモリ管理と分散join

ETL/ELTパイプライン — 抽出・変換・ロード設計

ETLとELTの使い分け、バッチ設計、冪等な処理、変換ロジックのテスト、dbtによるELT

ワークフローオーケストレーション — DAGと依存管理

DAGによる依存定義、スケジューラ、Airflow等の運用、リトライ設計、失敗時の通知

ストリーミングデータ処理 — リアルタイム取り込み

メッセージキュー、Kafka、ウィンドウ集計、遅延到着データ、exactly-once処理

データレイク運用 — 生データの蓄積と管理

オブジェクトストレージ、ゾーン設計（raw/curated）、パーティション配置、レイクハウス

データウェアハウス — 分析用データの構造化

スタースキーマ、ディメンションとファクト、マート設計、列指向DB、集計テーブル運用

データカタログ — メタデータ管理と検索性

テーブル定義書、業務用語集、タグ付け、データオーナー明示、カタログツールの導入

データリネージ — 来歴追跡と影響分析

列レベルの来歴、変換履歴の自動収集、上流変更の影響分析、監査対応のための証跡

データバージョニング — 再現性のための版管理

データセットのバージョン付与、DVC等のツール、ハッシュによる同一性検証、実験との紐付け

再現可能な前処理 — スクリプト化と環境固定

ノートブックからスクリプトへの整理、乱数シード固定、依存関係固定、処理手順の文書化

前処理のパイプライン化 — 学習・推論の一貫性

scikit-learn Pipeline、変換器のfit/transform分離、直列化、推論時の前処理再現

特徴量ストア — 特徴量の共有と提供

オンライン/オフラインストア、特徴量の再利用、学習時と推論時の値の一致、鮮度管理

個人情報の取り扱い — PII検出と管理

氏名・住所・電話番号等のPII検出、アクセス制御、保持期間、個人情報保護法制への対応

匿名化・仮名化 — k-匿名性とマスキング

k-匿名性、l-多様性、マスキング、トークナイゼーション、再識別リスクの評価

データライセンス — 利用許諾と著作権の確認

クリエイティブ・コモンズ、商用利用可否、再配布条件、学習利用の許諾範囲、出所記録

収集の法と倫理 — 利用規約とrobots.txt

サイト利用規約、robots.txt、過度なアクセスの回避、公開情報と私的情報の線引き

データバイアスの点検 — 偏りの検出と緩和

サンプリングバイアス、測定バイアス、履歴バイアス、属性別分布の比較、収集段階での緩和策

データセットの文書化 — データシートとカード

収集方法・母集団・既知の限界の記載、データシート、データセットカード、利用上の注意

同意管理 — オプトインとデータ主体の権利

収集時の同意取得、オプトアウト対応、削除要求への対応、目的外利用の禁止、同意記録

センシティブ属性の扱い — 公平性への配慮

性別・人種等の保護属性、代理変数の混入、属性の収集可否判断、公平性評価用の保持

ノイズラベル対策 — 誤ラベルの検出と学習

信頼度による誤ラベル検出、confident learning、再ラベリング、ノイズ耐性のある損失関数

データドリフト監視 — 分布変化の検知

共変量シフト、ラベルシフト、分布距離指標、統計検定による検知、再学習トリガー設計

継続的データ検証 — パイプラインのテスト

取り込み時の自動検証、期待値スイートの回帰実行、異常時の隔離とアラート、CIへの組込み

データ品質監査 — KPI設定とレポーティング

品質KPIの定義、欠損率・違反率の推移監視、ダッシュボード化、是正プロセスの運用

マスタデータ管理 — 参照データの統一

商品・顧客・組織マスタの一元化、コード体系設計、参照整合性、マスタ変更の伝播管理

地理空間データ処理 — 座標系とジオコーディング

緯度経度と座標参照系、測地系変換、住所ジオコーディング、空間結合、GeoJSON/シェープ形式

時系列データの前処理 — リサンプリングと補間

等間隔化リサンプリング、欠測区間の補間、季節調整、ラグ特徴量、センサー時刻ずれ補正

グラフデータの整備 — ノード・エッジ抽出

関係データからのグラフ構築、ノード重複統合、エッジ重み設計、グラフDBへの取り込み

マルチモーダルデータ整備 — 画像・テキスト対応付け

画像とキャプションの対応付け、音声と書き起こしの整列、モダリティ間の欠損、ID設計

大規模コーパス構築 — Web由来テキストの浄化

Webアーカイブからの抽出、ボイラープレート除去、言語判定、有害・低品質文書のフィルタ

重複文書検出 — ハッシュとMinHashによる近似

完全一致ハッシュ、MinHash、LSH、n-gram重複、コーパス内・評価データ間の汚染検出

品質フィルタリング — 低品質データの自動除去

ヒューリスティックルール、分類器によるフィルタ、パープレキシティ基準、除去率と多様性の均衡

データ取り込みの自動化 — コネクタと増分更新

各種ソースコネクタ、増分ロードとCDC、冪等な再実行、スケジュール取り込みの監視

収集の堅牢化 — エラー処理とリトライ設計

タイムアウト、指数バックオフ付きリトライ、部分失敗の記録、チェックポイント再開、死活監視

ストレージとコスト管理 — 圧縮・階層化・保持方針

圧縮形式の選定、ホット/コールド階層化、ライフサイクルルール、保持期間、転送コストの最適化

データ中心AI — モデルよりデータの改善

データ品質改善による精度向上、エラー分析からのデータ修正、反復的なデータ改良サイクル

合成データの評価 — 忠実度と有用性の検証

実データとの分布比較、下流タスクでの有用性評価、プライバシー漏えい検査、過剰適合の兆候

プライバシー保護技術 — 差分プライバシーの応用

差分プライバシー、ノイズ付加、プライバシー予算、集計統計の保護、匿名化との使い分け

連合学習とデータ分散保有 — 集めない収集

フェデレーテッドラーニング、データを移動しない学習、参加組織間の分布差、通信コスト

データ共有と流通 — マーケットプレイスと契約

データ売買・共有基盤、データ利用契約、品質保証条項、提供側の匿名化義務、価格設計

クラウドデータ基盤 — マネージドサービスの活用

クラウドのストレージ・ETL・DWHマネージドサービス、権限設計、リージョン選択、コスト監視

LLM学習データの実務 — 事前学習と指示データ

事前学習コーパスの構成比、指示応答データ作成、人手フィードバック収集、汚染・重複対策

データ整備の組織論 — 役割分担と人材育成

データエンジニアとアナリストの分担、データスチュワード、ガバナンス体制、社内教育

データ収集・クリーニング実務 — 退避・古典資料archive

旧版の収集手順書、廃止ツールの記録、過去のスキーマ定義など歴史的資料の退避区分