MLOps運用実務（CI/CDfor）

MLOps運用実務（CI/CDfor） — 概要

機械学習モデルの開発から本番運用までを継続的に回すMLOpsの全体像と、CI/CD/CTの基本を学ぶ入門ガイド

MLOpsの定義 — 成熟度モデルと導入段階

手動運用からパイプライン自動化、CI/CD完全自動化までの成熟度レベル、組織導入のロードマップ

DevOpsとMLOpsの差異 — データとモデルの三軸管理

コード・データ・モデルの三位一体バージョニング、実験的性質、テストと劣化監視の違い

MLパイプライン設計 — 学習から配備までの工程分割

データ取得、前処理、学習、評価、登録、配備の各ステップ分割と依存関係、DAG設計の原則

データバージョン管理 — DVCとデータ系譜の追跡

DVC、Git LFS、スナップショット方式、データセットのハッシュ管理、リネージ追跡の実務

特徴量ストア — オンライン/オフライン特徴量の一元管理

Feastなどの特徴量ストア、特徴量の再利用、鮮度管理、オンライン配信とバッチ提供の統一

実験管理 — 実験トラッキングとメトリクス記録

ハイパーパラメータ、メトリクス、成果物の記録、実験比較、MLflow TrackingやW&Bの活用

モデルレジストリ — バージョン登録と昇格管理

モデルのバージョン管理、ステージング/本番の昇格フロー、承認ワークフロー、署名と改ざん防止

ML向けCI — 継続的インテグレーションの拡張

コード単体テストに加えデータ検証・モデル学習テストを含むCI、パイプライン自体のビルド検証

ML向けCD — 継続的デリバリーと自動配備

モデル成果物の自動パッケージング、推論サービスへの段階的リリース、承認ゲート付き配備

継続的トレーニング（CT） — 自動再学習の仕組み

新着データによる定期再学習、性能低下トリガー再学習、自動評価と自動昇格の設計

コンテナ化 — Dockerによる学習・推論環境の固定

Dockerfileによる依存固定、学習用/推論用イメージ分離、イメージレジストリ運用、脆弱性スキャン

Kubernetes運用 — MLワークロードのオーケストレーション

Pod/Job/Deploymentによる学習・推論の実行、ノードプール設計、GPUノードのスケジューリング

ワークフローオーケストレータ — Airflow/Prefectの活用

Apache Airflow、Prefect、DagsterによるDAG定義、スケジュール実行、リトライとバックフィル

Kubeflow — Kubernetes上のMLパイプライン基盤

Kubeflow Pipelines、コンポーネント定義、Katibによるチューニング、Notebookサーバ運用

MLflow — 実験・モデル・配備の統合管理

MLflow Tracking/Projects/Models/Registryの四機能、アーティファクトストア、サービング連携

モデルサービング方式 — オンライン/バッチ/ストリーム

リアルタイム推論、バッチ推論、ストリーミング推論の選択基準、レイテンシとスループットの要件整理

推論API設計 — REST/gRPCインタフェース実装

RESTとgRPCの使い分け、入出力スキーマ定義、バッチリクエスト、タイムアウトとリトライ設計

サービング基盤 — TF Serving/Triton/TorchServe

TensorFlow Serving、NVIDIA Triton、TorchServe、KServeの特徴比較とモデル配置運用

サーバーレス推論 — FaaSによる推論の従量運用

AWS LambdaやCloud Functionsでの推論、コールドスタート対策、モデルサイズ制約と費用特性

エッジデプロイ — 端末・組込機器へのモデル配備

TensorFlow LiteやONNX Runtimeによる端末推論、OTA更新、機器差異対応、オフライン動作

A/Bテスト — モデル比較のオンライン実験

トラフィック分割、統計的有意性の判定、ガードレール指標、実験期間とサンプルサイズ設計

段階的リリース — カナリア/シャドー/ブルーグリーン

カナリアリリース、シャドーデプロイ、ブルーグリーン切替の使い分けと失敗時の即時切戻し

モデルモニタリング — 本番性能の継続監視

精度・再現率などの遅延評価、プロキシ指標、予測分布の監視、ダッシュボードによる可視化

データドリフト検知 — 入力分布変化の検出

KLダイバージェンス、PSI、KS検定による分布比較、特徴量ごとのドリフトスコア、閾値設計

コンセプトドリフト — 入出力関係の変化への対応

突発型・漸進型・周期型ドリフトの分類、ラベル遅延下での検知、適応学習とウィンドウ戦略

再学習トリガー設計 — いつ再学習を起動するか

定期スケジュール、性能閾値、ドリフト検知、データ量到達など複合トリガーの設計と誤発火抑制

モデル劣化管理 — 寿命把握と廃止プロセス

モデル陳腐化の監視、廃止基準、後継モデルへの移行手順、非推奨化のアナウンスと猶予期間

ロールバック戦略 — 不良モデルの即時切戻し

旧バージョン保持ポリシー、ワンクリック切戻し、切戻し後の原因分析、データ側劣化との切り分け

パイプラインテスト — 単体・統合・E2Eの階層設計

前処理関数の単体テスト、ステップ間統合テスト、小データでのE2E実行、スモークテスト

データバリデーション — 学習前のデータ品質検査

欠損率・型・値域・カーディナリティの検査、期待値定義、Great ExpectationsやTFDVの活用

モデル品質ゲート — 昇格前の自動合否判定

最低精度基準、既存モデルとの比較勝敗、スライス別性能、公平性チェックを含む合否ゲート設計

スキーマ検証 — 入出力契約の固定と互換性管理

特徴量スキーマの明文化、後方互換性の検査、スキーマ進化のルール、破壊的変更の検出

学習再現性 — 同一結果を再現する環境整備

コード・データ・設定・環境の四要素固定、実行記録の完全保存、再実行による検証手順

決定性の確保 — 乱数シードと非決定演算の制御

乱数シード固定、GPU非決定演算の扱い、データシャッフル順の固定、許容誤差付き比較

依存関係管理 — Python環境とライブラリ固定

requirements/lockファイル、conda環境、仮想環境の使い分け、CUDA/ドライバ版数の整合

IaC — ML基盤のインフラをコードで管理

TerraformやCloudFormationによるGPUクラスタ・ストレージ・ネットワークの宣言的構築

GitOps — Gitを単一情報源とする配備運用

ArgoCDやFluxによる宣言的デプロイ、モデル設定のGit管理、プルリク駆動の本番反映

CIツール活用 — GitHub Actions/GitLab CIのML適用

プッシュ時の学習ジョブ起動、セルフホストGPUランナー、キャッシュ戦略、成果物の受け渡し

Jenkins運用 — 既存CI基盤へのMLジョブ統合

Jenkinsパイプラインでの学習ジョブ、プラグイン活用、レガシー環境とクラウドの橋渡し

アーティファクト管理 — モデル成果物の保管と配布

モデルファイル・前処理器・評価レポートの保存、オブジェクトストレージ運用、保持期間ポリシー

メタデータ管理 — 実行履歴とリネージの記録

ML Metadataによる系譜追跡、どのデータでどのモデルが作られたかの遡及、監査対応

ハイパーパラメータ探索 — 自動チューニングの運用

Optuna、Ray Tuneによるグリッド/ベイズ最適化、並列試行、早期打切り、探索予算管理

AutoML統合 — 自動機械学習のパイプライン組込み

特徴量生成・モデル選択・チューニングの自動化、AutoML成果物の検証と本番昇格の統制

分散学習基盤 — マルチGPU/マルチノード学習運用

データ並列・モデル並列、HorovodやPyTorch DDP、ジョブ失敗時のチェックポイント再開

GPUリソース管理 — 割当・キューイング・共有

GPUクォータ、ジョブキュー、優先度スケジューリング、MIGによる分割、利用率の可視化

学習コスト最適化 — スポット活用と実行効率化

スポット/プリエンプティブルインスタンス、チェックポイント戦略、混合精度学習、費用配賦

推論コスト最適化 — 単価とスループットの改善

インスタンスサイズ選定、バッチング、リクエスト集約、CPU/GPU使い分け、費用対効果測定

モデル軽量化運用 — 量子化・蒸留・枝刈りの適用

INT8量子化、知識蒸留、プルーニングの本番適用手順、精度劣化の検証と許容基準

モデル交換形式 — ONNXによる可搬性確保

ONNX変換、フレームワーク間の互換性検証、ONNX Runtimeでの推論、演算子対応の確認

バッチ推論 — 大量データの定期スコアリング

夜間バッチのスケジューリング、分散スコアリング、結果テーブルへの書込み、失敗時の再実行

ストリーミング推論 — Kafka等イベント駆動の推論

Kafka/Pub-Sub連携、ストリーム処理基盤との統合、順序保証、遅延イベントの扱い

特徴量一貫性 — 学習時と推論時の計算統一

前処理ロジックの共通ライブラリ化、オンライン/オフライン特徴量の一致検証、二重実装の排除

学習・推論スキュー — 訓練/本番の乖離検出

training-serving skewの原因分類、特徴量分布の突合、ログ再学習ループの汚染防止

ログと可観測性 — 推論リクエストの記録設計

予測ログ・特徴量ログの保存、構造化ログ、トレーシング、サンプリング、個人情報のマスキング

メトリクス監視 — Prometheus/Grafanaによる計測

レイテンシ・QPS・エラー率のメトリクス収集、Grafanaダッシュボード、モデル指標の併載

アラート設計 — 異常通知とオンコール体制

閾値/異常検知型アラート、通知経路、疲弊を防ぐ重要度設計、ランブック整備、当番運用

SLA/SLO設計 — 推論サービスの品質目標

可用性・レイテンシのSLO設定、エラーバジェット運用、モデル精度をSLOに含める是非の議論

負荷試験 — 推論基盤のキャパシティ検証

負荷生成ツールによる限界測定、スパイク耐性、キャパシティプランニング、ボトルネック特定

オートスケーリング — 需要変動への自動追従

HPA/KEDAによる水平スケール、GPU推論のスケール特性、ゼロスケール、ウォームプール

MLセキュリティ — モデルとデータの防御

モデル窃取・敵対的入力・データ汚染への対策、推論APIの認証、モデルファイルの署名検証

シークレット管理 — 認証情報の安全な受け渡し

VaultやSecrets Managerによる鍵管理、環境変数の危険性、ローテーション、最小権限化

アクセス制御 — RBAC/IAMによる権限設計

データ・モデル・パイプラインごとの権限分離、役割ベース制御、本番昇格権限の分掌

監査ログ — 変更履歴と説明責任の確保

誰がいつどのモデルを配備したかの記録、改ざん耐性、規制監査への証跡提出、保持期間

モデルガバナンス — 組織的な統制フレーム

モデル台帳、リスク分類、承認委員会、定期レビュー、シャドーモデルの検出と管理

モデルカード — モデル文書化の標準実務

用途・学習データ・性能・制約・想定外利用の明記、データシート、利害関係者への開示

責任あるAI運用 — 倫理チェックの工程組込み

リリース前倫理レビュー、有害出力の監視、苦情対応フロー、人間による最終判断の担保

プライバシー保護 — 個人データの取扱い実務

PII検出とマスキング、仮名化・匿名化、差分プライバシー、削除要求への対応とモデル影響

データパイプライン — ETL/ELTと学習データ供給

抽出・変換・格納の設計、増分処理、冪等性、dbtやSparkによる変換、学習用データマート

データ品質監視 — 供給データの継続的検査

鮮度・完全性・一意性の監視、上流変更の検知、品質SLA、破損データの隔離と通知

データ基盤連携 — レイク/ウェアハウスとの接続

データレイク、DWH、レイクハウス構成、Parquet/Delta形式、学習ジョブからの効率的読出し

SageMaker運用 — AWSのマネージドML基盤

SageMakerの学習ジョブ、エンドポイント、Pipelines、Model Monitorによる運用自動化

Vertex AI/Azure ML — GCP・Azureの基盤活用

Vertex AI Pipelines、Azure MLのワークスペース運用、マネージドエンドポイント比較

オンプレML基盤 — 自社設備での学習・推論運用

GPUサーバ調達、Kubernetes自前運用、データ主権要件、閉域網での配備、電力・冷却の考慮

ハイブリッド運用 — マルチクラウド・越境の設計

クラウド間のモデル可搬性、データ転送コスト、ベンダーロックイン回避、共通抽象レイヤ

チーム体制 — DS/MLエンジニア/SREの役割分担

データサイエンティストとMLエンジニアの分業、プラットフォームチーム、責任境界の明確化

本番引き渡し — 研究から運用への移管プロセス

ハンドオフ基準書、運用受入テスト、ドキュメント要件、引き渡し後のサポート体制

ノートブック脱却 — 実験コードの本番コード化

Jupyterからモジュール化への移行、リファクタリング手順、papermillによるノートブック実行

MLコードレビュー — 機械学習特有の観点

データリーク、ラベル漏洩、評価指標の妥当性、前処理の副作用など通常レビューに加える確認点

三位一体バージョニング — コード・データ・モデルの対応

コミットとデータ版とモデル版の対応表管理、タグ運用、任意時点の完全復元の実現

昇格ワークフロー — 実験から本番への段階管理

開発・ステージング・本番の環境分離、昇格条件、承認者設定、環境間の設定差分管理

実行スケジューリング — 定期・イベント駆動の起動

cron定期実行、データ到着イベント起動、依存ジョブ待ち合わせ、実行時間帯とリソース調整

インシデント対応 — 推論障害の検知から復旧まで

障害検知、影響範囲特定、暫定対応（フォールバック）、恒久対応、ポストモーテムの実施

災害復旧 — バックアップとDR設計

モデル・データ・メタデータのバックアップ、RTO/RPO設定、リージョン障害時の切替訓練

マルチテナント推論 — 複数顧客・複数モデルの同居

テナント分離、モデルの動的ロード、リソース隔離、ノイジーネイバー対策、課金メータリング

アンサンブル運用 — 多段・複合モデルの本番管理

カスケード推論、モデルルーティング、フォールバックモデル、複合構成のバージョン整合

リアルタイム特徴量 — 低遅延での特徴量計算

ストリーム集計、オンライン特徴量ストア、キー・バリューストア活用、鮮度と遅延のトレードオフ

キャッシング戦略 — 推論結果と特徴量の再利用

予測結果キャッシュ、埋め込みキャッシュ、TTL設計、キャッシュ無効化とモデル更新の同期

レイテンシ最適化 — 推論高速化の実務手法

動的バッチング、モデルコンパイル、TensorRT活用、ウォームアップ、p99レイテンシの改善

LLMOps — 大規模言語モデルの運用特性

推論コストとGPUメモリ、トークン課金管理、出力品質監視、ガードレール、応答キャッシュ

プロンプト管理 — プロンプトの版管理と評価

プロンプトのバージョニング、テンプレート管理、回帰評価、A/B比較、変更履歴の追跡

RAG運用 — 検索拡張生成パイプラインの保守

ベクトルDBの索引更新、埋め込みモデル差替え、検索品質評価、文書鮮度とチャンク戦略

ファインチューニング運用 — 追加学習の反復管理

LoRAなど軽量追加学習の管理、学習データ整備、ベースモデル更新への追随、版数管理

評価自動化 — ベンチマークと回帰評価の仕組み

評価データセットの固定と更新、自動ベンチマーク実行、スライス評価、リーダーボード運用

フェアネス監視 — 公平性指標の継続測定

属性別性能差の監視、デモグラフィックパリティ等の指標、バイアス検出時の是正プロセス

グリーンAI — 省エネルギーなML運用

学習・推論の電力消費計測、カーボンフットプリント報告、効率的なモデル選択、再エネ活用

規制対応 — AI関連法規とMLOpsの接点

EU AI Actのリスク区分と文書化義務、GDPRの自動意思決定条項、記録保持要件への実装対応

MLOps教育 — 人材育成とスキル標準

クラウド各社のML資格、社内トレーニング設計、DS向け運用教育、SRE向けML基礎教育

コミュニティ動向 — カンファレンスとOSSの潮流

MLOps関連カンファレンス、OSSエコシステムの変遷、ベンダー動向、事例共有文化の形成

MLOps運用実務（CI/CDfor） — 退避・古典資料archive

旧世代ツールの資料、廃止済み手法の記録、過去バージョンの運用手順書などのアーカイブ