ハイパーパラメータチューニング設計

ハイパーパラメータチューニング設計 — 概要

探索空間設計、探索アルゴリズム、検証戦略、予算配分、再現性まで、モデル性能を左右する調整全工程の入門ガイド

パラメータとハイパーパラメータ — 学習で決まる値と人が定める値の区別

重み・バイアスと学習率・正則化係数の違い、外側ループでの決定、モデル選択問題としての定式化

探索空間の設計 — 範囲・分布・スケールの事前定義

上下限設定、一様分布と対数一様分布、事前知識の反映、過大な空間による探索効率低下の回避

連続・離散・カテゴリ変数 — 型に応じたサンプリング設計

実数値、整数値、カテゴリ選択の各型、順序の有無、ワンホット扱い、混合空間での距離定義

対数スケール探索 — 桁が変わるパラメータの扱い

学習率、正則化係数、SVMのC・γなど桁で効く量、log-uniform分布、10のべき乗による粗い掃引

条件付き探索空間 — 選択に依存する階層構造

オプティマイザ選択に従属する係数、カーネル選択に従属するγ、木構造空間、有効・無効パラメータの管理

検証戦略の設計 — ホールドアウトと分割比率

訓練・検証・テストの三分割、分割比率の選択、検証セット規模と評価分散、テストセット封印の原則

交差検証 — k-foldによる安定した性能推定

k-fold、stratified k-fold、繰り返しCV、fold数と計算コストの均衡、平均と分散の報告

ネストした交差検証 — 選択バイアスを避ける二重ループ

内側ループでの調整と外側ループでの評価、楽観バイアスの排除、小規模データでの信頼できる比較

時系列・グループ分割 — リークを防ぐ分割設計

時系列の前方検証、rolling window、GroupKFold、同一被験者の混入防止、データリーク事例

評価指標の選定 — 目的関数と業務目標の整合

精度、F1、AUC、対数損失、RMSEの使い分け、不均衡データでの指標選択、最適化対象の一貫性

グリッドサーチ — 全組合せの網羅探索

格子点の全評価、次元の呪いによる組合せ爆発、粗い格子から細分化する多段戦略、少数次元での有効性

ランダムサーチ — 重要次元に効率的な無作為探索

一様乱数サンプリング、低有効次元性での優位、BergstraとBengioの比較研究、試行数と被覆率

ベイズ最適化の基礎 — 代理モデルと獲得関数の反復

ブラックボックス最適化、代理モデル構築、獲得関数最大化、観測追加のループ、少試行での効率

ガウス過程代理モデル — 不確実性つき性能予測

カーネル関数、平均関数、予測分散、Matérnカーネル、計算量の三乗スケーリングと近似法

獲得関数 — 探索と活用の均衡設計

期待改善量EI、改善確率PI、上側信頼限界UCB、知識勾配、エントロピー探索、貪欲さの調整

TPE — 木構造Parzen推定器による探索

良否二群の密度比モデル、カーネル密度推定、条件付き空間への適合、HyperoptやOptunaでの採用

SMAC — ランダムフォレスト代理モデル最適化

回帰森による性能予測、カテゴリ変数の自然な扱い、アルゴリズム構成問題、AutoML基盤での利用

逐次半減法 — 予算を絞り込む早期打ち切り

Successive Halving、候補集合の段階的淘汰、少予算評価から有望候補へ資源集中、打ち切り率設計

Hyperband — 多腕バンディットの多段予算配分

逐次半減の複数ブラケット実行、探索幅と深さのトレードオフ緩和、最小・最大予算とη係数の設計

BOHB — ベイズ最適化とHyperbandの統合

TPE型モデルによる候補生成とHyperband型予算配分の併用、序盤の効率と終盤の精度の両立

ASHA — 非同期逐次半減による並列探索

同期待ちを排した昇格判定、大規模ワーカーでのスケーリング、ストラグラー耐性、Ray Tuneでの実装

進化計算による探索 — 遺伝的アルゴリズムの応用

個体集団、選択・交叉・突然変異、エリート保存、世代数と集団サイズ、並列評価との親和性

CMA-ES — 共分散行列適応進化戦略

多変量正規分布の適応更新、ステップサイズ制御、連続空間での頑健性、微分不能目的関数への適用

Population Based Training — 学習中の複製と変異

並走する学習集団、低性能個体の重み複製とパラメータ摂動、スケジュール自体の獲得、強化学習での活用

勾配ベースのハイパーパラメータ最適化 — ハイパー勾配の利用

二段階最適化、検証損失のハイパーパラメータ微分、陰関数微分、逆伝播の逆再生、連続緩和

準乱数系列による設計 — 低食い違い量列の活用

Sobol列、Halton列、Latin Hypercube法、空間の均一被覆、ランダムサーチとの被覆効率比較

実験計画法の応用 — 直交表と応答曲面

要因計画、直交表による水準組合せ削減、応答曲面法、一因子実験の限界、交互作用の検出

多目的チューニング — 精度と速度のパレート最適

推論レイテンシ、モデルサイズ、精度の同時最適化、パレートフロント、スカラー化、NSGA-II系手法

制約付き最適化 — 資源制約下の探索設計

メモリ上限、学習時間上限、公平性制約、実行不能領域の扱い、制約充足を組み込む獲得関数

メタ学習ウォームスタート — 過去タスクからの転移

類似データセットの最良設定を初期候補化、メタ特徴量、転移代理モデル、探索の立ち上がり短縮

学習率 — 最重要ハイパーパラメータの探索

収束速度と発散の境界、損失曲線からの診断、レンジテスト、オプティマイザ別の典型値域

学習率スケジュール — 減衰計画の設計

ステップ減衰、指数減衰、コサインアニーリング、多項式減衰、再開型スケジュール、終端学習率の選択

ウォームアップ — 学習初期の段階的立ち上げ

線形ウォームアップ、ステップ数の選択、大バッチ学習やTransformer学習での安定化効果

サイクリカル学習率 — 周期的変動による探索

三角波CLR、One-Cycleポリシー、学習率レンジテストによる上限決定、超収束の報告例

バッチサイズ — 汎化・速度・学習率の相互作用

大バッチと汎化ギャップ、線形スケーリング則、勾配ノイズ、勾配累積、メモリ制約との折り合い

オプティマイザ選択 — SGD系とAdam系の使い分け

SGD、Momentum、Nesterov、RMSprop、Adam、AdamWの特性比較、タスク別の定番構成

Adamの係数調整 — β1・β2・εの設計

一次・二次モーメント減衰率、ε の数値安定性への影響、既定値の由来、大規模学習での変更例

重み減衰 — L2正則化と分離型減衰

weight decay係数の探索、AdamにおけるL2との非等価性、decoupled weight decay、適用除外層

モーメンタム — 慣性項による学習安定化

係数0.9前後の慣行、Nesterov加速、学習率との連動調整、振動抑制と谷通過の効果

勾配クリッピング — 勾配爆発の抑制設計

ノルムクリッピングと値クリッピング、閾値の選択、RNN・Transformer学習での必要性、監視指標

ドロップアウト率 — 確率的正則化の強度設計

率0.1〜0.5の典型域、層別設定、埋め込み・注意・FFN各所への適用、推論時スケーリング

正規化層の設定 — BatchNorm・LayerNormの調整

BNのmomentumとε、小バッチでの劣化、LayerNorm・GroupNormへの代替、配置順の影響

重み初期化 — 分散設計と学習率の関係

Xavier初期化、He初期化、直交初期化、深さに応じた分散スケーリング、初期化と学習率の連動

ラベルスムージング — ソフトターゲットの係数設計

平滑化係数εの選択、過信抑制と較正への効果、蒸留との関係、悪影響が出るタスクの見極め

早期終了 — 過学習を防ぐ打ち切り規則

patience、監視指標、最良重みの復元、改善判定の最小差分、正則化としての解釈

エポック数と学習予算 — 収束判定と打ち切り

学習曲線の平坦化判定、総ステップ数とスケジュールの整合、過学習開始点の検出、予算固定比較

ネットワーク幅と深さ — 構造パラメータの設計

層数、ユニット数、チャネル数の探索、容量と過学習、幅優先か深さ優先か、複合スケーリング

埋め込み次元と語彙 — 表現容量の設計

埋め込み次元数、語彙サイズ、サブワード分割粒度、パラメータ数への寄与、次元と精度の飽和

活性化関数の選択 — 非線形性の設計比較

ReLU、LeakyReLU、ELU、GELU、Swishの比較、勾配消失・死んだユニット、タスク別慣行

データ拡張ポリシーの調整 — 拡張強度の探索

AutoAugment、RandAugment、mixup・CutMixの係数、拡張強度と正則化効果、探索コスト削減

決定木系のパラメータ — 分割制御の設計

最大深さ、最小サンプル数、葉数上限、分割基準、ランダムフォレストの本数と特徴量サンプリング

勾配ブースティングの調整 — XGBoost・LightGBMの主要項

num_leaves、max_depth、min_child_weight、正則化λ・α、ヒストグラムbin数の調整

シュリンケージと木の本数 — 学習率との交換関係

eta縮小と反復回数増加の交換、早期終了ラウンド、過学習曲線の監視、実務での二段調整手順

サブサンプリング — 行・列の確率的選択

subsample、colsample_bytree、バギング頻度、分散低減と正則化、確率的勾配ブースティング

SVMの調整 — C・γ・カーネルの選択

正則化Cとマージン、RBFカーネル幅γ、グリッドの対数設計、スケーリング前処理の必須性

k近傍法とクラスタリングの調整 — kと距離の選択

近傍数k、距離尺度、重み付け方式、k-meansのクラスタ数選択、エルボー法・シルエット係数

線形モデルの正則化 — Ridge・Lasso・ElasticNet

正則化強度α、L1比率、正則化パス、交差検証つき推定器、スパース性と多重共線性への対処

クラス不均衡への調整 — 重みと閾値の設計

class_weight、scale_pos_weight、決定閾値の最適化、オーバー・アンダーサンプリング率

Transformerの構造調整 — 注意機構まわりの設計

ヘッド数、層数、FFN中間次元、文脈長、注意・残差ドロップアウト、学習率とウォームアップの定番

事前学習モデルの微調整 — 転移学習の設定設計

小さい学習率、層別学習率減衰、層凍結と段階解凍、少エポック運用、破滅的忘却の抑制

LoRA・PEFTの調整 — 低ランク適応の設計

ランクr、スケーリングα、適用対象層の選択、ドロップアウト、全微調整との精度・コスト比較

強化学習のハイパーパラメータ — 探索と更新の設計

割引率γ、探索率εの減衰、リプレイバッファ容量、ターゲット更新頻度、PPOのクリップ幅

GAN学習の調整 — 均衡を保つ設定

生成器と識別器の学習率比、更新回数比、勾配ペナルティ係数、モード崩壊と発散の診断

自己教師あり学習の調整 — 対照学習の係数設計

温度係数、拡張の強度と組合せ、大バッチ・負例数、モーメンタムエンコーダ係数、射影ヘッド次元

推論時パラメータの調整 — 生成制御の設計

サンプリング温度、top-k・top-p、ビーム幅、繰り返しペナルティ、学習時設定との区別

Optuna — define-by-run型の最適化フレームワーク

suggest API、TPE・CMA-ESサンプラー、プルーナーによる枝刈り、可視化、RDBによる分散実行

Ray Tune — 分散チューニング基盤

スケジューラASHA・PBT、探索アルゴリズムの差し替え、クラスタ実行、チェックポイント連携

Hyperopt — TPE実装と並列探索

fmin API、探索空間記述、TPEとランダム探索、MongoDB経由の並列試行、SparkTrials連携

scikit-learnの探索API — CV統合探索の実装

GridSearchCV、RandomizedSearchCV、HalvingGridSearchCV、Pipeline統合、refit挙動

Keras Tuner — 深層学習向け探索ツール

HyperModel定義、RandomSearch・Hyperband・ベイズ最適化チューナー、条件付き空間の記述

Google Vizier — 大規模ブラックボックス最適化サービス

スタディとトライアルの管理、転移学習つき既定アルゴリズム、社内サービス型HPOの設計思想

実験管理ツールとの連携 — 試行記録の一元化

MLflowのラン記録、Weights & Biasesのスイープ、指標ロギング、成果物保存、比較ダッシュボード

設定管理 — 構成ファイルによる実験の分離

Hydraの階層設定と多重実行、YAML・JSON設定、コマンドライン上書き、設定と結果の対応保存

試行の枝刈り — 中間評価による早期停止

中央値プルーナー、パーセンタイル基準、中間指標の報告間隔、打ち切りの偽陰性リスク管理

学習曲線外挿 — 収束予測による打ち切り判定

曲線のパラメトリック当てはめ、最終性能の予測、見込み薄試行の停止、多忠実度最適化との接続

並列化と非同期探索 — 分散資源の活用設計

同期・非同期バッチ提案、ワーカー数と探索効率、GPUキュー管理、獲得関数の並列拡張

チェックポイント再利用 — 重み引き継ぎ探索

途中重みからの再開、freeze-thaw型ベイズ最適化、PBTの複製戦略、保存容量と入出力コスト

ハイパーパラメータ重要度分析 — 感度の定量化

fANOVAによる分散分解、部分依存プロット、重要度に基づく空間縮小、交互作用の検出

アブレーション研究 — 要素別寄与の切り分け

一要素除去比較、既定値との差分検証、調整由来と手法由来の性能向上の分離、報告の作法

探索予算の設計 — 試行数と資源の配分計画

総GPU時間の見積り、粗探索と精探索の二段配分、締切駆動の打ち切り、追加試行の限界効用

検証セットへの過適合 — 多重比較の罠

多数試行による楽観バイアス、テストセット汚染、再分割・再サンプリングによる確認、報告時の注意

乱数シードと性能分散 — 偶然と実力の区別

複数シード実行、初期化・シャッフル由来の分散、平均と標準偏差の併記、単一試行報告の危険

統計的比較の手続き — 有意性と効果量

対応ありt検定、Wilcoxon検定、多重比較補正、信頼区間、ベンチマーク間の順位集計

再現性の確保 — 設定と環境の完全記録

シード固定、決定的演算設定、ライブラリ版数固定、設定ファイル・コミットIDの保存、追試手順書

既定値の設計 — 頑健なデフォルトの提供

広範なタスクで通用する初期設定、推奨レンジの文書化、ライブラリ既定値の根拠、無調整時の性能保証

設定の転移 — 小規模実験から本番規模へ

縮小データ・縮小モデルでの調整と本番移植、代理タスク設計、規模依存で変わる設定の見極め

μP（Maximal Update Parametrization） — 幅に不変な設定転移

幅方向スケーリングで学習率最適値を保つパラメータ化、小モデル調整の大モデル転用、Tensor Programs系研究

スケーリング則との関係 — 規模拡大時の設定変化

モデル・データ・計算量の拡大に伴う最適学習率やバッチサイズの変化、計算最適な配分の考え方

AutoMLパイプライン最適化 — モデル選択との同時探索

CASH問題、前処理・特徴量・モデル・設定の結合空間、auto-sklearn型システム、アンサンブル構築

ニューラルアーキテクチャ探索 — 構造探索との境界

NASとHPOの連続性、探索空間としてのセル構造、微分可能探索、重み共有、評価コストの共通課題

HPOベンチマーク — 手法比較の共通基盤

表形式・サロゲート型ベンチマーク、事前計算済み評価による高速比較、手法間の公平な予算統一

計算コストと環境負荷 — 効率的チューニングの倫理

電力・CO2排出の見積り、Green AIの提言、探索コストの報告慣行、低予算でも競える手法選択

連合学習・プライバシー制約下の調整 — 分散データでの探索

クライアント数・参加率・局所エポックの調整、差分プライバシー係数と精度の交換、通信予算の制約

オンライン・継続的チューニング — 運用中の適応

データドリフト下の再調整、バンディットによる本番設定切替、A/Bテスト連携、再学習トリガ設計

最適化の理論的側面 — 収束保証と後悔解析

ベイズ最適化の後悔上界、GP-UCBの理論、探索空間次元と試行数の関係、ノーフリーランチ定理

バンディットアルゴリズムの応用 — 逐次意思決定としての調整

UCB、トンプソン抽出、ベストアーム識別、固定予算・固定信頼度設定、HyperbandのB理論背景

人手チューニングの技法 — 経験則と診断駆動の調整

一変数掃引、損失曲線・勾配ノルムの観察、過学習と学習不足の切り分け、格子の段階的細分

教育と実務入門 — チューニング技能の習得

教科書・講義資料、Kaggle等コンペでの実践、可視化ツールによる直観形成、失敗事例からの学習

ハイパーパラメータチューニング設計 — 退避・古典資料archive

旧世代ツールの記録、更新停止したライブラリの資料、歴史的な探索手法比較論文の保管庫