未来予測の精度検証

学際科学・未来学 — 未来予測の精度検証 概要

学際科学・未来学分野の未来予測の精度検証領域の概要と入門ガイド

未来予測の精度検証

予測値や確率を実際の結果と比較し、誤差、較正、実用性を評価すること。

予測対象の定義

何を、どの単位で、どの時点について予測したかを明確にすること。

予測期間

予測を行った時点から結果が観測される時点までの長さ。

実績値との比較

予測対象について後に観測された値や事象を、予測結果と対応づけること。

標本外評価

モデル構築に使用していないデータで、予測性能を検証すること。

バックテスト

過去の時点へ戻ったと仮定して予測を作り、その後の実績と比較する方法。

ローリング起点評価

予測開始時点を順次移動させ、複数期間にわたる性能を検証する方法。

ベースライン予測

高度な予測手法と比較するために設定する、単純または標準的な予測。

ナイーブ予測

直近値の継続や前年同期値の反復など、最小限の仮定で作る予測。

平均絶対誤差（MAE）

予測値と実績値の差の絶対値を平均した誤差指標。

二乗平均平方根誤差（RMSE）

予測誤差の二乗平均の平方根で、大きな誤差を強く反映する指標。

平均絶対パーセント誤差（MAPE）

実績値に対する絶対誤差の割合を平均した指標。

対称平均絶対パーセント誤差（sMAPE）

予測値と実績値の規模を対称的に考慮して相対誤差を測る指標。

予測バイアス

予測が実績より一貫して高い、または低い方向へ偏ること。

方向予測精度

上昇、下降、横ばいなど、変化方向を正しく予測できた割合。

予測区間被覆率

実績値が事前に示した予測区間へ入った割合。

確率予測の較正

付与した予測確率と、同程度の確率を付けた事象の実際の発生頻度が一致する性質。

予測の鋭さ

較正を保ちながら、予測分布や予測区間が狭く明確である程度。

ブライア・スコア

二値事象の予測確率と実際の結果の二乗誤差を平均した指標。

対数スコア

実際に起きた結果へ割り当てた予測確率を対数で評価する指標。

連続順位確率スコア（CRPS）

予測分布全体と実績値の差を測る、連続値向けの確率予測指標。

識別能力

発生する事象と発生しない事象に、異なる予測確率を適切に与える能力。

混同行列

事象予測を真陽性、偽陽性、真陰性、偽陰性に分類して示す表。

ROC曲線とAUC

判定閾値ごとの真陽性率と偽陽性率から、分類予測の識別能力を評価する方法。

稀少事象の評価

発生頻度の低い事象について、適合率、再現率、確率スコアなどで性能を検証すること。

サブグループ別精度

地域、属性、状況などの集団ごとに予測誤差と較正を確認すること。

アンサンブル予測の評価

複数予測の組合せが、個別予測より精度と安定性を改善したか検証すること。

予測性能差の検定

複数手法の誤差差が、偶然の変動では説明しにくいか統計的に検討すること。

予測アーカイブ

予測日時、内容、確率、根拠、更新履歴を事前に保存し、事後検証を可能にする仕組み。

検証からの学習

予測の成功と失敗を分析し、データ、モデル、判断、運用方法を改善すること。