確率的グラフィカルモデル理論（ベイズネット等）

確率的グラフィカルモデル理論（ベイズネット等） — 概要

確率分布をグラフ構造で表現するベイジアンネットワーク・マルコフ確率場等の表現・推論・学習の入門ガイド

ベイジアンネットワーク基礎 — 有向非巡回グラフによる同時分布の分解

DAG、ノードと親子関係、条件付確率による同時分布の因数分解、局所マルコフ性、確率的推論の基盤

条件付確率表（CPT） — 離散変数ネットワークのパラメータ表現

親ノード状態ごとの条件付確率、パラメータ数の指数的増加、表の圧縮表現、決定木による構造化CPT

d分離 — 有向グラフ上の条件付独立性の判定基準

連鎖・分岐・合流の三型、ブロックされた経路、v構造と説明効果、条件付独立の読み取り規則

マルコフブランケット — 変数を遮蔽する最小近傍集合

親・子・共親の集合、他変数からの条件付独立、特徴選択への応用、ギブスサンプリングでの利用

マルコフ確率場（MRF） — 無向グラフィカルモデルの基礎

無向グラフ、近傍系と局所マルコフ性、大域マルコフ性、対称的依存関係の表現、格子モデル

因子グラフ — 変数と因子の二部グラフ表現

変数ノードと因子ノード、有向・無向モデルの統一表現、sum-productアルゴリズムの実行基盤

クリークとポテンシャル関数 — 無向モデルの因数分解単位

極大クリーク、非負ポテンシャル、ギブス分布、エネルギー関数表現、局所適合性の符号化

ハマースレー・クリフォードの定理 — マルコフ性とギブス分布の等価性

正値分布の条件、局所マルコフ性とクリーク因数分解の同値、無向モデル理論の基本定理

条件付確率場（CRF） — 条件付分布の識別的モデリング

線形連鎖CRF、素性関数と重み、系列ラベリング、HMMとの比較、識別モデルとしての利点

隠れマルコフモデル（HMM） — 潜在状態系列の確率モデル

遷移確率・出力確率・初期分布、評価・復号・学習の三問題、音声認識や系列解析の古典的基盤

カルマンフィルタ — 線形ガウス状態空間モデルの厳密推論

線形動的システム、予測と更新の再帰、カルマンゲイン、平滑化、追跡・航法・制御への応用

粒子フィルタ — 逐次モンテカルロによる非線形状態推定

重み付き粒子、逐次重点サンプリング、リサンプリング、粒子退化問題、非ガウス系列推定

動的ベイジアンネットワーク — 時間展開されたグラフィカルモデル

時間スライス、2時刻間モデル、HMM・カルマンフィルタの一般化、時系列の構造的モデリング

ナイーブベイズ分類器 — 条件付独立仮定による単純ベイズ分類

クラス条件付独立、スパム判定・文書分類、ラプラス平滑化、単純さと実用性能のバランス

混合ガウスモデル（GMM） — 潜在クラスをもつ密度推定モデル

混合比・平均・共分散、潜在割当変数、EMによる学習、クラスタリング、密度推定への利用

潜在ディリクレ配分（LDA） — 文書のトピックモデル

文書・トピック・単語の三層生成過程、ディリクレ事前分布、崩壊型ギブスサンプリング、文書解析

変数消去法 — 周辺化による厳密推論アルゴリズム

消去順序、中間因子の生成、計算量と誘導幅の関係、周辺確率・条件付確率の厳密計算

ジャンクションツリー法 — クリーク木上の厳密推論

モラル化、三角化、クリーク木構築、走行交差性、メッセージ更新による一括周辺化

確率伝播法（Belief Propagation） — 木構造での正確なメッセージ伝達

sum-productメッセージ、木上での厳密性、周辺分布の同時計算、局所計算による分散推論

ループあり確率伝播（Loopy BP） — 巡回グラフでの近似推論

反復メッセージ更新、収束の不保証、Bethe自由エネルギーとの対応、誤り訂正符号での成功例

sum-productとmax-product — メッセージパッシングの二大演算

周辺化のsum-product、最大化のmax-product、半環上の一般化、動的計画法との統一的理解

MAP推論 — 最大事後確率割当の探索問題

最尤構成の探索、周辺MAPとの区別、組合せ最適化としての定式化、復号・画像復元への応用

ビタビアルゴリズム — 最尤状態系列の動的計画法

HMMの復号問題、トレリス上の最適経路、バックトラック、通信符号復号・品詞タグ付けでの利用

前向き後ろ向きアルゴリズム — 系列モデルの周辺確率計算

前向き確率と後ろ向き確率、状態事後確率の計算、スケーリングによる桁落ち対策、平滑化推論

バウム・ウェルチ法 — HMMパラメータのEM学習

期待十分統計量、遷移・出力確率の再推定式、局所最適、音声・生体系列モデルの学習手続き

EMアルゴリズム — 潜在変数モデルの最尤推定の枠組み

Eステップの事後計算、Mステップの最大化、対数尤度の単調増加、下界最大化としての解釈

変分推論 — 最適化として定式化された近似ベイズ推論

KLダイバージェンス最小化、証拠下界（ELBO）、近似分布族の選択、大規模データへの拡張性

平均場近似 — 完全因子化による変分近似

因子化仮定、座標上昇法による逐次更新、統計物理由来の発想、相関の無視による偏り

期待値伝播（EP） — モーメント一致による近似推論

局所因子の近似、KL最小化の向きの違い、指数型分布族への射影、ガウス過程分類での活用

マルコフ連鎖モンテカルロ（MCMC） — サンプリングによる事後推論

定常分布への収束、詳細釣り合い条件、バーンイン、自己相関、事後分布からの標本生成

ギブスサンプリング — 条件付分布からの逐次サンプリング

完全条件付分布、マルコフブランケットの利用、崩壊型ギブス、離散グラフィカルモデルでの定番

メトロポリス・ヘイスティングス法 — 提案と受理による汎用MCMC

提案分布、受理確率、ランダムウォーク型提案、ギブスサンプリングとの関係、混合の速さの調整

ハミルトニアンモンテカルロ（HMC） — 勾配を用いた効率的サンプリング

補助運動量変数、リープフロッグ積分、高次元連続分布での高効率、確率プログラミングでの標準

重点サンプリング — 提案分布による期待値の重み付き推定

重要度重み、提案分布の選択、重みの分散と退化、逐次重点サンプリングへの発展

棄却サンプリングと祖先サンプリング — 生成モデルからの直接標本化

包絡関数による棄却法、ベイズネットのトポロジカル順標本生成、尤度重み付け法との関係

MCMCの収束診断 — 連鎖の混合と標本品質の評価

複数連鎖の比較、有効サンプルサイズ、自己相関の監視、トレースプロットによる目視確認

パラメータの最尤推定 — 完全データからのCPT学習

十分統計量、頻度カウントによる推定、分解可能な尤度、過学習とゼロ頻度問題

ベイズ的パラメータ学習 — 事前分布を用いた推定

共役事前分布、事後分布の逐次更新、予測分布、MAP推定と完全ベイズの違い、擬似カウント

ディリクレ・多項共役性 — 離散モデルの標準的事前分布

ディリクレ分布、多項分布との共役性、ハイパーパラメータの意味、平滑化との対応関係

スコアベース構造学習 — 評価関数最適化によるグラフ探索

候補グラフのスコアリング、貪欲探索・山登り法、探索空間の広大さ、局所変更演算子

制約ベース構造学習 — 独立性検定によるグラフ復元

PCアルゴリズム、条件付独立性検定の繰り返し、骨格推定と方向付け、忠実性の仮定

構造スコア関数 — BIC・BDe等のモデル評価基準

周辺尤度、BICによる罰則付き尤度、BDeスコア、尤度同値性、複雑さと適合のトレードオフ

因果ベイジアンネットワーク — 介入を表現する因果モデル

因果マルコフ条件、do演算子、介入分布の計算、観測と介入の区別、構造的因果モデルへの橋渡し

介入と反事実 — 因果階層における推論の三水準

関連・介入・反事実の階層、バックドア基準、調整化公式、反事実推論の定式化

因果探索 — データからの因果構造の同定

マルコフ同値類、同値類の限界、非ガウス性・非線形性の利用、隠れ交絡因子の問題

プレート表記 — 繰り返し構造の簡潔な図式表現

プレートによる反復の圧縮表示、観測変数と潜在変数の記法、階層モデルの図式化慣習

指数型分布族 — グラフィカルモデルの統一的パラメータ表現

自然パラメータ、十分統計量、対数分配関数、モーメントパラメータとの双対性、共役性の源泉

分配関数 — 正規化定数の計算と近似

無向モデルの正規化、計算の困難性、アニーリング重点サンプリング、対数分配関数の変分下界

対数線形モデル — 素性関数による無向モデルの記述

素性と重みの線形結合、最大エントロピー原理との関係、CRF・MRFのパラメータ化の標準形

イジングモデル・ポッツモデル — 統計物理由来の格子モデル

スピン変数、二体相互作用、相転移、画像のノイズ除去への転用、MRFの原型的な例

ボルツマンマシン — 確率的双方向結合ネットワーク

エネルギーベースモデル、確率的ユニット、対比的な学習則、計算困難性、生成モデルの先駆

制限ボルツマンマシン（RBM） — 二部構造による学習可能な無向モデル

可視層と隠れ層、層内結合なし、コントラスティブダイバージェンス学習、協調フィルタリング応用

深層信念ネットワーク — RBMの積層による深層生成モデル

貪欲な層別事前学習、深層学習復興期の役割、有向・無向混合構造、微調整との組み合わせ

マルコフ論理ネットワーク — 一階述語論理と確率の統合

重み付き論理式、グラウンディングによるMRF生成、ソフト制約、統計的関係学習の代表的枠組み

統計的関係学習 — 関係データ上の確率モデリング

確率的関係モデル、テンプレートによるモデル共有、エンティティと関係、リンク予測への応用

確率プログラミング — プログラムとしての生成モデル記述

モデル記述言語、自動推論エンジン、MCMC・変分推論の自動化、Stan・PyMC等の処理系

影響図（決定ネットワーク） — 意思決定を含む拡張モデル

確率ノード・決定ノード・効用ノード、最適方策の計算、情報の価値、意思決定分析への応用

決定理論との接続 — 期待効用最大化の枠組み

効用関数、期待効用原理、ベイズ決定則、損失関数と危険、推論結果の行動への変換

ノイジーORと文脈依存独立 — CPTの構造的圧縮

ノイジーOR・ノイジーMAX、原因の独立寄与、文脈特異的独立性、パラメータ数削減の技法

欠損データと潜在変数 — 不完全観測下の学習

欠損機構（MCAR・MAR）、潜在変数の導入、EMによる補完、識別可能性の問題

状態空間モデル総論 — 潜在状態の時間発展モデル

状態方程式と観測方程式、フィルタリング・平滑化・予測、線形と非線形、時系列解析の統一枠

スイッチング状態空間モデル — 離散モードをもつハイブリッド系列

離散スイッチ変数と連続状態の併用、レジーム切替、近似推論の必要性、経済時系列への応用

ガウシアングラフィカルモデル — 多変量正規分布と精度行列

精度行列の零要素と条件付独立の対応、偏相関、連続変数ネットワークの解析的扱い

グラフィカルラッソ — スパース精度行列の推定

L1正則化付き対数尤度、スパースなグラフ構造推定、高次元共分散推定、遺伝子ネットワーク解析

チョウ・リュウ木 — 相互情報量による最適木構造学習

最大重み全域木、相互情報量を辺重みとする構成、木分布による近似、効率的な構造学習の古典

木構造・ポリツリーでの推論 — 厳密計算が可能なグラフ族

木・ポリツリーの性質、線形時間の確率伝播、単結合ネットワーク、厳密推論可能性の境界

条件付独立性検定 — データからの独立性判定

カイ二乗検定、G検定、偏相関検定、検定多重性、構造学習における検定誤りの伝播

情報理論との関係 — KLダイバージェンスと相互情報量

KLダイバージェンスによる分布間距離、相互情報量と依存強度、エントロピー、推論・学習の目的関数

変分自由エネルギー — 統計物理と近似推論の対応

自由エネルギー最小化、エネルギーとエントロピーの分解、ELBOとの同値、物理由来の直観

Bethe近似・Kikuchi近似 — 領域ベースの自由エネルギー近似

Bethe自由エネルギー、Loopy BPの不動点との対応、一般化確率伝播、クラスタ変分法

推論の計算複雑性 — 厳密推論のNP困難性

厳密推論の#P困難性、近似推論の困難性結果、扱いやすいモデル族の特徴付け、複雑性の下界

木幅（treewidth）と推論効率 — グラフ構造による計算量の支配

木分解、誘導幅、木幅指数の計算量、三角化の順序最適化、低木幅グラフでの厳密推論

MAP推論の緩和法 — 線形計画緩和と双対分解

整数計画としてのMAP、LP緩和、双対分解、メッセージパッシングとの対応、緊密性の条件

グラフカットによる推論 — 劣モジュラエネルギーの厳密最小化

最大流最小カット、二値MRFの厳密MAP、劣モジュラ性条件、α展開による多値拡張

誤り訂正符号と確率伝播 — 通信復号への応用

低密度パリティ検査符号、ターボ符号、因子グラフ上の反復復号、Loopy BPの実用的成功例

医療診断への応用 — 診断支援ベイジアンネットワーク

疾患・症状・検査のネットワーク、確率的診断推論、専門家知識の確率化、意思決定支援システム

音声認識への応用 — HMMによる音響・言語モデリング

音素HMM、GMM-HMM音響モデル、言語モデルとの結合、深層学習移行前の標準的枠組み

自然言語処理への応用 — 系列ラベリングと構造予測

品詞タグ付け、固有表現抽出、線形連鎖CRF、構文解析への確率文法、トピックモデルの文書解析

バイオインフォマティクスへの応用 — 配列・ネットワーク解析

プロファイルHMMによる配列アラインメント、遺伝子制御ネットワーク推定、系統樹の確率モデル

コンピュータビジョンへの応用 — MRFによる画像モデリング

画像のノイズ除去、セグメンテーション、ステレオ対応、平滑化事前分布、格子MRF上の推論

故障診断・信頼性解析への応用 — 産業システムの確率的診断

機器故障のベイジアンネットワーク、フォールトツリーとの関係、センサー情報からの原因推定

ユーザーモデリング・推薦への応用 — 嗜好の確率的推定

協調フィルタリングの潜在変数モデル、ユーザー行動のベイズ推定、スキル診断、適応的システム

階層ベイズモデル — 多層事前分布による情報共有

ハイパーパラメータ、グループ間の部分プーリング、縮小推定、階層構造をもつデータの解析

ノンパラメトリックベイズ — 無限次元モデルへの拡張

ディリクレ過程、中華料理店過程、棒折り過程、混合成分数の自動決定、階層ディリクレ過程

モデル選択とベイズモデル平均 — 構造不確実性の扱い

周辺尤度による比較、ベイズ因子、モデル平均化、オッカムの剃刀の自動化、過学習抑制

感度分析とロバスト性 — パラメータ変動の影響評価

CPT摂動の出力への影響、感度関数、事前分布への頑健性、モデル検証と信頼性評価

ソフトウェアとツール — グラフィカルモデルの実装環境

BUGS系ソフトウェア、Stan、PyMC、pgmpy等のライブラリ、モデル記述・推論・可視化の支援

ジューディア・パールの貢献 — 確率伝播と因果推論の創始

ベイジアンネットワークの体系化、確率伝播法の提案、do計算による因果理論、チューリング賞受賞

歴史的発展 — エキスパートシステムから確率的AIへ

確信度因子の限界、不確実性推論論争、1980年代の確率的転回、統計的機械学習への合流

生成モデルと識別モデル — モデリング方針の対比

同時分布と条件付分布、ナイーブベイズ対ロジスティック回帰、HMM対CRF、データ量と性能の関係

変分オートエンコーダとの接続 — 深層生成モデルへの橋渡し

潜在変数モデルとしてのVAE、再パラメータ化勾配、償却変分推論、深層学習との理論的連続性

グラフニューラルネットワークとの関係 — メッセージパッシングの一般化

近傍集約とBPメッセージの類似、学習されるメッセージ関数、推論のニューラル近似、構造化予測

構造化変分近似 — 依存関係を保持する近似分布族

部分的因子化、木構造近似分布、正規化流による柔軟化、平均場を超える近似精度の追求

償却推論（amortized inference） — 推論ネットワークによる高速化

認識モデルの学習、データ点ごとの最適化の回避、推論の再利用、確率プログラミングへの適用

確率回路 — 扱いやすい確率モデルの回路表現

sum-productネットワーク、算術回路、多項式時間の厳密周辺化、表現力と推論効率の両立

統計物理との接点 — スピングラスと平均場理論

スピングラス理論、レプリカ法の発想、相転移と推論の困難性、物理と機械学習の相互輸入

教科書と教育 — 標準的な学習資料の体系

KollerとFriedmanの体系的教科書、BishopのPRML、Pearlの著作、大学院講義での標準的構成

ベンチマークネットワークと評価 — 標準問題による手法比較

ALARM等の公開ベンチマークネットワーク、構造復元精度の指標、推論時間の比較、再現性の課題

確率的グラフィカルモデル理論（ベイズネット等） — 退避・古典資料archive

旧版教科書、歴史的ソフトウェア、初期のエキスパートシステム資料など参照頻度の下がった文献の退避先