コンピュータビジョンの基礎

コンピュータビジョンの基礎 — 概要

画像・映像から意味を取り出す技術の入門。画像処理、特徴抽出、幾何、認識、深層学習までの全体地図

デジタル画像の表現 — 画素・解像度・階調の基本構造

画素、ラスタ形式、解像度、ビット深度、グレースケール、チャンネル、画像座標系

色空間 — RGBから知覚均等空間までの色表現

RGB、HSV、YCbCr、CIE Lab、色相・彩度・明度、色空間変換、ホワイトバランス

空間フィルタリング — 畳み込みによる画像の平滑化と強調

畳み込み演算、カーネル、平均化フィルタ、鮮鋭化、境界処理、線形フィルタの性質

ガウシアンフィルタ — 正規分布カーネルによる平滑化

ガウス関数、標準偏差とぼかし量、分離可能フィルタ、スケール空間との関係

ノイズ除去 — メディアン・バイラテラルフィルタ

ごま塩ノイズ、ガウスノイズ、メディアンフィルタ、バイラテラルフィルタ、非局所平均法

エッジ検出の基礎 — 微分オペレータによる輪郭抽出

画像勾配、Sobel、Prewitt、ラプラシアン、ゼロ交差、一次微分と二次微分の使い分け

Cannyエッジ検出 — 多段処理による高品質エッジ抽出

平滑化、勾配計算、非極大抑制、ヒステリシス閾値処理、細線化されたエッジマップ

コーナー検出 — Harris法と追跡に適した特徴点

Harrisコーナー、Shi-Tomasi法、自己相関行列、固有値解析、FASTコーナー検出

SIFT特徴量 — スケール不変な局所特徴の代表格

スケール空間極値検出、DoG、オリエンテーション割当、128次元記述子、回転不変性

高速局所特徴 — SURF・ORB・BRIEFによる軽量化

SURF、BRIEF二値記述子、ORB、AKAZE、計算コストと精度のトレードオフ

HOG特徴量 — 勾配方向ヒストグラムによる形状記述

勾配方向ヒストグラム、セルとブロック正規化、人物検出への応用、SVMとの組合せ

特徴マッチング — 対応点探索とRANSACによる外れ値除去

最近傍探索、距離比テスト、RANSAC、ホモグラフィ推定、パノラマ合成への応用

ヒストグラム処理 — 濃度分布の解析とコントラスト改善

濃度ヒストグラム、ヒストグラム平坦化、CLAHE、ガンマ補正、トーンカーブ

二値化 — 大津の方法と適応的閾値処理

閾値処理、大津の判別分析法、適応的二値化、背景差分、前景抽出の前処理

モルフォロジー演算 — 膨張・収縮による形状処理

膨張、収縮、オープニング、クロージング、構造要素、細線化、穴埋め、ノイズ粒除去

周波数領域処理 — フーリエ変換による画像解析

2次元離散フーリエ変換、振幅スペクトル、ローパス・ハイパスフィルタ、周期ノイズ除去

画像ピラミッド — 多重解像度表現とスケール空間

ガウシアンピラミッド、ラプラシアンピラミッド、ダウンサンプリング、多重スケール探索

幾何変換 — アフィン変換と射影変換による画像変形

平行移動、回転、拡大縮小、アフィン変換、射影変換、ホモグラフィ、画像補間法

カメラモデル — ピンホールモデルと投影の数理

ピンホールカメラ、焦点距離、内部パラメータ、外部パラメータ、透視投影行列

カメラキャリブレーション — 内部・外部パラメータの推定

チェッカーボードパターン、Zhangの手法、再投影誤差、内部パラメータ行列の推定

レンズ歪み補正 — 放射歪みと接線歪みの除去

樽型歪み、糸巻き型歪み、放射歪み係数、接線歪み、魚眼レンズモデル、歪み補正マップ

エピポーラ幾何 — 二視点間の幾何学的拘束

エピポーラ線、基礎行列、本質行列、8点アルゴリズム、平行化（レクティフィケーション）

ステレオビジョン — 視差からの奥行き推定

両眼視差、ステレオマッチング、視差マップ、三角測量、コストボリューム、奥行き画像

Structure from Motion — 多視点画像からの三次元復元

特徴点対応、カメラ姿勢推定、三角測量、バンドル調整、疎な点群復元、多視点幾何

オプティカルフロー — 画像間の動きベクトル推定

輝度勾配拘束、Lucas-Kanade法、Horn-Schunck法、密なフロー、動き解析への応用

古典的セグメンテーション — 領域分割の基本手法

領域成長法、分割統合法、k-meansクラスタリング、Mean Shift、スーパーピクセル

グラフカットと分水嶺法 — エネルギー最小化による分割

グラフカット、最小カット・最大フロー、GrabCut、分水嶺（watershed）アルゴリズム

テンプレートマッチング — 相関に基づくパターン探索

正規化相互相関、SSD、SAD、探索ウィンドウ、多重スケール探索、部品位置決めへの応用

ハフ変換 — 投票による直線・円の検出

パラメータ空間への投票、直線検出、円検出、確率的ハフ変換、一般化ハフ変換

物体検出の枠組み — スライディングウィンドウから提案領域へ

スライディングウィンドウ、画像ピラミッド探索、領域提案、非極大抑制、検出の枠組み

Viola-Jones顔検出 — Haar特徴とカスケード分類器

Haar-like特徴、積分画像、AdaBoost、カスケード分類器、リアルタイム顔検出の先駆

画像分類の基礎 — 特徴抽出と分類器の組合せ

特徴ベクトル、SVM、k近傍法、Bag of Visual Words、コードブック、分類パイプライン

畳み込みニューラルネットワーク — CNNの基本構造

畳み込み層、プーリング層、活性化関数、受容野、重み共有、特徴マップ、全結合層

LeNetとAlexNet — 深層学習によるCV革命の始まり

LeNet-5、手書き数字認識、AlexNet、ILSVRC 2012、ReLU、ドロップアウト、GPU学習

VGG・GoogLeNet・ResNet — 深層化を支えた代表アーキテクチャ

VGG16、Inceptionモジュール、ResNetの残差接続、勾配消失対策、ネットワーク深層化

転移学習 — 事前学習モデルの再利用と微調整

ImageNet事前学習、特徴抽出器としての利用、ファインチューニング、層の凍結、ドメイン適応

データ拡張 — 学習データの人工的な多様化

反転、回転、切り抜き、色変換、Mixup、CutMix、RandAugment、過学習の抑制

R-CNN系物体検出 — 二段階検出器の系譜

R-CNN、Fast R-CNN、Faster R-CNN、領域提案ネットワーク、RoIプーリング、アンカー

一段階検出器 — YOLOとSSDによる高速物体検出

YOLO、SSD、グリッド分割、アンカーボックス、リアルタイム検出、速度と精度の両立

セマンティックセグメンテーション — 画素単位のクラス分類

FCN、U-Net、エンコーダ・デコーダ構造、スキップ接続、拡張畳み込み、DeepLab系

インスタンスセグメンテーション — 個体ごとの領域分割

Mask R-CNN、物体検出とマスク予測の統合、パノプティックセグメンテーション

姿勢推定 — 人体キーポイントの検出と骨格推定

関節キーポイント検出、ヒートマップ回帰、OpenPose、トップダウン・ボトムアップ方式

顔認識 — 顔特徴の埋め込みと本人照合

顔検出、顔ランドマーク、特徴埋め込み、FaceNet、距離学習、照合と識別の違い

文字認識（OCR） — 文書・情景画像からのテキスト抽出

文字領域検出、文字切り出し、手書き文字認識、情景文字認識、Tesseract、CTC損失

画像検索 — 類似画像探索と特徴インデクシング

Bag of Visual Words、転置インデックス、近似最近傍探索、深層特徴による類似検索

物体追跡 — 映像中のターゲット追尾

カルマンフィルタ、パーティクルフィルタ、SORT、複数物体追跡、外観モデルと運動モデル

動画解析と行動認識 — 時空間特徴による動作理解

時空間特徴、3D畳み込み、Two-Stream構造、フレーム集約、行動分類、動画データセット

三次元再構成 — 点群・メッシュによる形状復元

多視点ステレオ、密な点群、メッシュ生成、ボクセル表現、テクスチャマッピング

深度センシング — LiDAR・ToF・構造化光の原理

LiDAR、Time of Flight、構造化光、アクティブステレオ、RGB-Dカメラ、深度マップ

SLAM — 自己位置推定と環境地図の同時構築

Visual SLAM、特徴ベースと直接法、ループ閉じ込み、姿勢グラフ最適化、ORB-SLAM

敵対的生成ネットワーク — GANによる画像生成

生成器と識別器、敵対的学習、DCGAN、StyleGAN、モード崩壊、画像から画像への変換

VAEと拡散モデル — 確率的生成モデルによる画像合成

変分オートエンコーダ、潜在空間、拡散モデル、ノイズ除去過程、テキストからの画像生成

超解像 — 低解像度画像の高解像度化

単一画像超解像、SRCNN、知覚損失、GANベース超解像、アップサンプリング層

画像修復 — インペインティングと欠損補完

欠損領域補完、傷・不要物除去、パッチベース手法、深層学習インペインティング

スタイル変換 — 画風の転写と芸術的画像生成

ニューラルスタイル変換、コンテンツ損失とスタイル損失、Gram行列、実時間スタイル変換

Vision Transformer — 自己注意による画像認識

ViT、パッチ埋め込み、自己注意機構、位置埋め込み、CNNとの比較、Swin Transformer

自己教師あり学習 — ラベルなし画像からの表現学習

対照学習、SimCLR、MoCo、マスク画像モデリング、MAE、事前学習タスクの設計

視覚言語モデル — CLIPと画像・テキストの結合表現

CLIP、画像・テキスト対照学習、ゼロショット分類、画像キャプション生成、視覚質問応答

注意機構と特徴の可視化 — モデル内部表現の理解

アテンションマップ、特徴マップ可視化、活性化最大化、フィルタの解釈、中間層の役割

評価指標 — IoU・mAP・PSNR・SSIMによる性能測定

IoU、適合率・再現率、mAP、混同行列、PSNR、SSIM、タスク別評価プロトコル

大規模ベンチマーク — ImageNet・COCO・PASCAL VOC

ImageNet、ILSVRC、COCO、PASCAL VOC、Cityscapes、ベンチマーク文化と進歩の測定

入門データセット — MNIST・CIFARによる学習実験

MNIST手書き数字、Fashion-MNIST、CIFAR-10/100、小規模データでの手法検証

アノテーション — 教師データ作成とラベリング設計

バウンディングボックス、ポリゴン、キーポイント付与、ラベル品質管理、クラウドソーシング

OpenCV — 画像処理ライブラリの定番

OpenCVの構成、画像入出力、フィルタ・特徴・キャリブレーションAPI、Python連携

深層学習フレームワーク — PyTorch・TensorFlowでのCV実装

PyTorch、TensorFlow、torchvision、データローダ、学習ループ、事前学習モデルの利用

GPUと推論高速化 — 学習・推論の計算基盤

GPU並列計算、バッチ処理、混合精度、TensorRT、ONNX、推論レイテンシの最適化

エッジ推論 — モバイル・組込み機器での視覚処理

モバイル向け軽量モデル、MobileNet、組込みGPU・NPU、カメラモジュール連携、省電力化

モデル圧縮 — 量子化・蒸留・枝刈りによる軽量化

量子化、知識蒸留、プルーニング、低ランク近似、精度と速度・サイズのトレードオフ

医用画像解析 — 診断支援のための画像認識

X線・CT・MRI画像、病変検出、臓器セグメンテーション、U-Netの活用、読影支援

自動運転の視覚認識 — 車載カメラによる環境理解

車線検出、歩行者・車両検出、信号認識、センサフュージョン、鳥瞰図変換、走行環境認識

外観検査 — 製造業における欠陥検出

傷・異物検出、異常検知、良品学習、照明設計、位置決め、マシンビジョンシステム

リモートセンシング — 衛星・航空画像の解析

衛星画像、土地被覆分類、変化検出、オルソ画像、災害状況把握、地理空間データ連携

ロボットビジョン — 視覚に基づく操作と誘導

ビジュアルサーボ、把持点推定、ビンピッキング、ハンドアイキャリブレーション、環境認識

映像監視解析 — 防犯・安全のための映像理解

人物検出・追跡、混雑推定、侵入検知、異常行動検知、プライバシー配慮設計

AR/VRの視覚処理 — 空間認識と重畳表示

マーカー認識、平面検出、自己位置推定、オクルージョン処理、ハンドトラッキング

農業・環境モニタリング — 生育診断と生態観測

作物生育診断、病害虫検出、ドローン空撮解析、植生指標、野生動物の自動観測

スポーツ映像解析 — 選手追跡と戦術分析

選手・ボール追跡、姿勢推定によるフォーム解析、イベント検出、判定支援システム

文書画像解析 — レイアウト認識と帳票処理

レイアウト解析、表構造認識、帳票読取、傾き補正、二値化前処理、電子化ワークフロー

生体認証 — 虹彩・指紋・歩容による個人識別

虹彩認証、指紋照合、静脈認証、歩容認識、なりすまし対策、生体情報の保護

画像・映像圧縮 — JPEGから動画符号化まで

JPEG、離散コサイン変換、PNG可逆圧縮、動き補償、H.264/HEVC、圧縮アーティファクト

撮像の原理 — CCD/CMOSセンサと画像形成

CCD、CMOSセンサ、ベイヤー配列、デモザイキング、露光、ローリングシャッター歪み

照明と反射モデル — 明るさから形状を読む物理

ランバート反射、鏡面反射、陰影からの形状復元、照度差ステレオ、照明環境の設計

テクスチャ解析 — 模様の統計的・構造的記述

同時生起行列、局所二値パターン（LBP）、ガボールフィルタ、テクスチャ分類・合成

マルチスペクトル画像 — 可視光を超えた波長の解析

近赤外画像、ハイパースペクトル画像、サーモグラフィ、波長帯選択、材質識別への応用

敵対的攻撃と頑健性 — 認識モデルの脆弱性と防御

敵対的摂動、敵対的パッチ、敵対的学習、分布外検知、破損画像への頑健性評価

バイアスと公平性 — データ偏りが生む認識格差

データセットバイアス、属性間の精度格差、顔認識の公平性評価、代表性のあるデータ収集

プライバシーと顔認識規制 — 視覚AIの社会的統制

顔認識の利用規制、監視社会論、匿名化・ぼかし処理、同意と透明性、AI規制の動向

説明可能性 — Grad-CAM等による判断根拠の可視化

Grad-CAM、CAM、顕著性マップ、LIME、判断根拠の提示、医療・検査での説明責任

コンピュータビジョンの歴史 — Marrの計算理論から深層学習へ

初期のブロック世界研究、David Marrの視覚計算理論、特徴量時代、深層学習への転換点

人間の視覚との対応 — 視覚野の知見と計算モデル

網膜と受容野、一次視覚野の方位選択性、階層的処理、CNNとの類似性、知覚の錯視研究

イベントカメラ — 輝度変化駆動の非同期視覚センサ

イベントベースセンサ、高時間分解能、低遅延、高ダイナミックレンジ、非同期処理手法

計算写真学 — HDR・デブラーなど撮影後の画像計算

HDR合成、パノラマ、多眼合成、ボケ復元（デブラー）、夜景合成、スマートフォン写真技術

ニューラルレンダリング — NeRFによる三次元シーン表現

NeRF、ボリュームレンダリング、暗黙的シーン表現、新規視点合成、3Dガウシアン表現

点群深層学習 — PointNet系による三次元認識

点群の順序不変性、PointNet、ボクセル化、三次元物体検出、LiDAR点群のセグメンテーション

動画生成 — 時間軸を持つ映像の生成モデル

動画生成モデル、時間的一貫性、フレーム補間、テキストからの動画生成、動画編集への応用

視覚基盤モデル — SAM等の汎用視覚モデル

Segment Anything（SAM）、プロンプト駆動セグメンテーション、大規模事前学習、ゼロショット汎化

合成データ — シミュレーション画像による学習

レンダリング合成画像、ドメインランダム化、シミュレーションと実環境の差、自動ラベル生成

研究コミュニティと学び方 — CVPR等の国際会議と教材

CVPR、ICCV、ECCV、arXivプレプリント文化、公開実装、教科書・オンライン講義での学習

コンピュータビジョンの基礎 — 退避・古典資料archive

旧世代の手法資料、廃止された分類項目、歴史的文献・過去のベンチマーク記録の保管場所