自然言語処理の基礎

自然言語処理の基礎 — 概要

形態素解析から構文・意味解析、言語モデル、応用タスクまでを見渡す自然言語処理入門ガイド

トークン化 — 単語分割と文字単位処理の基本

空白区切り、単語トークン、文字トークン、未知語処理、語彙サイズ、分割粒度の選択

形態素解析 — 日本語の分かち書きと辞書引き

分かち書き、活用処理、辞書引き、ラティス構造、コスト最小化、未知語推定、複合語分割

品詞タグ付け — 品詞体系と系列ラベリング問題

名詞・動詞・形容詞などの品詞体系、タグセット設計、曖昧性解消、系列ラベリング定式化

語幹処理 — ステミングとレンマ化による正規化

ステミング、レンマ化、Porterステマー、活用形の基本形還元、屈折と派生の区別

テキスト前処理 — 文分割・正規化・クリーニング

文境界検出、Unicode正規化、全角半角統一、ストップワード除去、ノイズ除去、小文字化

Nグラム言語モデル — 統計的な単語予測の古典

ユニグラム、バイグラム、トライグラム、マルコフ仮定、最尤推定、データスパースネス問題

平滑化手法 — ゼロ頻度問題への統計的対処

ラプラス平滑化、加算平滑化、バックオフ、線形補間、Kneser-Neyスムージング

Bag-of-Words — 単語頻度によるテキスト表現

単語文書行列、TF-IDF、重み付け、コサイン類似度、語順情報の喪失、次元の高さ

単語分散表現 — word2vecとGloVeの埋め込み

word2vec、Skip-gram、CBOW、GloVe、fastText、単語アナロジー、負例サンプリング

文・文書埋め込み — 文単位のベクトル表現獲得

文ベクトル、平均プーリング、doc2vec、Sentence-BERT、意味検索、ベクトル近傍探索

潜在意味解析 — 行列分解による意味空間の構築

LSA/LSI、特異値分解、単語文書行列の低ランク近似、同義語の吸収、次元削減

トピックモデル — LDAによる文書の潜在主題推定

LDA、ディリクレ分布、ギブスサンプリング、変分推論、トピック数選択、文書クラスタリング

句構造解析 — 文脈自由文法と構文木の構築

文脈自由文法、CKYアルゴリズム、チャート法、確率文脈自由文法PCFG、構文木、句構造

依存構造解析 — 単語間の係り受け関係の同定

係り受け、主辞、依存ラベル、遷移型解析、グラフ型解析、Universal Dependencies

チャンキング — 浅い構文解析と句の切り出し

名詞句・動詞句チャンク、BIOタグ、浅い解析、部分構文解析、文節単位の処理

意味役割付与 — 述語項構造の自動解析

SRL、述語項構造、動作主・対象・道具などの意味役割、格フレーム、PropBank

語義曖昧性解消 — 多義語の文脈依存の意味選択

WSD、多義語、語義目録、文脈素性、教師あり分類、知識ベース手法、Leskアルゴリズム

固有表現抽出 — 人名・地名・組織名の同定

NER、人名・地名・組織名・日付・金額、BIOラベリング、ガゼッティア、系列ラベリング適用

共参照解析 — 同一実体への言及のまとめ上げ

共参照、代名詞照応、メンション検出、実体クラスタリング、先行詞同定、橋渡し照応

談話解析 — 文を超えた結束性と談話構造

談話関係、修辞構造理論RST、結束性、一貫性、談話標識、文間関係の分類

意味表現 — 論理形式とグラフによる文の意味記述

述語論理、論理形式への変換、意味グラフ、AMR、意味解析器、実行可能な意味表現

語彙意味論 — シソーラスと語彙知識ベース

WordNet、上位語・下位語、同義語集合、シソーラス、語彙階層、意味的類似度計算

分布意味論 — 分布仮説に基づく意味の計算

分布仮説、共起行列、文脈窓、PMI、ベクトル空間モデル、意味の合成性の課題

テキスト分類 — 文書のカテゴリ自動振り分け

ニュース分類、ナイーブベイズ、ロジスティック回帰、素性設計、多クラス分類、階層分類

感情分析 — 極性判定と評判マイニング

ポジネガ判定、極性辞書、アスペクトベース感情分析、レビュー分析、皮肉・否定の扱い

有害表現検出 — スパム・ヘイト・攻撃的文章の判定

スパムフィルタ、ヘイトスピーチ検出、攻撃的表現、モデレーション、誤検出とのバランス

情報検索の基礎 — 転置インデックスとランキング

転置インデックス、ブーリアン検索、BM25、ベクトル空間モデル、適合性フィードバック

質問応答 — 質問文理解と回答抽出の仕組み

ファクトイド型QA、読解型QA、SQuAD、回答スパン抽出、オープンドメインQA、検索併用

情報抽出 — 関係抽出とイベント抽出

関係抽出、イベント抽出、スロットフィリング、遠距離教師あり、テンプレート充填

テキスト要約 — 抽出型と生成型の自動要約

抽出型要約、生成型要約、重要文選択、冗長性削減、単一文書・複数文書要約、見出し生成

機械翻訳の歴史 — ルール型から統計・ニューラルへ

ルールベース翻訳、中間言語方式、トランスファ方式、統計的翻訳への転換、対訳データの役割

統計的機械翻訳 — 対訳コーパスからの翻訳学習

IBMモデル、単語アラインメント、フレーズベース翻訳、翻訳モデルと言語モデル、デコーダ

ニューラル機械翻訳 — 系列変換モデルによる翻訳

seq2seq、エンコーダデコーダ、注意機構付き翻訳、ビームサーチ、サブワード活用

系列ラベリング手法 — HMMからCRFまでの系譜

隠れマルコフモデル、条件付き確率場CRF、素性関数、ラベルバイアス問題、構造化予測

隠れマルコフモデル — 状態遷移と復号アルゴリズム

状態遷移確率、出力確率、Viterbiアルゴリズム、前向き後ろ向き算法、Baum-Welch学習

対数線形モデル — 最大エントロピー法による分類

最大エントロピーモデル、素性テンプレート、正則化、ロジスティック回帰との等価性

線形分類器の応用 — パーセプトロンとSVMのNLP利用

パーセプトロン、平均化パーセプトロン、SVM、カーネル法、マージン最大化、素性ハッシング

再帰型ネットワーク — RNNとLSTMによる系列処理

RNN、LSTM、GRU、勾配消失問題、双方向RNN、系列の文脈符号化、言語モデル応用

畳み込みの応用 — CNNによるテキスト特徴抽出

テキストCNN、フィルタ幅とnグラム、最大プーリング、文分類応用、文字レベルCNN

注意機構 — アラインメントを学習するattention

attention重み、ソフトアラインメント、自己注意、クエリ・キー・バリュー、注意の可視化

Transformer — 自己注意に基づく系列変換基盤

自己注意層、マルチヘッド注意、位置符号化、残差接続、層正規化、並列計算の利点

事前学習言語モデル — BERTと双方向文脈表現

BERT、マスク言語モデル、次文予測、文脈化埋め込み、事前学習と下流タスクの分離

生成型言語モデル — GPT系の自己回帰生成

自己回帰言語モデル、GPT、次単語予測、デコーディング戦略、温度、トップkサンプリング

サブワード分割 — BPEとSentencePieceの語彙構築

バイトペア符号化BPE、WordPiece、SentencePiece、ユニグラム言語モデル分割、未知語対策

転移学習 — 事前学習モデルのファインチューニング

ファインチューニング、特徴抽出利用、層別学習率、破滅的忘却、少量データでの適応

プロンプト技法 — 文脈内学習と指示による制御

プロンプト設計、few-shot事例、zero-shot、指示チューニング、文脈内学習の性質

対話システム — タスク指向対話と雑談対話

対話状態追跡、意図理解、スロット抽出、応答生成、雑談ボット、対話管理、ELIZAの系譜

音声認識との接点 — 音声からテキストへの変換

音響モデル、言語モデルの役割、単語誤り率WER、書き起こし後処理、句読点復元

音声合成との接点 — テキスト正規化と読み推定

数字・記号の読み下し、読み仮名推定、アクセント付与、テキスト正規化、韻律情報

生成タスクの評価 — BLEUとROUGEによる自動評価

BLEU、ROUGE、METEOR、nグラム一致率、参照訳との比較、自動評価と人手評価の乖離

言語モデル評価 — パープレキシティと内的評価

パープレキシティ、交差エントロピー、保留データ評価、内的評価と外的評価の使い分け

分類評価指標 — 適合率・再現率・F値の設計

適合率、再現率、F値、混同行列、マクロ・マイクロ平均、クラス不均衡での指標選択

コーパス構築 — アノテーション設計と品質管理

アノテーション基準書、作業者間一致率、カッパ係数、クラウドソーシング、ラベル品質管理

代表的コーパス — ツリーバンクと標準データセット

Penn Treebank、ブラウンコーパス、ツリーバンク、対訳コーパス、ベンチマークの役割

日本語NLP資源 — 形態素解析器と辞書の実際

MeCab、JUMAN、UniDic、IPA辞書、京都大学テキストコーパス、日本語処理特有の資源

多言語処理 — 言語横断の表現学習と翻訳転移

多言語埋め込み、言語横断転移、多言語事前学習、言語識別、文字体系の違いへの対応

低資源言語処理 — データが乏しい言語への適応

低資源言語、転移学習活用、擬似データ生成、言語ドキュメンテーション、方言処理

誤り訂正 — スペル訂正と文法誤り訂正

スペルチェック、ノイジーチャネルモデル、文法誤り訂正GEC、学習者コーパス、訂正候補生成

表記ゆれ処理 — SNSテキストと非標準表記の正規化

表記ゆれ、口語・俗語、絵文字・顔文字、伸ばし表記、SNS特有のノイズ、辞書拡張

正規表現 — パターンマッチングによるテキスト処理

正規表現、有限オートマトンとの対応、抽出・置換、日付や電話番号の抽出、限界と使い所

文字列アルゴリズム — 編集距離と近似文字列照合

レーベンシュタイン距離、動的計画法、最長共通部分列、近似照合、トライ木、接尾辞配列

かな漢字変換 — 日本語入力メソッドの言語処理

かな漢字変換、変換候補ランキング、連文節変換、言語モデル利用、ユーザ辞書、予測入力

構文木とツリーバンク — 木構造データの扱い

句構造木、依存木、木の走査、ブラケット表記、CoNLL形式、木構造間の変換と評価

単語アラインメント — 対訳文間の単語対応付け

対訳文アラインメント、EMアルゴリズム、対応の非対称性、辞書抽出、翻訳学習の前処理

含意関係認識 — 文間の論理関係の判定

自然言語推論NLI、含意・矛盾・中立、パラフレーズ認識、前提と仮説、推論ベンチマーク

意味的類似度 — 文類似度の測定と応用

STSタスク、コサイン類似度、埋め込みベース類似度、重複検出、FAQ照合、類似文書探索

クエリ理解 — 検索クエリの解析と拡張

クエリ分類、クエリ拡張、同義語展開、スペル訂正併用、意図推定、検索ログ活用

推薦とテキスト — コンテンツベース推薦の言語処理

コンテンツベース推薦、記事推薦、テキスト特徴量、ユーザプロファイル、協調フィルタとの併用

エンティティリンキング — 知識グラフへの言及接続

エンティティリンキング、曖昧性解消、知識グラフ、候補生成、Wikipedia由来知識の活用

オントロジー — 概念体系と語彙資源の設計

オントロジー、概念階層、is-a関係、語彙資源の構築、分類体系、セマンティックウェブとの関係

著者推定 — 文体特徴によるテキストの帰属分析

文体統計、機能語頻度、著者識別、文体模倣検出、盗用検出、計量文献学の手法

心理言語学との接点 — 人間の言語処理と計算モデル

言語獲得、読解時間予測、サプライザル理論、ガーデンパス文、人間の処理と機械の比較

計算言語学の歴史 — 黎明期の対話システムと機械翻訳

チューリングテスト、ELIZA、SHRDLU、初期機械翻訳、ALPACレポート、統計的転回

形式言語理論 — チョムスキー階層と自然言語

チョムスキー階層、正規言語、文脈自由言語、文脈依存性、自然言語の生成能力の位置付け

有限状態モデル — FSTによる形態論・音韻処理

有限状態オートマトン、有限状態トランスデューサFST、二層形態論、規則の合成、軽量実装

統語理論とNLP — 文法理論の計算的実装

HPSG、LFG、組合せ範疇文法CCG、素性構造、単一化文法、理論文法と解析器の関係

合成意味論 — λ計算による意味の組み立て

合成性の原理、λ計算、型理論、モンタギュー文法の考え方、統語から意味への写像

語用論の計算 — 発話行為と会話の含意

発話行為、グライスの協調原理、会話の含意、間接発話、文脈依存の意味、丁寧さの理論

ゼロ照応解析 — 日本語の省略された項の補完

ゼロ代名詞、主語省略、項の省略補完、述語項構造との統合、日本語特有の解析課題

敬語処理 — 待遇表現の解析と生成

尊敬語・謙譲語・丁寧語、敬語レベル判定、文体変換、常体敬体変換、ビジネス文書生成

文書画像とテキスト — OCR後処理と文書構造解析

OCR誤り訂正、レイアウト解析、表・図の抽出、文書構造化、PDFからのテキスト抽出

テキスト収集 — ウェブコーパスの構築と清掃

ウェブクロール、本文抽出、重複除去、言語判定、品質フィルタリング、ライセンス配慮

データ拡張 — 学習データの人工的な増強

逆翻訳、同義語置換、単語削除・入替、擬似ラベル、生成モデルによるデータ合成

弱教師あり学習 — 少ないラベルからのNLP学習

半教師あり学習、自己学習、遠距離教師あり、ルールによるラベル関数、ノイズ耐性学習

能動学習 — アノテーション対象の効率的選択

能動学習、不確実性サンプリング、多様性基準、アノテーションコスト削減、逐次学習

ドメイン適応 — 専門分野テキストへの特化

医療・法律・金融テキスト、専門用語辞書、ドメイン内追加事前学習、分布シフト対策

バイアスと公平性 — 言語モデルに潜む偏りの分析

性別・人種バイアス、埋め込みの偏り測定、ステレオタイプ増幅、デバイアス手法、公平性評価

事実性と幻覚 — 生成テキストの正確さの検証

ハルシネーション、事実検証、根拠提示、検索拡張生成RAG、出典参照、忠実性評価

モデル解釈 — NLPモデルの内部挙動の分析

attention可視化、プロービング、顕著性マップ、反実仮想例、挙動テスト、誤り分析

NLPツール実践 — 主要ライブラリとエコシステム

NLTK、spaCy、Hugging Face Transformers、Gensim、パイプライン構築、モデル配布

計算社会科学 — SNSテキストからの社会分析

SNS分析、世論観測、流行語追跡、ネットワークとテキストの併用、サンプリング偏り

人文学への応用 — 古典・歴史テキストのデジタル分析

デジタルヒューマニティーズ、古文・くずし字処理、テキストマイニング、文体史研究

法律・特許テキスト処理 — 長文専門文書の解析

契約書解析、条文検索、特許分類、判例検索、長文処理、参照構造の解析、法律用語の曖昧性

医療・臨床NLP — カルテと医学文献の言語処理

電子カルテ解析、病名・薬剤抽出、医学文献検索、匿名化、医療用語標準化、安全性の要求

教育応用 — 自動採点と言語学習支援

小論文自動採点、語学学習支援CALL、読みやすさ評価、問題自動生成、フィードバック生成

コードと自然言語 — プログラム生成・説明の言語処理

コード生成、コード要約、自然言語からのプログラム合成、コード検索、ドキュメント生成

マルチモーダルNLP — 画像・音声とテキストの統合

画像キャプション生成、視覚質問応答VQA、画像テキスト対照学習、動画字幕、音声対話統合

NLPの倫理 — プライバシーと悪用リスクへの対処

個人情報の匿名化、生成テキストの悪用、偽情報対策、著作権とコーパス、透明性の確保

自然言語処理の基礎 — 退避・古典資料archive

旧版の教材、歴代解析器の記録、過去のベンチマーク結果など歴史的・退避資料の保管区分