自然言語処理の進化史（統計→深層→大規模言語モデル）

自然言語処理の進化史（統計→深層→大規模言語モデル） — 概要

規則ベースから統計的手法、ニューラルネット、Transformer、LLMへ至る自然言語処理の発展全体を辿る入門ガイド

機械翻訳の黎明 — 1954年ジョージタウン実験と初期の熱狂

露英翻訳デモ、辞書と規則による直接翻訳、冷戦期の研究資金、初期の楽観論と限界

ALPAC報告書 — 1966年の機械翻訳研究への批判的勧告

米国の委員会報告、費用対効果への批判、機械翻訳研究の停滞、計算言語学への転換

ELIZA — パターンマッチによる初期対話プログラム

ワイゼンバウム、DOCTORスクリプト、パターン置換、来談者中心療法の模倣、ELIZA効果

SHRDLU — 積み木世界における自然言語理解の実験

ウィノグラード、手続き的意味論、限定ドメイン対話、参照解決、1970年代AIの象徴的成果

生成文法と形式言語理論 — チョムスキーの計算的影響

句構造文法、チョムスキー階層、文脈自由文法、統語論、パーサ設計への理論的基盤

規則ベースNLP — 記号処理時代の解析アーキテクチャ

辞書と文法規則、構文パーサ、格文法、フレーム、スクリプト理論、知識工学的アプローチ

有限状態技術 — 形態素解析とトークン化の計算基盤

有限状態オートマトン、有限状態トランスデューサ、二層形態論、正規表現、単語分割

知識表現と論理的意味論 — 記号的な言語理解の枠組み

述語論理、意味ネットワーク、フレーム表現、オントロジー、モンタギュー意味論、推論規則

初期音声認識 — テンプレート照合からの発展前史

孤立単語認識、動的時間伸縮法DTW、テンプレート照合、DARPA音声理解研究計画

統計的転回 — 1980〜90年代のパラダイム転換

IBM研究所のデータ駆動路線、コーパス利用、経験主義対合理主義論争、確率モデルの台頭

nグラム言語モデル — 単語列の確率推定の古典手法

ユニグラム、バイグラム、トライグラム、マルコフ仮定、パープレキシティによる評価

スムージング技術 — ゼロ頻度問題への統計的対処

ラプラス平滑化、Good-Turing推定、Katzバックオフ、Kneser-Ney、線形補間

隠れマルコフモデル — 系列ラベリングと音声認識の主力

状態遷移確率、出力確率、Viterbiアルゴリズム、前向き後ろ向き、Baum-Welch学習

品詞タグ付け — 統計的手法の初期成功タスク

HMMタガー、Brillの変換規則学習、Penn Treebankタグセット、高精度化の到達点

IBM翻訳モデル — 統計的機械翻訳の数理的創始

IBMモデル1〜5、単語アライメント、EMアルゴリズム、ノイジーチャネルによる翻訳定式化

ノイジーチャネルモデル — 通信理論の言語処理への応用

シャノン情報理論、ベイズ則、音声認識、綴り訂正、翻訳への統一的な定式化

フレーズベースSMT — 実用水準に達した統計翻訳

フレーズ対抽出、対数線形モデル、Mosesツールキット、デコーダ、初期のウェブ翻訳

単語アライメント — 対訳コーパスからの対応学習

GIZA++、EMによる推定、アライメント対称化、対訳辞書抽出、翻訳確率の学習

統計的構文解析 — 確率文脈自由文法とその発展

PCFG、CKYアルゴリズム、語彙化構文解析、Collinsパーサ、Charniakパーサ

依存構造解析 — 単語間の係り受け関係の推定

遷移型・グラフ型解析、MaltParser、MSTParser、Universal Dependencies

最大エントロピーモデル — 素性ベース識別学習の枠組み

対数線形モデル、素性関数の設計、正則化、条件付き確率推定、識別モデルの普及

条件付き確率場CRF — 系列ラベリングの標準手法

線形連鎖CRF、素性テンプレート、固有表現抽出、単語分割、ラベルバイアス問題の回避

ナイーブベイズとSVM — 古典的テキスト分類の二本柱

単語袋モデル、スパムフィルタ、カーネル法、マージン最大化、文書カテゴリ分類

潜在意味解析LSA — 行列分解による意味空間の構成

単語文書行列、特異値分解、次元削減、類義性の計測、情報検索への応用

トピックモデル — 文書集合の潜在的話題の推定

LDA、ディリクレ分布、ギブスサンプリング、変分推論、文書クラスタリングと可視化

情報検索とNLP — TF-IDFからランキング学習への発展

ベクトル空間モデル、BM25、転置索引、適合率と再現率、ランキング学習

コーパス構築 — 注釈付き言語資源の整備と共有

Brownコーパス、Penn Treebank、BNC、京都大学テキストコーパス、注釈基準

WordNetと語彙資源 — 語彙意味ネットワークの整備

同義語集合synset、上位下位関係、語義曖昧性解消、日本語WordNet、FrameNet

自動評価指標の発展 — 翻訳・要約・生成の測定法

BLEU、ROUGE、METEOR、パープレキシティ、人手評価との相関を巡る議論

共有タスク文化 — ベンチマーク駆動の研究競争

CoNLLシェアードタスク、TREC、NTCIR、共通データでの比較評価、再現性の重視

ニューラル言語モデルの登場 — 分散表現による確率推定

Bengioらの順伝播型言語モデル、埋め込み層、分散表現、データ疎性問題の緩和

word2vec — 単語埋め込みを普及させた効率的学習法

Skip-gram、CBOW、負例サンプリング、単語アナロジー、意味の線形構造の発見

GloVe — 大域共起統計に基づく単語ベクトル学習

共起行列、対数双線形モデル、大域統計と局所文脈の融合、事前学習ベクトルの配布

サブワード表現 — 未知語・低頻度語問題への対応

fastText、文字nグラム、BPE、WordPiece、SentencePiece、形態論との関係

RNNとLSTM — 系列データを扱うニューラル網の発展

勾配消失問題、長短期記憶LSTM、GRU、双方向RNN、系列ラベリングと言語モデル

seq2seq — エンコーダデコーダによる系列変換

符号化復号化構造、機械翻訳への適用、固定長ベクトルの限界、ビームサーチ、教師強制

注意機構の発明 — アライメントの学習的獲得

Bahdanau注意、Luong注意、文脈ベクトル、注意重みの可視化、翻訳品質の飛躍

ニューラル機械翻訳の実用化 — SMTからNMTへの転換

GNMT、サブワード分割、多言語翻訳、ゼロショット翻訳、産業サービスへの全面導入

CNNによるテキスト処理 — 畳み込みの言語への応用

文分類への畳み込み、文字レベルCNN、n-gram特徴の自動抽出、並列計算による高速化

ELMoと文脈化埋め込み — 文脈依存の単語表現へ

双方向LSTM言語モデル、多義語の文脈的表現、下流タスクへの特徴量提供、事前学習の予兆

Transformer — 自己注意による系列処理の革命

自己注意、多頭注意、位置符号化、並列学習、論文Attention Is All You Need

BERT — 双方向事前学習によるNLPの標準化

マスク言語モデル、次文予測、事前学習と微調整の二段構成、GLUEでの性能飛躍

GPT系列の発展 — 自己回帰型事前学習の系譜

GPT-1/2/3、次単語予測、生成能力の拡大、ゼロショット・少数ショット、規模の拡大

事前学習モデルの多様化 — T5・BART・RoBERTa

テキスト間変換の統一定式化、ノイズ除去事前学習、マスク戦略改良、生成タスク対応

転移学習と微調整 — 事前学習パラダイムの確立

ファインチューニング、特徴抽出、ドメイン適応、少量ラベルデータでの高性能化

モデル圧縮と蒸留 — 実運用へ向けた軽量化技術

知識蒸留、DistilBERT、枝刈り、量子化、推論高速化、エッジ端末への配置

理解系ベンチマークの進化 — GLUEからSuperGLUEへ

GLUE、SuperGLUE、SQuAD、人間水準超えの報告、ベンチマーク飽和と刷新

スケーリング則 — モデル規模と性能の経験法則

パラメータ数・データ量・計算量のべき乗則、計算最適な学習配分、創発的能力の議論

GPT-3と文脈内学習 — プロンプトによる課題適応

少数ショット学習、in-context learning、超大規模パラメータ、API経由の提供

プロンプトエンジニアリング — 指示設計による性能引き出し

ゼロショット指示、少数ショット例示、テンプレート設計、出力形式制御、システムプロンプト

思考連鎖プロンプト — 推論過程の明示的生成

chain-of-thought、段階的推論、自己整合性デコーディング、算術・論理課題の改善

命令チューニング — 指示追従能力の後付け獲得

instruction tuning、多課題学習、指示データセット構築、未見課題への汎化

RLHF — 人間フィードバックによる強化学習

報酬モデル、選好比較データ、方策最適化、有用性と無害性の調整、対話品質の向上

対話型LLMの普及 — チャット形式が起こした社会的衝撃

対話インターフェース、一般利用者への急速な普及、業務・教育・行政への波及、利用規範

オープンモデルの潮流 — 重み公開と地域・企業の競争

公開重みモデル、ライセンス議論、コミュニティ微調整、ローカル実行、技術の民主化

アラインメント研究 — 安全で有益な挙動の設計

原則に基づく自己改善、レッドチーム演習、拒否挙動の設計、価値整合、無害性評価

検索拡張生成RAG — 外部知識の動的参照による生成

ベクトル検索、チャンク分割、引用付き生成、知識の鮮度確保、企業内文書への適用

埋め込みモデルと意味検索 — 文・文書ベクトルの実用化

文埋め込み、対照学習、ベクトルデータベース、類似文書検索、クラスタリング

ツール使用とエージェント — LLMによる行動計画と実行

関数呼び出し、外部API連携、計画と実行の分離、自律エージェント、複数エージェント協調

長文脈化 — コンテキスト窓の拡大を巡る技術競争

位置符号化の外挿、効率的注意機構、十万トークン級文脈、長文書要約、文脈利用の限界

Mixture of Experts — 疎な条件付き計算による大規模化

エキスパート分割、ルーティング学習、パラメータ効率、推論コスト削減、負荷分散

パラメータ効率的微調整 — LoRA等による軽量適応

低ランク適応LoRA、アダプタ層、プレフィックスチューニング、少資源環境での適応

量子化と推論最適化 — 大規模モデルの高速・省資源実行

8bit/4bit量子化、KVキャッシュ、投機的デコーディング、GPU推論、バッチ処理

ハルシネーション — 事実性の課題と抑制策

誤情報生成、事実検証、根拠提示、検索接地、不確実性の表明、事実性の評価手法

LLM評価の科学 — 総合ベンチマークと審査手法

MMLU、HELM、人手評価、LLMを審査員とする評価、リーダーボード、データ汚染問題

コード生成モデル — プログラミング支援への展開

コード補完、テスト生成、HumanEval評価、開発者支援ツール、自然言語からのコード生成

マルチモーダル化 — 視覚と言語の統合モデル

画像キャプション生成、視覚質問応答、対照学習による画像テキスト対応、文書画像理解

音声とLLMの融合 — 音声認識・合成との統合

end-to-end音声認識、多言語転写、音声対話システム、テキスト音声合成、字幕生成

多言語事前学習モデル — 言語横断転移の実現

多言語BERT系モデル、言語間転移学習、低資源言語への展開、多言語翻訳との統合

トークナイゼーションの進化 — 文字から意味単位への分割設計

BPE、Unigram言語モデル分割、語彙サイズ設計、日本語の分割問題、バイトレベル処理

固有表現抽出の変遷 — 規則からニューラルへの移行

人名・地名・組織名抽出、CoNLL-2003、CRFからBERT系への移行、入れ子NER

感情分析・評判分析 — 主観情報抽出タスクの発展史

極性判定、アスペクトベース感情分析、レビュー分析、SNS分析、極性辞書と機械学習

共参照・照応解析 — 指示関係の同定と解決

代名詞照応、ゼロ照応、メンションペアモデル、エンドツーエンド共参照、日本語の省略現象

意味役割付与と意味解析 — 述語項構造の自動解析

PropBank、FrameNet、意味役割ラベリング、抽象的意味表現AMR、格解析

自動要約の発展 — 抽出型から生成型への進化

重要文抽出、抽象型要約、ROUGE評価、ニュース要約、生成要約の忠実性問題

対話システムの系譜 — 規則対話からLLMチャットまで

ルールベース対話、タスク指向対話、対話状態追跡、雑談対話、音声アシスタント

質問応答の歴史 — クイズ王からの機械読解への展開

TREC QA、IBM Watsonのクイズ番組挑戦、SQuAD、抽出型QA、オープンドメインQA

情報抽出とナレッジグラフ — テキストからの知識獲得

関係抽出、イベント抽出、知識ベース構築、遠距離教師あり学習、エンティティリンキング

語義曖昧性解消 — 多義語の文脈的意味特定

WordNet語義、教師あり・教師なしWSD、Leskアルゴリズム、文脈化埋め込みによる解消

文法誤り訂正・校正支援 — 学習者支援と執筆補助の技術

GEC共有タスク、翻訳問題としての訂正、スペルチェック、スタイル変換、執筆支援ツール

日本語NLPの発展 — 形態素解析から日本語LLMまで

MeCab、JUMAN、係り受け解析、日本語コーパス整備、日本語向け事前学習モデル

分かち書きと東アジア言語 — 単語境界のない言語の処理

中国語単語分割、未知語処理、辞書と統計の併用、文字ベース手法、境界の曖昧性

テキスト正規化と前処理 — 現実の雑多なデータへの対応

表記ゆれ処理、絵文字・スラング、SNSテキスト、クリーニング、言語判定、文字コード

NLPの学術コミュニティ — 国際会議と研究文化の変遷

ACL、EMNLP、NAACL、COLING、言語処理学会、査読制度とプレプリント文化

産業応用の広がり — 検索・翻訳から業務支援全般へ

検索エンジン、機械翻訳サービス、チャットボット、文書分類、コールセンター支援

分野を築いた研究者たち — 統計から深層への担い手

ジェリネックの統計音声認識、チョムスキーの理論、ヒントン・ベンジオら深層学習の先駆者

NLP教育とカリキュラム — 教科書と学習資源の系譜

JurafskyとMartinの教科書、ManningとSchützeの統計NLP、公開講義、演習環境

データセット文化とアノテーション — 資源構築の方法論

クラウドソーシング、注釈者間一致率、ライセンス管理、データ文書化、品質管理

NLPライブラリの系譜 — ツールが変えた研究と開発の速度

NLTK、spaCy、Gensim、Hugging Face Transformers、深層学習フレームワーク

生成AIの社会実装 — 2020年代の普及と制度対応

業務への導入、教育現場での利用指針、ガイドライン整備、行政利用、AIリテラシー教育

バイアスと公平性 — 言語モデルが写し取る社会的偏り

学習データの偏見、ジェンダーバイアス、有害表現の生成、デバイアス手法、公平性評価

データ倫理と著作権 — 学習データを巡る法的・倫理的論点

ウェブスクレイピング、著作権を巡る係争、オプトアウト、個人情報保護、データ来歴管理

計算資源と環境負荷 — 大規模学習のコスト問題

GPU計算量、電力消費、炭素排出の推計、効率化研究、研究機関間の資源格差

低資源言語とNLP — 言語多様性への技術的取り組み

危機言語の記録、言語間転移、多言語コーパス構築、コミュニティ主導の資源開発

認知科学との接点 — 言語モデルと人間の言語処理の比較

心理言語学、読解時間の予測、言語獲得を巡る論争、サプライザル理論、確率的言語知識

言語学との関係再考 — 深層学習時代の理論的含意

統語知識の創発、プロービング研究、注意重みの分析、解釈可能性、理論言語学との対話

オープンソース生態系 — モデル共有と再現性の基盤

モデルハブ、モデルカード、公開リーダーボード、再現性の確保、コミュニティ主導開発

汎用人工知能を巡る議論 — LLMの限界と可能性の論争

創発能力論争、記号接地問題、推論能力の限界、スケール懐疑論、将来展望の諸説

自然言語処理の進化史（統計→深層→大規模言語モデル） — 退避・古典資料archive

旧版の解説資料、歴代システムの一次文献、過去のベンチマーク結果などの保存用アーカイブ