生成AI時代（ChatGPT, Stable Diffusion等）

生成AI時代（ChatGPT, Stable Diffusion等） — 概要

大規模言語モデルと拡散モデルが牽引する生成AIの技術・応用・社会影響への入門ガイド

大規模言語モデルの登場 — GPT系列とパラメータ拡大

GPT-2からGPT-3への大規模化、パラメータ数と学習データ量の拡大、汎用言語能力の獲得

Transformer — 自己注意機構による系列処理

Attention機構、エンコーダ/デコーダ構成、位置符号化、並列学習、RNNからの転換

事前学習 — 自己教師あり学習と転移

次単語予測、マスク言語モデル、BERT、T5、大規模コーパスからの表現獲得と下流転移

スケーリング則 — 規模と性能の経験則

パラメータ・データ・計算量と損失の冪乗則、計算最適な配分、創発的能力の議論

文脈内学習 — few-shotとプロンプトによる適応

GPT-3のfew-shot性能、in-context learning、例示の選び方、勾配更新なしのタスク適応

指示チューニング — 命令追従への調整

InstructGPT、instruction tuning、対話形式データ、ゼロショット指示追従能力の向上

RLHF — 人間フィードバックによる強化学習

選好データ収集、報酬モデル、PPOによる方策最適化、有用性と無害性のバランス調整

ChatGPT — 対話型AIの公開と社会的衝撃

2022年11月公開、史上最速級のユーザー獲得、対話UI、教育・業務・世論への波及

GPT-4世代 — マルチモーダル化と能力向上

画像入力対応、長文脈、専門試験水準の推論、システムカードによる能力・リスク開示

オープンモデル — LLaMA以降の公開LLM

LLaMA、Mistral、Qwen、DeepSeek、重み公開、コミュニティによる派生モデル開発

基盤モデル競争 — 主要各社の開発動向

OpenAI、Anthropic Claude、Google Gemini、Meta、モデル世代交代と性能競争

トークン化 — サブワード分割と語彙設計

BPE、SentencePiece、語彙サイズ、日本語や多言語での分割効率、トークン課金

デコーディング — 生成時のサンプリング制御

温度、top-k、top-p、ビームサーチ、繰り返しペナルティ、多様性と一貫性の調整

プロンプトエンジニアリング — 指示設計の技法

役割指定、例示、出力形式指定、分割statement、テンプレート化、プロンプト管理

Chain-of-Thought — 段階的推論の誘発

思考過程の明示、step-by-step指示、自己整合性、複雑な算術・論理課題への効果

ハルシネーション — もっともらしい誤生成

事実誤り、存在しない引用の捏造、原因分析、検証手法、業務利用上のリスク管理

RAG — 検索拡張生成

外部知識の検索と文脈注入、チャンク分割、再ランキング、出典提示、社内文書QA

埋め込みとベクトルDB — 意味検索の基盤

文埋め込み、コサイン類似度、近似最近傍探索、ベクトルデータベース、意味検索応用

ファインチューニング — LoRA等の効率的適応

全パラメータ調整、LoRA、アダプタ、PEFT、少量データでのドメイン適応と過学習対策

量子化と軽量化 — 低精度化による省資源化

8bit/4bit量子化、GGUF形式、プルーニング、メモリ削減、民生GPUでのローカル実行

推論最適化 — 高速サービングの技術

KVキャッシュ、FlashAttention、連続バッチング、vLLM、投機的デコーディング

長文脈化 — コンテキスト窓の拡張

RoPE、位置補間、100万トークン級文脈、長文書読解、中間情報の見落とし問題

Mixture of Experts — 疎な専門家混合

MoE構造、ルーティング、活性パラメータの削減、学習安定化、大規模モデルの効率化

蒸留と小型モデル — 知識圧縮の潮流

教師モデルからの蒸留、小型高性能モデル、応答データによる模倣学習、費用対効果

合成データ — モデル生成データでの学習

自己生成データ、データ拡張、品質フィルタ、モデル崩壊懸念、データ汚染の検出

評価ベンチマーク — LLM性能の測定

MMLU、HELM、HumanEval、アリーナ形式の人間評価、LLM-as-a-judge、評価の限界

アラインメント手法 — 価値整合の技術

DPO、RLAIF、Constitutional AI、原則ベース調整、有害出力抑制と過剰拒否の均衡

レッドチーミング — 脆弱性の敵対的検証

ジェイルブレイク、敵対的プロンプト、安全性試験、脱獄手口の分類と防御策評価

プロンプトインジェクション — 外部入力経由の攻撃

間接インジェクション、命令とデータの混同、ツール連携時の権限悪用、防御設計

ガードレール — 出力制御とモデレーション

コンテンツフィルタ、モデレーションAPI、出力検証層、利用規約、安全ポリシー設計

生成モデルの系譜 — GAN・VAEから拡散へ

VAE、GANの敵対的学習、モード崩壊、自己回帰モデル、拡散モデルへの主流交代

拡散モデルの原理 — ノイズ除去による生成

前向き拡散とノイズ除去過程、スコアベース生成、サンプリング步数、DDPM系の発展

Stable Diffusion — 潜在拡散とオープン化

潜在空間での拡散、VAE圧縮、テキスト条件付け、重み公開が生んだ生態系と論争

画像生成サービス — DALL-E・Midjourney等

テキストからの画像生成、スタイル指定、商用サービス比較、生成品質の急速な向上

CLIP — テキストと画像の対応学習

対照学習、画像テキスト埋め込みの共有空間、ゼロショット分類、生成モデルの条件付け

ControlNet — 構図・姿勢の条件付き生成

エッジ・深度・姿勢による制御、参照画像、レイアウト指定、制作ワークフロー統合

画像編集 — インペインティングとimg2img

部分修復、領域指定編集、画風変換、アップスケーリング、背景除去・置換の実務利用

画像モデルのカスタマイズ — 追加学習の手法

LoRA追加学習、少数画像からの概念学習、キャラクター・画風の再現、共有文化

動画生成 — テキストからの映像合成

Sora等の動画生成モデル、時間的一貫性、物理挙動の再現、映像制作への応用と課題

音声合成 — TTSと音声クローン

ニューラルTTS、少量サンプルからの声質複製、感情表現、ナレーション・吹替応用

音楽生成 — 作曲・編曲AI

テキストからの楽曲生成、歌声合成、スタイル模倣、音楽産業との権利調整、制作支援

音声認識 — Whisper等の大規模ASR

多言語音声認識、文字起こし、翻訳統合、雑音耐性、議事録・字幕生成への実装

コード生成 — Copilot・Codex系の開発支援

補完・生成・修正、GitHub Copilot、テスト生成、コードレビュー支援、生産性研究

AIエージェント — 自律的なタスク遂行

計画立案、行動ループ、環境観察、自己修正、ブラウザ操作・PC操作エージェント

ツール使用 — 関数呼び出しと外部連携

function calling、API実行、コード実行環境、検索連携、構造化された道具の選択

マルチエージェント — 複数AIの協調と分業

役割分担、議論・批評による品質向上、オーケストレーション、通信プロトコル設計

推論特化モデル — テスト時計算の拡大

OpenAI o1系、思考トークン、テスト時スケーリング、数学・科学問題での性能向上

マルチモーダルLLM — 視覚・音声統合モデル

画像理解、図表読解、音声対話、動画理解、単一モデルでの多モーダル入出力統合

3D生成 — テキストto 3DとNeRF

NeRF、ガウシアンスプラッティング、3Dアセット生成、ゲーム・XR制作パイプライン

翻訳・要約 — 言語処理タスクの再編

LLMによる機械翻訳、抽象的要約、文体調整、校正、従来専用モデルとの品質比較

教育への影響 — 学習支援と学術不正

個別指導型チューター、課題代行問題、剽窃検出、評価方法の再設計、教員の活用法

医療応用 — 診療支援と文書作成

診療記録の下書き、医学試験での性能、患者説明支援、誤情報リスク、規制上の位置付け

法務・行政応用 — 文書業務の自動化

契約書レビュー、判例調査支援、申請書類作成、行政窓口チャットボット、責任の所在

創作支援 — 小説・脚本・コピー生成

物語生成、アイデア出し、推敲支援、共同執筆、作家性と機械生成の関係を巡る議論

デザイン・広告応用 — 制作現場での実装

バナー・素材生成、バリエーション展開、ブランド管理、制作工程の短縮と品質管理

ゲーム・エンタメ応用 — NPC対話と資産生成

対話型NPC、テクスチャ・背景生成、シナリオ支援、プレイヤー体験のパーソナライズ

科学研究支援 — 文献調査から仮説生成へ

文献要約、コード解析、タンパク質構造予測の周辺、実験計画支援、研究不正の懸念

検索の変容 — 対話型検索と回答エンジン

生成回答付き検索、出典提示、Perplexity型サービス、ウェブトラフィックへの影響

オフィス統合 — 業務ソフトへの組み込み

文書・表計算・メールへのAI統合、会議要約、Microsoft 365 Copilot等、業務変革

オンデバイスAI — ローカル実行とエッジ推論

スマホ・PC上の小型LLM、NPU、プライバシー保護、オフライン動作、応答遅延の削減

APIとプラットフォーム — モデル提供の経済圏

従量課金API、Hugging Faceハブ、モデルホスティング、プラグイン・GPTs型の拡張

計算基盤 — GPU・アクセラレータと供給制約

NVIDIA H100等のGPU、TPU、クラスタ構築、半導体供給、計算資源の地政学的争奪

学習コストと環境負荷 — 電力・水・費用

学習・推論の電力消費、データセンター冷却、炭素排出、費用構造、効率化の取り組み

学習データセット — ウェブコーパスの構築

Common Crawl、LAION、重複除去、品質フィルタ、多言語比率、データ公開と透明性

学習データと著作権 — 権利者との係争

無許諾学習を巡る訴訟、フェアユース論、オプトアウト、ライセンス契約、報道機関対応

生成物の権利 — 著作物性と帰属

AI生成物の著作権登録可否、人間の創作的寄与、利用規約上の権利帰属、商用利用条件

ディープフェイク — 偽画像・偽音声の脅威

顔合成、音声なりすまし詐欺、選挙・報道への偽情報、非同意画像、検出と法規制

透かしと来歴証明 — 生成物の識別技術

電子透かし、C2PA等のコンテンツ来歴規格、検出器の精度限界、真正性表示の制度化

AI規制 — EU AI Act等の法制度

リスクベース規制、基盤モデル義務、各国のガイドライン、国際協調、安全性評価制度

労働への影響 — 職務の変化と代替

ホワイトカラー業務の自動化、職務再設計、生産性効果の実証研究、再教育政策

AIリテラシー — 利用者教育と組織導入

プロンプト教育、出力検証の習慣、利用ガイドライン策定、社内導入・ガバナンス体制

バイアスと公平性 — 学習データ由来の偏り

属性ステレオタイプ、言語間格差、表現の偏向、バイアス測定手法、緩和策の限界

プライバシー — 個人情報の記憶と漏洩

学習データの逐語的再現、個人情報の抽出攻撃、入力データの扱い、忘れられる権利

モデルセキュリティ — 窃取・汚染・悪用

モデル抽出攻撃、データポイズニング、マルウェア生成悪用、サプライチェーン防御

事実性向上 — 根拠提示と検証可能性

出典付き生成、グラウンディング、事実照合、自己検証、引用の正確性評価手法

システムプロンプト — 役割と挙動の設計

ペルソナ設定、応答方針の記述、優先順位規則、プロンプト漏洩対策、運用時の版管理

会話メモリ — 長期記憶とパーソナライズ

会話履歴の要約保持、ユーザープロファイル、記憶の更新と忘却、個別最適化の設計

構造化出力 — JSON生成と制約付き復号

スキーマ準拠出力、文法制約デコーディング、関数引数生成、システム連携の信頼性

多言語LLM — 日本語等の非英語対応

言語間性能差、日本語特化モデル、トークン効率、翻訳経由の知識転移、評価データ整備

ドメイン特化LLM — 金融・医療・法律特化

専門コーパスでの継続事前学習、用語適応、規制産業での検証要件、汎用モデルとの比較

人間とAIの協働 — ワークフロー設計

human-in-the-loop、下書き生成と人間承認、レビュー体制、責任分界、品質保証工程

生成AIのUX — 対話UIとストリーミング

チャットUI、逐次表示、編集・再生成操作、不確実性の提示、期待値設計と誤用防止

コミュニティ生態系 — 共有ハブと派生文化

Hugging Face、モデル・データセット共有、リーダーボード、画像生成コミュニティ

モデルライセンス — 公開条件と利用制限

Apache/MIT、独自コミュニティライセンス、商用制限、オープンソース定義を巡る論争

産業構造と投資 — 生成AIスタートアップ

巨額資金調達、クラウド大手との提携、収益モデル、バブル論、応用レイヤーの競争

評価の限界 — ベンチマーク汚染と過適合

テストデータ混入、リーダーボード最適化、実タスクとの乖離、動的評価・秘匿評価

解釈可能性 — モデル内部の理解

アテンション分析、回路的解釈、特徴の可視化、スパースオートエンコーダ、安全性応用

AGI論争 — 汎用性と存在論的リスク

AGI定義論、能力の外挿予測、破局リスク論と懐疑論、開発一時停止提言を巡る議論

AI安全研究 — 制御と監督の技術課題

スケーラブルな監督、欺瞞的挙動の検出、能力評価、危険能力テスト、安全性フレーム

オープン対クローズド — 公開戦略の対立

重み公開の利益と悪用リスク、透明性、寡占懸念、規制上の扱い、折衷的な公開形態

世界モデル — シミュレーションとしての生成

動画予測による物理理解、環境シミュレータ、プランニングへの利用、内的表現の研究

具身AIへの波及 — ロボティクスとの融合

視覚言語行動モデル、ロボット操作への基盤モデル応用、実世界データ収集の課題

ニューロシンボリック — 記号推論との統合

外部ソルバ連携、定理証明支援、知識グラフ統合、厳密性と柔軟性の相補的結合

自己改善の探究 — 生成による能力向上

自己生成データでの強化、自動プロンプト最適化、AIによるAI研究支援、限界の議論

AI生成コンテンツの氾濫 — ウェブ生態系の変質

低品質生成記事、SEOスパム、SNS上のボット、学習データ再帰汚染、情報生態系の劣化

生成AIと芸術論 — 創造性を巡る議論

作者性、独創性の再定義、アーティストの抗議運動、展覧会・コンペでの受容と排除

哲学的問題 — 理解・意識・意味の議論

中国語の部屋、確率的オウム論、記号接地、理解の有無を巡る認知科学・哲学の論争

今後の展望 — パーソナルAIと社会実装

個人専属アシスタント、マルチモーダル統合の深化、エージェント経済、制度整備の行方

生成AI時代（ChatGPT, Stable Diffusion等） — 退避・古典資料archive

旧世代モデルの資料、公開当時の報道・議論の記録、更新済み項目の旧版を保管する退避棚