芸術・クリエイティブAI事例（音楽・絵画生成）

芸術・クリエイティブAI事例（音楽・絵画生成） — 概要

生成モデルによる音楽・絵画・映像制作の理論、代表システム、著名事例、倫理法務、産業応用までの入門ガイド

生成モデルの基礎 — 創作AIを支える三大方式の原理

GAN、VAE、拡散モデル、自己回帰モデル、尤度と標本化、生成と識別の対比

敵対的生成ネットワーク（GAN） — 生成器と識別器の競合学習

ミニマックス最適化、DCGAN、条件付きGAN、学習不安定性、画像生成ブームの起点

変分オートエンコーダ（VAE） — 潜在変数モデルによる生成

エンコーダ/デコーダ、KLダイバージェンス、再構成誤差、潜在空間の連続性、VQ-VAE

拡散モデル — ノイズ除去過程を学習する生成方式

順過程と逆過程、DDPM、スコアベース生成、サンプリング高速化、現行画像生成の主流技術

自己回帰生成 — 系列の逐次予測による創作

PixelRNN/PixelCNN、言語モデル型作曲、トークン化、逐次サンプリング、温度パラメータ

Transformerと創作生成 — 注意機構の芸術応用

自己注意、長距離依存の把握、画像トークン列生成、音楽系列モデリング、大規模事前学習

潜在空間と補間 — 作品の連続変形と探索

潜在ベクトル演算、モーフィング、スタイル軸の発見、潜在空間ウォーク映像、意味的編集

条件付き生成 — テキスト・クラス・画像による制御

クラス条件付け、テキスト条件付け、分類器フリーガイダンス、条件強度と忠実度の調整

アルゴリズミック・アートの系譜 — 計算機芸術の前史

1960年代のコンピュータアート、ヴェラ・モルナール、プロッタ描画、乱数と規則の造形

AARON — ハロルド・コーエンの描画プログラム

ルールベース描画システム、1970年代からの長期開発、自律的な構図・彩色、創作AIの古典事例

初期コンピュータ作曲 — イリアック組曲と確率音楽

ヒラーとアイザックソンの弦楽四重奏曲（1957）、規則と乱数による作曲、クセナキスの確率音楽

EMI — デイヴィッド・コープの作曲実験

Experiments in Musical Intelligence、既存様式の再結合、バッハ風・モーツァルト風生成、真贋論争

DeepDream — 特徴可視化から生まれた幻覚的画像

畳み込みネットの活性最大化、Google発の可視化技法（2015）、犬や渦巻き模様の増幅、パレイドリア的表現

ニューラルスタイル変換 — 内容と画風の分離合成

Gatysらの手法（2015）、グラム行列による画風表現、ゴッホ風・浮世絵風変換、実時間化研究

テキストからの画像生成 — text-to-imageの成立

自然言語プロンプト、大規模画像テキスト対学習、構図・画風の言語指定、2022年以降の普及

CLIPとマルチモーダル対応 — 言語と画像の共通表現

対照学習、画像テキスト埋め込み、VQGAN+CLIPによる初期生成アート、類似度誘導

Stable Diffusion — 潜在拡散モデルの公開

潜在空間での拡散、オープンウェイト公開（2022）、ローカル実行、派生モデル群の爆発的展開

DALL-Eシリーズ — OpenAIの画像生成モデル

離散VAEから拡散方式への進化、unCLIP、インペインティング対応、対話型生成への統合

Midjourney — 画風重視の商用生成サービス

Discord経由の生成、独自の審美的チューニング、バージョン進化、イラスト・コンセプトアート利用

StyleGANと顔・肖像生成 — 高解像度の写実生成

スタイル注入構造、実在しない人物画像、潜在空間編集、This Person Does Not Exist的応用

画像対画像変換 — pix2pixとCycleGAN

対応付きデータの変換学習、対応なし変換、写真から絵画、馬とシマウマ、季節変換の事例

ControlNet — 構図・ポーズの精密制御

エッジ・深度・姿勢骨格による条件付け、線画からの着彩、既存拡散モデルへの追加構造

LoRAと追加学習 — 少量データでの画風カスタマイズ

低ランク適応、DreamBoothによる被写体学習、特定キャラクター・画風の再現、配布文化

インペインティング・アウトペインティング — 部分修復と拡張

マスク領域の再生成、画面外への描き足し、名画の周辺拡張、写真修復・不要物除去

img2imgと参照画像生成 — 下絵からの変換

ノイズ強度による変形度調整、ラフスケッチの清書、写真の絵画化、既存作品の再解釈

超解像・アップスケーリング — 生成画像の高精細化

SRGAN、ESRGAN、Real-ESRGAN、細部の生成的補完、印刷用高解像度化、アニメ絵特化モデル

プロンプト工学 — 生成指示の設計技法

画風・画家名・カメラ用語の指定、ネガティブプロンプト、重み付け構文、呪文と呼ばれる定型句

シード値と再現性 — 生成結果の管理

乱数シード固定、同一構図のバリエーション生成、パラメータ記録、生成メタデータの埋め込み

自動着色 — 線画・白黒写真への彩色AI

線画彩色ネットワーク、ヒント色指定、白黒写真のカラー化、漫画制作支援ツールへの搭載

スケッチベース生成 — 落書きから完成画へ

セマンティックマップからの風景生成、ラフから精細画像、対話的キャンバス、共同描画UI

AI作曲の基礎 — 記号系と音響系の二系統

MIDI・楽譜レベル生成と波形レベル生成の対比、ピアノロール表現、音楽トークン化

マルコフ連鎖作曲 — 確率遷移による旋律生成

n次マルコフモデル、既存曲からの遷移確率学習、コーパスベース作曲、初期自動作曲の定番手法

ルールベース作曲 — 対位法・和声規則の形式化

厳格対位法の自動化、和声進行規則、制約充足問題としての作曲、生成文法アプローチ

RNN/LSTMによる旋律生成 — 系列学習作曲の展開

文字レベル生成の音楽応用、フォークソング学習、長期構造の課題、リアルタイム旋律継続

Music Transformer — 長期構造をもつ楽曲生成

相対位置注意、ピアノ演奏データ学習、動機の反復と展開、Transformer作曲の代表研究

Google Magenta — 創作支援の研究プロジェクト

オープンソース音楽生成ツール群、MusicVAE、NSynth、Magenta Studio、DAW連携プラグイン

MuseNetとJukebox — OpenAIの音楽生成研究

多楽器MIDI生成、歌声込み波形生成、ジャンル・アーティスト条件付け、計算コストの壁

AIVA — AI作曲の商用サービス事例

映像・ゲーム向け劇伴生成、作曲家団体への登録が話題化、スタイル指定生成、ロイヤリティ設計

歌詞付き楽曲生成サービス — SunoとUdio

テキストから完成曲、歌声・伴奏・構成の一括生成、2024年頃の普及、権利者との係争

WaveNet — 波形レベル生成の転換点

拡張畳み込みによる音声波形の直接生成、音声合成品質の飛躍、音楽波形生成への応用

NSynthと音色合成 — ニューラル・シンセサイザー

楽器音の潜在表現、音色の補間・混合、専用ハードウェアNSynth Super、新音色の探索

歌声合成 — 統計的手法から深層学習へ

波形接続方式、HMM歌声合成、DNN方式への移行、調声文化、バーチャルシンガーの隆盛

コード進行・自動伴奏生成 — 和声の機械学習

旋律への和声付け、コード進行パターン学習、自動アレンジ、リードシートからの伴奏生成

リズム・ドラムパターン生成 — 打楽器系列の学習

ドラムループ生成、グルーヴの定量化、ヒューマナイズ、ジャンル別リズム様式の学習

音源分離 — 楽曲からのパート抽出

ボーカル・ドラム・ベースの分離、U-Net系モデル、カラオケ生成、リミックス・サンプリング活用

自動採譜 — 演奏音源から楽譜への変換

多重音高推定、ピアノ採譜、オンセット検出、MIDI化、練習支援・アーカイブ活用

様式模倣作曲 — バッハ風生成とDeepBach

コラール様式の学習生成、聴取者判別実験、作曲家様式の統計的特徴、真作との識別課題

即興演奏AI — 人間と共演するシステム

リアルタイム応答生成、ジャズ即興の相互作用、ライブセッション支援、応答遅延の設計

音楽情報検索（MIR）との接点 — 分析技術と生成の循環

特徴量抽出、ジャンル分類、類似楽曲検索、ISMIRコミュニティ、分析結果の生成条件への転用

動画生成AI — text-to-videoの発展

時間方向の一貫性、拡散モデルの動画拡張、短尺映像生成、映像制作ワークフローへの影響

3D生成 — NeRFとテキストからの立体生成

ニューラル放射輝度場、多視点合成、text-to-3D、ゲーム・映像アセットへの応用

アニメーション支援 — 中割り・補間の自動化

フレーム補間、線画の中割り生成、モーション転写、アニメ制作工程の省力化と品質論争

ゲームの手続き型生成 — レベル・地形・アセット

PCG（Procedural Content Generation）、地形・ダンジョン生成、機械学習によるレベルデザイン支援

言語芸術の生成 — 詩・小説・脚本AI

大規模言語モデルによる創作文、共作執筆、文学賞応募事例、文体模倣とオリジナリティ

ダンス・振付生成 — 音楽駆動の身体動作合成

モーションキャプチャ学習、音楽特徴からの振付生成、3Dアバターダンス、舞台演出応用

ジェネレーティブデザイン — 建築・工業デザインの生成

制約条件からの形態探索、トポロジー最適化、建築ファサード生成、CADツールへの統合

エドモンド・ド・ベラミー — AI絵画のオークション事例

GAN生成肖像画、クリスティーズで43万ドル超落札（2018）、コレクティブObvious、署名に損失関数

The Next Rembrandt — 巨匠様式の再現プロジェクト

レンブラント作品のデータ分析、3Dプリントによる筆致再現（2016）、広告プロジェクト発、様式復元の議論

AI美術コンテスト論争 — 受賞をめぐる賛否

米州フェアのデジタル部門でAI生成画が優勝（2022）、開示義務、写真登場時との類比、応募規定の改定

データ彫刻とAIアート — レフィク・アナドールら

大規模データの機械学習可視化、美術館コレクション学習作品、没入型映像インスタレーション

AIアーティスト・コレクティブ — 実践者たちの潮流

GANアートの先駆者たち、研究者と作家の協働、メディアアート祭での展示、作家性の所在

学習データと著作権 — 訓練利用の適法性

著作物の学習利用、フェアユース論、日本の著作権法30条の4、テキスト・データマイニング例外

生成物の著作権帰属 — 誰の作品か

AI単独生成物の保護否定判断、人間の創作的寄与、米著作権局の登録実務、各国の制度差

データセット問題 — LAIONとオプトアウト

ウェブ収集画像の大規模データセット、作家の除外申請、Have I Been Trained等の照会ツール

生成AIをめぐる訴訟 — 画像・音楽分野の係争

ストックフォト企業による提訴、アーティスト集団訴訟、レコード会社と音楽生成の争い、判例形成

ディープフェイクと肖像 — 顔・映像合成の悪用問題

顔交換技術、偽動画の拡散、本人同意なき合成、検出技術、各国の規制立法動向

来歴証明と電子透かし — C2PAとコンテンツ認証

生成物への不可視透かし、メタデータ来歴記録、Content Credentials、真正性検証の標準化

声の権利とボイスクローン — 音声模倣の倫理

少量サンプルからの声質複製、歌手の声の無断利用、パブリシティ権、公認ボイスモデルの試み

画風模倣の倫理 — 存命作家スタイルの学習問題

特定作家名プロンプトの是非、追加学習による画風複製、創作コミュニティの反発、ガイドライン策定

人間とAIの協働制作 — コ・クリエーションの方法論

発想支援、下書き生成と人間の仕上げ、反復対話による作品洗練、主導権とクレジット設計

広告・グラフィックデザイン実務 — 商用制作への導入

バナー量産、ラフ案出し、Adobe Fireflyなど商用安全学習モデル、ブランドガイドライン準拠生成

映画・映像制作への導入 — VFXとプリプロダクション

コンセプトアート生成、背景合成、デエイジング、脚本段階の絵コンテ支援、労組との合意形成

マンガ・イラスト業界への影響 — 制作支援と摩擦

背景・トーン作業の省力化、投稿プラットフォームのAI作品規定、商業誌の利用基準、専業者の受容差

音楽産業への影響 — 配信とAI楽曲の流通

ストリーミングへのAI曲大量投稿、既存アーティスト声の無断模倣曲、プラットフォームの削除基準

ゲーム開発でのアセット生成 — 量産と品質管理

テクスチャ・アイテム画像生成、NPC台詞生成、ストアのAI利用開示要件、開発パイプライン統合

ファッションとAI — デザイン生成と試着合成

柄・シルエット生成、バーチャル試着、AIモデル起用広告、トレンド予測との接続

写真表現とAI — 計算写真と生成補正

スマートフォンの生成的補正、空の置換、被写体消去、報道写真の真正性基準、写真賞での議論

生成品質の定量評価 — FID・IS・CLIPスコア

Inception Score、Fréchet Inception Distance、テキスト整合性評価、指標の限界と人間評価の併用

計算論的創造性 — 創造性の理論研究

マーガレット・ボーデンの探索的/変形的創造性、新規性と価値の定義、ICCCコミュニティ

人間評価と識別実験 — 芸術のチューリングテスト

AI作品と人間作品の判別実験、聴取者・鑑賞者調査、制作者情報が評価に与えるバイアス

美的評価の機械学習 — 審美スコアの自動推定

画像美的評価モデル、写真スコアリング、審美データセット、生成モデルの選好チューニングへの利用

多様性とモード崩壊 — 生成の偏りの問題

GANのモード崩壊、出力の均質化、多様性指標、データ偏りが生む表現の画一化と是正手法

創作系データセット — 画像・音楽コーパスの実際

LAION、WikiArt、MAESTRO（ピアノ演奏）、Lakh MIDI、収集方法とライセンス表記の課題

オープンソース生態系 — モデル共有と派生文化

Hugging Face、Civitai等の共有ハブ、マージモデル、コミュニティ主導の改良と品質格差

ローカル生成環境 — 手元GPUでの画像・音楽生成

WebUI系ツール、ComfyUIのノードワークフロー、VRAM要件、量子化、プライバシーと自由度の利点

クラウド生成API — サービスとしての創作AI

画像・音楽生成API、従量課金、コンテンツフィルタ、商用利用条項、アプリ組み込み事例

プロンプト共有文化 — 生成レシピの流通

プロンプト共有サイト、パラメータ付き投稿、スタイル再現レシピ、プロンプト自体の価値と権利

モデルライセンス — 生成AIの利用許諾設計

CreativeML OpenRAIL、責任ある利用条項、商用可否、生成物の権利条項、オープンの定義論争

美術・音楽教育への影響 — 創作教育とAIリテラシー

授業でのAI利用指針、模写・習作との関係、道具としての指導法、評価基準の再設計

クリエイター労働市場への影響 — 職能変化と再編

イラスト・作曲受注への影響、単価変動、新職種（プロンプト設計等）、ハリウッドのストライキ争点

インタラクティブアート — 観客参加型のAI展示

リアルタイム生成インスタレーション、観客入力への応答、美術館・芸術祭でのAI企画展

NFTと生成アート — ブロックチェーン上の作品流通

ジェネラティブアートのオンチェーン発行、シード駆動のシリーズ作品、市場の急騰と沈静化

サイエンスアートとの接点 — データ・生命科学の美術化

科学データの芸術的可視化、バイオアートとの協働、研究機関のアーティスト・イン・レジデンス

日本語詩歌の生成 — AI俳句・短歌の試み

俳句生成研究、季語・定型の制約処理、新聞歌壇等での話題化、日本語韻律の扱い

ライブコーディング音楽 — 隣接する即興生成文化

TidalCycles、SuperCollider等によるコード即興演奏、アルゴレイヴ、生成AIとの融合実験

感情推定と音楽 — ムード分析・推薦との連携

楽曲の感情タグ推定、ムード指定生成、BGM自動選定、ウェルネス用途の生成音楽

生体信号からの生成 — 脳波・身体データの作品化

脳波・心拍を入力とする音響/映像生成、バイオフィードバックアート、ニューロアートの実験

エージェント型アーティスト — 人格をもつ創作AIの構想

バーチャルシンガー・AIタレント、継続的作風をもつ生成エージェント、作家性の演出と運用

芸術・クリエイティブAI事例（音楽・絵画生成） — 退避・古典資料archive

旧世代生成ツールの記録、終了サービスの資料、初期GANアート作品集など歴史的資料の保管庫