情報理論・通信理論

総合・百科・序論 — 情報理論・通信理論 概要

総合・百科・序論分野の情報理論・通信理論領域の概要と入門ガイド

情報量の対数尺度

ラルフ・ハートリーの1928年通信論文から、選択肢の数を対数で測る情報量の原型を学ぶ

シャノン情報エントロピー

クロード・シャノンの1948年通信理論から、記号の不確実性を平均情報量として測る方法を学ぶ

ビット

ジョン・テューキーが1947年に造語したbitから、二者択一を情報量の基本単位とする考えを読む

情報源符号化定理

シャノンの1948年定理から、平均符号長を情報源エントロピーへ近づける圧縮限界を理解する

通信路符号化定理

シャノンの雑音通信路定理から、容量未満なら誤り率を任意に下げられる原理を学ぶ

雑音通信路モデル

ベル研究所の電話回線を背景に生まれたシャノン模型から、送信・雑音・受信の関係を読む

通信路容量

シャノンの1948年公式を用い、帯域幅と信号対雑音比が最大伝送速度を決める仕組みを学ぶ

冗長性

シャノンが英語文章の予測実験で示した冗長性から、欠損の復元と圧縮余地が生まれる理由を読む

ハフマン符号

デイヴィッド・ハフマンの1952年手法から、頻出記号へ短い符号を割り当てる圧縮法を学ぶ

算術符号化

ヨルマ・リッサネンの1976年研究から、記号列全体を一つの小数区間で表す圧縮法を理解する

ハミング符号

リチャード・ハミングが1950年に発表した符号から、冗長ビットで一ビット誤りを訂正する方法を学ぶ

パリティ検査

IBMの1950年代磁気テープを例に、1の個数を偶数または奇数へそろえて誤りを検出する

リード・ソロモン符号

リードとソロモンの1960年符号から、CDやQRコードの連続した欠損を訂正する仕組みを学ぶ

Lempel-Ziv圧縮

レンペルとジヴの1977年アルゴリズムから、反復文字列を辞書参照へ置き換える圧縮法を学ぶ

コルモゴロフ複雑性

コルモゴロフの1965年定義から、文字列を生成する最短プログラムの長さで複雑さを測る

相互情報量

シャノンの1948年理論から、一方の変数を知ることで減少する他方の不確実性を測る方法を学ぶ

カルバック・ライブラー情報量

カルバックとライブラーの1951年論文から、二つの確率分布の隔たりを測る非対称量を理解する

レート歪み理論

シャノンの1959年研究から、許容する再現誤差と必要な符号化速度の交換関係を学ぶ

標本化定理

ハリー・ナイキストの1928年通信研究から、最高周波数の二倍で信号を標本化する条件を学ぶ

フーリエ解析

ジョゼフ・フーリエの1822年熱理論から、複雑な波形を正弦波の重ね合わせへ分解する方法を学ぶ

変調方式

レジナルド・フェッセンデンの1906年音声放送から、搬送波へ情報を載せる振幅変調の原理を読む

多重化

ベル研究所が1962年に導入したT1回線を例に、複数通話を時分割で一本の回線へ収める方法を学ぶ

パケット交換

ポール・バランの1964年分散通信網から、データを小片へ分け複数経路で送る仕組みを読む

TCP/IP

ヴィントン・サーフとロバート・カーンの1974年論文から、異種ネットワークを接続する規約を学ぶ

OSI参照モデル

ISOが1984年に標準化したOSI七層モデルから、通信機能を階層分割する設計思想を理解する

完全秘匿性

シャノンの1949年暗号理論から、ワンタイムパッドが暗号文へ情報を漏らさない条件を学ぶ

公開鍵暗号

ディフィーとヘルマンの1976年論文から、秘密鍵を共有せず安全に通信する構想を理解する

量子情報

ベネットらが1993年に提案した量子テレポーテーションから、量子状態を転送する仕組みを学ぶ

意味情報

カルナップとバー＝ヒレルの1952年研究から、命題の内容を確率と論理で測る試みを検討する

ネットワーク符号化

アルスウェーデらの2000年論文から、中継点で情報を混合して通信量を高める方法を学ぶ