情報理論

20世紀の40代導入理論の基本概念、シャノン。 情報理論 - 、転送保存すると、自然な技術や社会システムのデータを取得するプロセスの科学。 そのようなコンピュータ科学、言語学、暗号化、制御理論、画像処理、遺伝学、心理学、経済学などの科学分野の多くの用途では、製造方法の組織は、この科学を使用しています。

非常に緊密に符号化理論にリンクされた情報理論と近代的な条件で、信号、メッセージ、および信号処理の理論との間の一致の最も一般的な問題を説明し、量子化が検討特徴と回復信号とスペクトルと の相関分析 が挙げられます。

情報理論は、アカウントにその値を取ることなく、定量的にほとんどの部分は、「情報」の基本コンセプトを考慮し、時々無意味。 このアプローチでは、テキストのページは約看板やシンボルの数によって決まる同じ量のデータが含まれていますし、厳密に言えば、という事実に依存しない、それは一部の記号の絶対に無意味と混沌と設定されていても、そこに印刷されています。

彼らは正確に情報を送信する必要があるため、このアプローチは、正当化が、唯一の通信システムのシミュレーションのためにされた 通信チャネル、 文字や記号のいずれかに設定することができます。 それは、アカウントへのデータの価値と意味をとる必要があるときに、定量的アプローチが受け入れられません。 これらの状況は、この理論の適用可能性の分野にかなりの制限を課します。

情報理論の基礎は、データの送受信に直接関連を含む様々な問題を考慮することを含みます。 次のように教育する際に考慮される主通信方式です。 情報理論とコーディング 彼はこれらの単語やアルファベットの特定の文字を書かれた単語の集合であるメッセージのソース、であることを考慮しています。 メッセージの送信元は、任意の天然またはテキストにすることができ、人工言語、人間の言語、データベース、およびいくつかの 、数学的モデル の文字列を作成します。 信号伝送のための媒体 - 送信機は、通信チャネルの物理的性質に対応した信号にメッセージを変換します。 そのような通路の中には、情報パラメータの値に歪みを導入する干渉を受けます。 受信機は、受信した歪んだ信号から元のメッセージを復元します。 特定の人物や技術的なデバイス - 還元形でメッセージが先に来ます。

メッセージ・ソース、すなわち一定の確率で決定される各メッセージの外観、本質的に統計的です。 シャノンの情報理論は、メッセージの確率が1に等しい場合、それは、彼の外見はかなりの不確実性と、それはすべての情報を運ばないと信じていないと考えています。

情報理論の重要な問題の一つは、メッセージの送信元の通信チャネルおよび情報の特性の調整を検討します。 帯域幅は 、毎秒1ビット単位で決定されます。

通信システムに伴う1つの問題は、所望の信号経路への干渉です。 シャノンは、残念ながら、私たちはそれらに対処するための具体的な方法を与えるものではありません。 それは多くの時間とコストがかかるため、多くの回メッセージを繰り返され、最も簡単な除去方法は非常に有効ではない情報の送信を。 はるかに高い効率は、データ伝送のエラーを検出し、正しいできるようにするコードを使用することができます。