Informationstheorie

Nachricht

Eine Nachricht ist eine zur Weitergabe bestimmte Folge von Zeichen mit Bedeutung für einen Empfänger.
Allgemeine Aussagen aus dem Zusammenhang zwischen Nachricht, Daten und Information:

Gleiche Nachricht kann über unterschiedliche Daten in den Computer gelangen (Tastatureingabe, Spracheingabe, optisches lesen). Dieser Gesichtspunkt ist für die Rationalisierung der Dateneingabe nutzbar.
Gleiche Nachricht kann durch den Computer unterschiedlich ausgegeben werden → ergonomische und rationelle Informationsaufname durch den Menschen → Akzeptanz von Computergebnissen
Daten lassen sich ausdehnen oder komprimieren, ohne das Information davon berührt wird → Erklärung für Komprimierung

Zeichen

Zeichen sind Äquivalenzklassen gleichbedeutender Signale.

Zeichen sind nicht natürlich - in ihre Entstehung sind Menschen involviert.
Zeichen sind etwas, mit dem es gelingt, dass ein Partner A dem Partner B etwas zu verstehen gibt.
… sind Signale, die vom Empfänger decodierbar oder zumindest interpretierbar sind, und damit Information oder Redundanz enthalten.
als Zeichen bezeichnet man etwas, das für etwas anderes steht und auf dieses hinweist.
Wörter sind Zeichen für Vorstellungen im Bewusstsein.

Arten von Zeichen

Diakritisches Zeichen
Chemisches Zeichen
Font (Zeichensatz)¹⁾
Zeichen - ein Buchstabe, eine Ziffer, ein Satzzeichen, ein anderes Symbol oder Steuercode, die im Computer jeweils durch eine Informationseinheit - ein Byte - dargestellt werden.
Zeichen (Sprachwissenschaft) - im allgemeinen Sprachgebrauch ein natürliches oder künstliches, sinnlich wahrnehmbares Phänomen, das für ein anderes (auch abstraktes) Phänomen steht, also Bedeutung erhält. Grundsätzlich kann alles sinnlich wahrnehmbare durch einen Interpreten zum Zeichen werden

Information beschreibt das Wissen, das in einer Nachricht enthalten ist. Dabei ist der Informationsgehalt einer Nachricht immer abhängig vom Empfänger und ob dieser dadurch zu neuen Erkenntnissen gelangt und seine Unbestimmtheit verringert.

Eine Nachricht kann zur Information werden.
Bei der Betrachtung der Information stehen nicht die Zeichen selbst im Vordergrund, sondern die Ereignisse, die durch die Zeichen dargestellt werden (Ereignisaspekt).
Information ist stets von einem Dualismus begleitet, der sich mit einer Analogie zu den Begriffen Behälter und Inhalt beschreiben lässt. Jeder Satz in einem Buch besteht aus Wörtern, Buchstaben und letztendlich aus Stellen geschwärzten Papiers. Er wurde mit dem Ziel geschrieben, dem Leser Information zu vermitteln. Tatsächlich ist der Satz aber nicht mit dieser Information gleichzusetzen, er löst lediglich Informationsflüsse aus, die im Gehirn des Lesers Erkenntnisse hervorrufen.

Unbestimmtheit

Die Information einer Nachricht über das Ereignis e_i aus der Menge möglicher Ereignisse E, der Informationsgehalt bzw. die in der Nachricht enthaltene Informationsmenge, ist die Differenz der Unbestimmtheiten, vor und nach den Erhalt der Nachricht, also:
I(e_i) = U_v(E) - U_n(E)

Verringert eine Nachricht die Unbestimmtheit nicht, so ist U_v(E) = U_n(E) und der Informationsgehalt gleich Null.
Ist die Unbestimmtheit durch die Nachricht vollständig beseitigt, so ist U_n(E) = 0 und der Informationsgehalt entspricht der vorher existierenden Unbestimmtheit U_v(E).

Messung von Unbestimmtheit

aus semantischer Sicht → Die (semantische) Unbestimmtheit besteht darin, dass das der Nachricht zu Grunde liegende Ereignis eintreten kann, aber nicht eintreten muss.
aus syntaktischer Sicht → Die (syntaktische) Unbestimmtheit liegt darin, dass ein zur Beschreibung geeignetes Zeichen bei der Formierung der Nachricht benötigt wird - oder nicht.
Die syntaktische Sicht liefert brauchbare Ergebnisse für die technischen Vorgänge der Verarbeitung, Speicherung und Übertragung von Information. Die Unbestimmtheit wird bitweise gesehen und gilt als beseitigt, wenn eine Speicherstelle oder ein Kanal einen der beiden möglichen Zustände 0 oder 1 angenommen hat.
Allgemein hängt die Unbestimmtheit also von
- der Anzahl der möglichen Ereignisse
  - Je mehr mögliche Ereignisse, desto größer die Unbestimmtheit
  - Wahrscheinlichkeiten realer Ereignisse können eigentlich nie völlig sicher sein. Deshalb steht 1 für nahe 1
- dem Wahrscheinlichkeitsgefälle zwischen den Ereignissen ab → Je gleichgewichtiger, desto größer die Unbestimmtheit

Kommunikation

Kommunikation ist der Austausch von Information zwischen Systemen.

Quelle der Information sind Prozesse in der Natur, Technik, Wissenschaft und Gesellschaft. Der Ablauf dieser Prozesse verringert Unbestimmtheit und erzeugt dadurch Information
Die Information wird durch einen Sender zu einer Zeichenfolge formiert. Das geschieht, um ihre Weitergabe in Raum und Zeit zu ermöglichen. Die physikaltische Form der Zeichenfolge ist dabei abhängig vom Kanal, über den die Zeichenfolge weitergegeben werden soll.
Der Kanal ist das Trägermedium, in dem die physikalischen Signale für den Transport sorgen.
Die Zeichenfolge gelangt zu einem Empfänger. Dieser ordnet unter Berücksichtigung der Syntax der Zeichenfolge eine Bedeutung zu. In der Senke erfolgt danach die Verwertung der Information.
Dem Empfänger muss also bekannt sein:
- Der Zeichenvorrat
- Die zulässige Aufeinanderfolge von Zeichen und damit die mögliche Struktur der Zeichenfolgen (Syntax)
- Die Bedeutung einzelner Zeichen und Zeichenfolgen, also ihre Zuordnung zu einer Erscheinung (Semantik)