informazióne, teorìa dell'-

studio su basi matematiche dei fenomeni relativi alla trasmissione dell'informazione. Le ricerche, iniziate verso il 1920 da H. Nyquist e R. N. Hartley, presso i Bell Telephone Laboratories, si occuparono in principio dell'utilizzazione ottimale dei mezzi di trasmissione dell'informazione, dando luogo poi a una teoria statistica della comunicazione, la cui prima sintetica esposizione fu elaborata e pubblicata da C. E. Shannon nel 1949. L'idea fondamentale è che l'informazione deve essere trasmessa per mezzo di un canale (linea telefonica, telegrafica, onde hertziane) mediante un opportuno codice. Si individuano tre principali campi di studio tra loro collegati che si occupano rispettivamente dell'informazione propriamente detta (quantità di informazione, entropia di una sorgente di informazione, ecc.), delle caratteristiche dei canali di trasmissione e delle relazioni tra l'informazione che si deve trasmettere e il canale da usare per ottenere un'utilizzazione ottimale. Le sorgenti dei messaggi (flussi di informazione in dati intervalli di tempo) possono essere discrete o continue: una sorgente si dice discreta quando i suoi messaggi sono una sequenza di elementi appartenente a un insieme numerabile, come le sorgenti di numeri interi o di parole scritte; le sorgenti che non sono discrete vengono dette continue, come per esempio le sorgenti di musica e di conversazione. Analogamente i canali vengono distinti in discreti e in continui in base ai segnali che trasportano. Generalmente la sorgente non genera i messaggi in modo adatto a fungere da ingresso (input) nel canale, per cui esiste un dispositivo detto codificatore (encoder) che li trasforma per immetterli nel canale; analogamente all'estremità ricevente del sistema di comunicazione vi è un decodificatore (decoder) per riconvertire i segnali di uscita (output) in una forma intelligibile dal destinatario, che può essere un dispositivo o una persona. Caratteristica dei sistemi di comunicazione reali è il fatto che nel canale si introducono sempre segnali accidentali e imprevedibili (rumore) che modificano il contenuto di informazione del messaggio; uno degli scopi principali della teoria dell'informazione è appunto quello di determinare per ogni data catena di trasmissione la codificazione che a parità di velocità di trasmissione renda minimo l'effetto del rumore sull'intelligibilità del messaggio stesso. Per trasmettere un messaggio bisogna codificarlo e il sistema di codificazione dipende dalla natura del canale impiegato; esempi comuni di codici sono la parola, la scrittura, il codice Morse, ecc. I codici più usati nei sistemi di trasmissione sono quelli binari, i quali usano esclusivamente i simboli 1 e 0. Un esempio di codice binario è il codice Baudot dell'alfabeto delle telescriventi, in cui ciascuna delle ventisei lettere dell'alfabeto latino, includendo j, k, x, y, w, viene caratterizzata con una successione a cinque posti di 1 e 0. Se un alfabeto A contiene K simboli o lettere, H₀=log K misura il contenuto di informazione di un singolo simbolo; nell'alfabeto binario ogni simbolo ha un contenuto di informazione di log₂ 2=1 bit, mentre nell'alfabeto latino ogni lettera ha un contenuto di informazione di log₂ 26=4,7 bit. Il numero intero immediatamente superiore a log₂ K dà il numero delle lettere dell'alfabeto binario con cui è possibile caratterizzare un simbolo qualunque di A. Questo misura il grado di incertezza connesso alla ricezione di ogni simbolo, se tutti i simboli comparissero con la stessa probabilità. Se, invece, p₁, p₂,...p_n sono le probabilità con cui le singole lettere a₁, a₂,...a_n di un alfabeto compaiono nelle notizie (successione infinita di lettere) emesse dalla sorgente, la grandezza

è chiamata entropia della fonte di notizie e vale il teorema fondamentale della codificazione di Shannon: il numero medio di bit per la trasmissione non codificata di una lettera non può scendere al di sotto del valore di H₁. Nel caso in cui le probabilità siano tutte uguali, H₁ sarà uguale ad H₀. Nel caso dell'alfabeto latino, tenendo conto della frequenza (o probabilità) con cui le lettere compaiono nella lingua inglese, si ottiene bit, per cui, a norma del teorema fondamentale, si può trovare un codice mediante il quale ogni lettera può essere trasmessa con 4,13 bit di media. Per i linguaggi naturali si possono trovare codificazioni ancora più favorevoli di quelle stabilite dal teorema fondamentale. Il motivo di ciò risiede nel fatto che nelle notizie le lettere non si susseguono in modo indipendente le une dalle altre, poiché spesso accade che la probabilità di una lettera dipenda in modo decisivo da quella precedente. Tenendo conto della probabilità di comparsa di una singola lettera e della probabilità di comparsa di n-ple di lettere si può ottenere un'entropia H della fonte, minore di H₀ e H₁, e definire il concetto di ridondanza della fonte come . Poiché in inglese H è ca. uguale a 2 bit, la ridondanza è ≅0,57; intuitivamente ciò significa che ca. il 57% delle lettere è superfluo e se le si omettessero si avrebbe che ogni testo potrebbe essere ugualmente riconosciuto. In generale, si considera che il contenuto informativo di un messaggio sia connesso all'incertezza o alla sorpresa, con cui esso viene ricevuto, in quanto non determinabile a priori dalla sua struttura o da proprietà statistiche. Si definisce capacità di un trasmettitore, o di un canale, la quantità di informazioni che il trasmettitore o il canale può trasmettere o convogliare in un secondo: la sua unità di misura è il bit/s.Nel caso di un canale rumoroso la capacità diminuisce in funzione della probabilità di ricezione errata dovuta al rumore. Data la capacità di un canale, è sempre possibile trovare una codifica appropriata che permette di sfruttare una capacità minore con un tasso di errore minimo. In particolare, la codifica ottimale, cioè quella che sfrutta il minor numero di bit per codificare un messaggio, è tale da associare codifiche più brevi ai simboli più frequenti, e codifiche con lunghezze crescenti al diminuire della frequenza. Connessa a questa visione dell'informazione come incertezza, è anche la possibilità di ricostruire un segnale da un numero limitato di suoi campioni. Il teorema del campionamento permette di stabilire con quale frequenza possiamo prelevare valori da un canale per ricostruire il messaggio originale senza errori. Esso considera che ogni funzione continua risulti infatti dalla sovrapposizione di una successione di forme d'onda con altezze e frequenze diverse. È possibile ricostruire esattamente l'andamento della funzione, estraendone il valore in un numero limitato di punti diversi purché a distanza l'uno dall'altro inferiore al doppio del massimo periodo delle sue componenti d'onda. Componenti con frequenze maggiori porteranno a variazioni più rapide nei valori della funzione, e quindi ne aumenteranno la variabilità. La teoria dell'informazione classica, cioè quella basata sulle scoperte di Shannon, ha portato a una serie di risultati che hanno permesso lo sviluppo di nuove tecniche di trasmissione e ricezione del segnale, e quindi di diversi tipi di rete di telecomunicazioni. Per esempio, l'algoritmo di Viterbi permette di individuare la sequenza più probabile di stati (nascosti a un osservatore) che ha prodotto una sequenza di eventi osservati. Questo ha permesso di definire schemi efficienti di codifica, che sono oggi utilizzati in particolare nella trasmissione dei cellulari GSM. Altre nozioni di informazione di particolare rilevanza in informatica sono quella di Kolmogorov e quella quantistica. La teoria algoritmica dell'informazione di Kolmogorov fornisce una misura dell'informazione di una sequenza di simboli, definita dalla lunghezza (in bit) del più semplice algoritmo che permette di definire tale frequenza. Per esempio, una funzione costante può essere semplicemente dal valore di tale costante. Oppure una successione di valori che riproduce l'andamento di una funzione sinusoidale può essere descritta da un algoritmo che calcoli tale funzione. Una sequenza viene invece considerata completamente casuale quando non può essere descritta da nessun algoritmo la cui lunghezza sia significativamente minore della lunghezza della sequenza stessa. La teoria dell'informazione di Kolmogorov può dare un'indicazione della difficoltà inerente alla violazione di un codice crittografico, cioè della possibilità di prevedere le sequenze di simboli che codificano un dato messaggio. La teoria dell'informazione quantistica riguarda la possibilità di trasmettere informazione usando sistemi sottoposti alle leggi della teoria quantistica. In particolare, essa si distacca dalla teoria dell'informazione classica in quanto nei sistemi quantistici, per effetto del principio di indeterminazione, non è garantita la possibilità di mantenere lo stesso contenuto di informazione passando da un supporto a un altro. Una caratteristica della teoria quantistica è che lo stato di un sistema può risultare dalla sovrapposizione di diversi stati. In stati complessi questa sovrapposizione non è descrivibile come combinazione lineare, ma può essere sfruttata per aumentare la capacità trasmissiva fra sottosistemi che condividono parti di questi stati sovrapposti. La nozione di sovrapposizione può essere usata per violare codici crittografici, basandosi sulla simultanea evoluzione di un elevato numero di sistemi che originariamente si trovino nello stesso stato, e che vadano a occupare tutti gli stati dello spazio di ricerca del codice.

Bibliografia

S. Goldman, Information Theory, New York, 1953; W. Peterson, Error-Correcting Codes, Cambridge, 1961; D. A. Bell, Information Theory and Its Engineering Application, New York, 1962; E. Edwards, Information Transmission, Londra, 1964; R. Ash, Information Theory, New York, 1965; Cahier de Royaumont, Le concept d'information dans la science contemporaine, Parigi, 1965; G. Cullmann, Codage et transmission de l'information, Parigi, 1968; U. Eco, La struttura assente, Milano, 1968; J. R. Pierce, Teoria dell'informazione, Milano, 1968; H. Bakis, Geografia del potere. L'informazione nelle strategie internazionali, Bologna, 1989.