Teoria Informației

Aceasta a fost propusă inițial de Claude E. Shannon în anul 1948, pentru a găsi limitele fundamentale ale procesării semnalelor și ale operațiilor din telecomunicații, precum compresia datelor, într-un articol remarcabil, intitulat „O teorie matematică a comunicației”. Apoi, cu timpul, teoria informației a fost extinsă, fiind aplicată în multe alte domenii, inclusiv în neurobiologie , evoluție , genetică , ecologie , termodinamică , calculatoare cuantice, detecția plagiatelor și alte discipline care implică analiza datelor și exploatare de date (data mining) .

O importantă măsură în teoria informației este entropia informațională, mărime de regulă exprimată prin numărul mediu de biți necesar pentru stocarea sau comunicarea respectivei informații. Intuitiv, entropia cuantifică nivelul de incertitudine implicat de o variabilă aleatoare. De exemplu, o aruncare de monedă va avea entropie informațională mai mică decât o aruncare cu zarul.

Printre aplicațiile teoriei informației se numără compresia datelor fără pierderi (de exemplu algoritmul de compresie ZIP), cea cu pierderi (de exemplu MP3) și codificarea canalelor telecomunicaționale (codurile detectoare și corectoare de erori).

Acest sector științific se află la intersecția mai multor domenii de studiu tradiționale : matematică, statistică, informatică, fizică, neurobiologie și inginerie electrică. Impactul său a fost crucial pentru succesul misiunilor Voyager, inventarea CD-ului, dezvoltarea Internetului, studiile moderne în lingvistică și psihologia cognitivă (percepția senzorială umană), înțelegerii găurilor negre, genomică și multor altor domenii .

Teoria informației a fost inițiată de Ralph Hartley în 1928, pornind de la tratarea teoretică a problemelor de telecomunicații.

Evenimentul care a dus la crearea științei teoriei informației și care a adus-o în atenția publicului a fost publicarea de către Claude Shannon, un matematician și inginer american, a articolului său „O teorie matematică a comunicației” în revista Bell System Technical Journal în iulie și octombrie 1948, articol care a devenit demult o lucrare clasică în domeniu. Shannon și-a propus să studieze din punct de vedere matematic problemele ce apar la transmiterea informațiilor cu ajutorul semnalelor în sistemele comunicațiilor electrice.

Înaintea acestei lucrări la Laboratoarele Bell din Statele Unite se obținuseră unele rezultate limitate privind teoria informației, toate presupunând evenimente de probabilități egale. Lucrarea din 1924 a lui Harry Nyquist, „Anumiți factori care afectează viteza telegrafului”, conține o secțiune teoretică ce cuantifică "informația" și "viteza liniei" pe care ea poate fi transmisă de către un sistem de comunicații, dând relația ${\displaystyle W=K\log m}$ , unde W este viteza de transmisie a informației, m este numărul de nivele diferite de tensiune dintre care se poate alege la fiecare tact de timp, iar K este o constantă. Lucrarea lui Ralph Hartley din 1928, Transmisia informației, folosea cuvântul informație drept cantitate măsurabilă, care reflecta capacitatea receptorului de a distinge un șir de simboluri de un altul, cuantificând astfel informația ca ${\displaystyle H=\log S^{n}=n\log S}$ , unde S era numărul de simboluri posibile, iar n numărul de simboluri dintr-o transmisie. Unitatea naturală de informație era deci cifra zecimală, numită mai târziu hartley în cinstea autorului. Și britanicul Alan Turing a folosit în 1940-1942 idei similare în analiza statistică, conducând la spargerea cifrurilor mașinii germane de cifrat Enigma în timpul celui de-al Doilea Război Mondial.

Mare parte din matematica din spatele teoriei informației cu evenimente de probabilități diferite a fost dezvoltată pentru domeniul termodinamicii de către Ludwig Boltzmann și Josiah Willard Gibbs.

În lucrarea revoluționară a lui Shannon, elaborată în cea mai mare parte la Laboratoarele Bell până în 1944, el a introdus pentru prima oară un model calitativ și cantitativ al comunicației ca proces statistic ce stă la baza teoriei informației, deschizând cu propoziția:

„Problema fundamentală a comunicației este aceea a reproducerii într-un punct, fie exact, fie aproximativ, a unui mesaj ales dintr-un alt punct.”

În această lucrare au fost definite următoarele idei:

• Entropia informațională și redundanța unei surse, și relevanța acesteia, prin teorema codificării sursei;
• Informația mutuală și capacitatea unui canal de comunicație afectat de zgomot, inclusiv promisiunea comunicației fără zgomote dată de Teorema codificării canalului zgomotos;
• Rezultatul practic al legii Shannon-Hartley pentru capacitatea unui canal gaussian;
• Bitul — o nouă modalitate de a vedea unitatea fundamentală de informație.

Contribuții la dezvoltarea teoriei informației au adus Norbert Wiener (din 1948), Alexander Hincin (ru) (1953), Andrei Kolmogorov (1956).

 

La Wikicitat găsiți citate legate de Teoria informației.

• Lambert F. L. (1999), „Cărți bătute, mese vraiște și dormitoare dezordonate - exemple de creșteri ale entropiei? Aiurea!”, Jurnalul de educație chimică (en.)
• Societatea IEEE pentru Teoria Informației (ITSOC) a IEEE și pagina acesteia Monografii, studii și analize ale ITSOC Arhivat în 12 iunie 2018, la Wayback Machine. (en.)