Definícia množstva informácie
Nech I(x_i) predstavuje množstvo informácie potrebnej na určenie výskytu konkrétneho prvku x_i zo súboru X. Ak prijmeme ďalšiu náhodnú premennú y_i, môžeme definovať koncept podmienenej pravdepodobnosti P(x_i | y_i), ktorý vyjadruje pravdepodobnosť výskytu x_i za predpokladu známej hodnoty y_i.
Podmienená informácia
Podmienená informácia I(x_i | y_i) vyjadruje množstvo informácie potrebnej na určenie x_i, keď už poznáme hodnotu y_i. Formálne je definovaná ako negatívny logaritmus podmienenej pravdepodobnosti:
- I(x_i | y_i) = -log P(x_i | y_i)
Táto hodnota zodpovedá nevyhnutnému množstvu informácie, ktoré musíme získať na jednoznačné určenie x_i v kontexte už prijatej informácie o y_i.
Výpočet množstva získanej informácie
Rozdiel medzi celkovým množstvom informácie potrebnej na určenie x_i a podmienenou informáciou dáva množstvo informácie, ktorú sme získali prijatím y_i. Tento rozdiel sa vyjadruje ako:
- I(x_i) – I(x_i | y_i)
Ide o mieru, ktorá zobrazuje, o koľko sa znížila neistota pri určovaní x_i vďaka vedomosti o y_i.
Vzájomná informácia a jej význam
Termín vzájomná informácia označuje množstvo informácie získanej spoľahlivým poznaním jednej náhodnej premennej o druhej. Formálne vzájomná informácia medzi premennými X a Y je definovaná ako:
- I(X; Y) = I(x_i) – I(x_i | y_i)
Táto veličina má zásadný význam v oblasti teórie informácie, štatistiky a strojového učenia, keďže kvantifikuje závislosť medzi náhodnými premennými. V praxi pomáha pri hodnotení efektívnosti kompresie dát, výbere relevantných charakteristík a optimalizácii komunikačných kanálov.