Podmienená a vzájomná informácia: definície a význam v praxi

Podmienená a vzájomná informácia: definície a význam v praxi

Definícia množstva informácie

Nech I(x_i) predstavuje množstvo informácie potrebnej na určenie výskytu konkrétneho prvku x_i zo súboru X. Ak prijmeme ďalšiu náhodnú premennú y_i, môžeme definovať koncept podmienenej pravdepodobnosti P(x_i | y_i), ktorý vyjadruje pravdepodobnosť výskytu x_i za predpokladu známej hodnoty y_i.

Podmienená informácia

Podmienená informácia I(x_i | y_i) vyjadruje množstvo informácie potrebnej na určenie x_i, keď už poznáme hodnotu y_i. Formálne je definovaná ako negatívny logaritmus podmienenej pravdepodobnosti:

  • I(x_i | y_i) = -log P(x_i | y_i)

Táto hodnota zodpovedá nevyhnutnému množstvu informácie, ktoré musíme získať na jednoznačné určenie x_i v kontexte už prijatej informácie o y_i.

Výpočet množstva získanej informácie

Rozdiel medzi celkovým množstvom informácie potrebnej na určenie x_i a podmienenou informáciou dáva množstvo informácie, ktorú sme získali prijatím y_i. Tento rozdiel sa vyjadruje ako:

  • I(x_i) – I(x_i | y_i)

Ide o mieru, ktorá zobrazuje, o koľko sa znížila neistota pri určovaní x_i vďaka vedomosti o y_i.

Vzájomná informácia a jej význam

Termín vzájomná informácia označuje množstvo informácie získanej spoľahlivým poznaním jednej náhodnej premennej o druhej. Formálne vzájomná informácia medzi premennými X a Y je definovaná ako:

  • I(X; Y) = I(x_i) – I(x_i | y_i)

Táto veličina má zásadný význam v oblasti teórie informácie, štatistiky a strojového učenia, keďže kvantifikuje závislosť medzi náhodnými premennými. V praxi pomáha pri hodnotení efektívnosti kompresie dát, výbere relevantných charakteristík a optimalizácii komunikačných kanálov.