Кездейсоқ шамалардың ε-энтропиясы және шуды каналдардағы өзара ақпарат

Кездейсоқ шаманың эпсилон-энтропиясы

Эпсилон-энтропия

Егер:

1. Ақпарат көзінің жеке жағдайлары дегеніміз U кездейсоқ шаманың тәуелсіз іске асуы болып табылады. U кездейсоқ шаманың іске асу ансамблі р(и) ықтималдылығының тығыздық үлестіруімен баяндалады.

2. U кездейсоқ шаманың мәндерін басқа Z кездейсоқ шаманың мәндері бойынша ғана талдауға болады. Олардың айырмашылық өлшемдері берілген өндірілу нақтылығынан аспауы қажет.

3. Дәлділікке қойылатын талаптар V(Z, U) критерийін пайдалану арқылы беріледі мұнда pu(z) - шартты үлестіру тығыздығы - нақты и сигналы z сигналы түрінде шығарылуының ақиқаттық функциясы, ε - берілген мәннің дәлдігі. р(и) тығыздық анықталғандықтан, формула шарты орындалуы үшін ри (z) үлестірудің шартты тығыздығы арқылы түрлендіруге болады.

Егер Z кездейсоқ шамасы U қандай да бір ε дәлдігімен кездейсоқ шаманы туындайтын болса, онда ақпарат саны U -ға қатысты Z туындау шамасында орналасып соңғы болады және келесідей анықталады: мұнда p(z) = p(u) pu(z) du - Z туындау шамасының тығыздығы.

Мүмкіндігінше қабылданатын ақпараттың ең кіші санында туындаудың берілген ақиқаттығын қамтамасыз ету. Сондықтанда pu(z), функция жиынтығының арасынан шартын қанағаттандыратын, I{ZU) -ң ең кішісін қамтамасыз ететін функцияны таңдау қажет.

U-ға қатысты бір Z кездейсоқ шамасында, U шамасының туындау дәлдігіне қойылатын талаптар қанағаттандырылса ең кіші ақпарат саны U шамасының ε (эпсилон) - энтропия шамасы деп аталынады және Нε(U) деп белгіленеді:

егер

Аталмыш шаманың маңыздылығы, ε (эпсилон) - энтропия - берілген нақтылықпен хабарламаны шығару үшін ең кіші екілік сандарды тасымалдау болып табылады.

ШУЫЛЫ БАР БАЙЛАНЫС КАНАЛДАРЫ АРҚЫЛЫ ХАБАРЛАМАНЫ ТАСЫМАЛДАҒАНДА АҚПАРАТТЫҚ ЖОҒАЛТУЛАР

Кедергі болған жағдайда A хабарлама ансамбліне қатысты B қабылданған хабарлама ансамблінде орналасқан орташа ақпарат саны келесідей анықталады:

а) бірігу энтропияның көмегімен:

I(A, B) =H(A) +H(B) -H(A, B)

б) шартты энтропияны пайдалану арқылы:

I(A, B) =H(A) -H(A/B)

Өрнектің мағынасы келесідей: H(A) шамасы - ол қайнар көздің энтропиясы, ал H(A/B) шамасы-каналдағы қатенің нәтижесінде жоғалған орташа ақпарат саны. I(A, B) =I(B, A) Бірігу мен шартты энтропия формулалардан қорытылған келесі формулаларды пайдалану ыңғайлы:

Ұқсас жұмыстар

Үздіксіз кездейсоқ шамалардың үлестіру функциясы мен ықтималдық тығыздығы: қасиеттері және өзара байланысы

Дискретті кездейсоқ шамалардың ықтималдықтары мен үлестіру заңы

Кездейсоқ шамалардың үлестірімдерін компьютерде модельдеу және негізгі таралымдар

Ықтималдық теориясының негіздері: оқиғалар, теоремалар және кездейсоқ шамалардың сипаттамалары

Кездейсоқ шамалардың статистикалық сипаттамалары және графикалық көрсетілуі медициналық-биологиялық зерттеулерде

Кездейсоқ шамалардың үлестіру функциялары: дискретті және үзіліссіз үлестірулер (бірқалыпты, Пуассон, экспоненциалды, Гаусс, дельта)

Дискретті кездейсоқ шамалардың ықтималдық үлестірімі және эконометрикалық моделдеудің кезеңдері

Суармалы каналдардағы су өтімін гидравликалық есептеу және жобалау

Каналдардағы су өтімін анықтау: гидравликалық есептеу және жобалау талаптары

Физикалық шамалардың орта мәндері және өлшеу қателері

Пәндер