Кездейсоқ шаманың. эпсилон-энтропиясы

Кездейсоқ шаманың эпсилон-энтропиясы

Эпсилон-энтропия

Егер:

1. Ақпарат көзінің жеке жағдайлары дегеніміз U кездейсоқ шаманың тәуелсіз іске асуы болып табылады. U кездейсоқ шаманың іске асу ансамблі р(и) ықтималдылығының тығыздық үлестіруімен баяндалады.

2. U кездейсоқ шаманың мәндерін басқа Z кездейсоқ шаманың мәндері бойынша ғана талдауға болады. Олардың айырмашылық өлшемдері берілген өндірілу нақтылығынан аспауы қажет.

3. Дәлділікке қойылатын талаптар V(Z, U) критерийін пайдалану арқылы беріледі мұнда pu(z) - шартты үлестіру тығыздығы - нақты и сигналы z сигналы түрінде шығарылуының ақиқаттық функциясы, ε - берілген мәннің дәлдігі. р(и) тығыздық анықталғандықтан, формула шарты орындалуы үшін ри (z) үлестірудің шартты тығыздығы арқылы түрлендіруге болады.

Егер Z кездейсоқ шамасы U қандай да бір ε дәлдігімен кездейсоқ шаманы туындайтын болса, онда ақпарат саны U -ға қатысты Z туындау шамасында орналасып соңғы болады және келесідей анықталады: мұнда p(z) = p(u) pu(z) du - Z туындау шамасының тығыздығы.

Мүмкіндігінше қабылданатын ақпараттың ең кіші санында туындаудың берілген ақиқаттығын қамтамасыз ету. Сондықтанда pu(z), функция жиынтығының арасынан шартын қанағаттандыратын, I{ZU) -ң ең кішісін қамтамасыз ететін функцияны таңдау қажет.

U-ға қатысты бір Z кездейсоқ шамасында, U шамасының туындау дәлдігіне қойылатын талаптар қанағаттандырылса ең кіші ақпарат саны U шамасының ε (эпсилон) - энтропия шамасы деп аталынады және Нε(U) деп белгіленеді:

егер

Аталмыш шаманың маңыздылығы, ε (эпсилон) - энтропия - берілген нақтылықпен хабарламаны шығару үшін ең кіші екілік сандарды тасымалдау болып табылады.

ШУЫЛЫ БАР БАЙЛАНЫС КАНАЛДАРЫ АРҚЫЛЫ ХАБАРЛАМАНЫ ТАСЫМАЛДАҒАНДА АҚПАРАТТЫҚ ЖОҒАЛТУЛАР

Кедергі болған жағдайда A хабарлама ансамбліне қатысты B қабылданған хабарлама ансамблінде орналасқан орташа ақпарат саны келесідей анықталады:

а) бірігу энтропияның көмегімен:

I(A, B) =H(A) +H(B) -H(A, B)

б) шартты энтропияны пайдалану арқылы:

I(A, B) =H(A) -H(A/B)

Өрнектің мағынасы келесідей: H(A) шамасы - ол қайнар көздің энтропиясы, ал H(A/B) шамасы-каналдағы қатенің нәтижесінде жоғалған орташа ақпарат саны. I(A, B) =I(B, A) Бірігу мен шартты энтропия формулалардан қорытылған келесі формулаларды пайдалану ыңғайлы:

Ұқсас жұмыстар

Кездейсоқ шаманың үлестіру функциясы

Кездейсоқ шамалардың үлестірімін компьютерде модельдеу

КЕЗДЕЙСОҚ ШАМАНЫҢ ҮЛЕСТІРІМ ФУНКЦИЯСЫ

КЕЗДЕЙСОҚ ШАМАЛАРДЫҢ ҮЛЕСТІРУ

Ықтималдық теориясы

Дискретті кездейсоқ шаманың математикалық үміті

Жағдайдың статистикалық сипаттамалары

Өлшеу қателіктері

Өлшеу. Өлшеудің қателіктері. Пайда болу сипаты бойынша түрлері. Өлшеу классификациясы

Өлшеу және өлшеу құралдарын жіктеу

Пәндер