КҮРДЕЛІ СИГНАЛДАРДЫ ТАЛДАУДЫҢ ЖАҢА ӘДІСТЕРІ

Пән: Автоматтандыру, Техника
Жұмыс түрі: Материал
Тегін: Антиплагиат
Көлемі: 4 бет
Таңдаулыға:

КҮРДЕЛІ СИГНАЛДАРДЫ ТАЛДАУДЫҢ ЖАҢА ӘДІСТЕРІ

2.1 Информациялық энтропия туралы түсінік

Информациялық энтропия сөзіндегі Информация ұғымы әртүрлі мағынаға ие. Қоғамдық - саяси информация әлеуметтік жүйенің өзекті жаңалықтары туралы мәліметтердің жиыны болып табылады. Кибернетикада информация ұғымы сигналдарды сақтау, өңдеу және жіберумен байланысты. Ықтималдықтар теориясында информация аддитивті мөлшерлік өлшем ретінде кездейсоқ оқиғаларды бір-біріне қатысты ықтималдылығымен салыстыру арқылы енгізіледі. Барлық информация теориясы негізінде информацияны мөлшерлі бағалау жатыр. Қарапайым комбинаторикалық формада бұл тұжырымды Р. Хартли ұсынды, ал толық аяқталған түрін К. Шеннон тұжырымдады.
Шеннон информация теориясы О және L екі таңбаның арасындағы (биттер арасындағы) қарапайым альтернативті таңдаудан шығады, ондағы L 1-ге, "иә", "шындық" т.с.с. теңестірілсе, ал О 0-ге, "жоқ", "жалған" теңестіріледі. Мұндай таңдау екі белгіден тұратын хабарды қабылдауға сәйкес келеді.
Мұндай хабарда болатын информация мөлшері бірлік ретінде қабылданады және ол бит деп аталады. Сондықтан бит - екілік белгі және информация мөлшерінің өлшем бірлігі , ол екі байланысқан тең ықтималдықты таңдамадағы информация мөлшері ретінде анықталады.
Айталық

(2.1)

- Х және Y әріптерімен сәйкес белгіленген жүйенің күйін сипаттайтын айнымалылар жыйыны болсын. Егер - Х жүйесі күйде болғанда Y уi күйіне өту ықтималдығы (шартты ықтималдық) болса, онда Y жүйесінің алған информациясы мынаған тең:

. (2.2)

- X жүйесіндегі оқиғасына қатысты информация мөлшері деп аталады.
Ықтималдық арасында жатқандықтан I әрқашан оң шама.
Логарифм негізін таңдауға байланысты информация мөлшері екілік, ондық және натурал логарифм бойынша: сәйкесінше бит, дит, нат -пен өлшенеді.
Статистикалық физикада энтропия Г - жүйенің ішкі макроскопиялық күйінің статистикалық салмағының логарифмі ретінде енгізіледі:

, (2.3)
мұндағы pq-фазалық көлем , ћ -Планк тұрақтысы, g -жүйенің еркіндік дәрежесінің саны. Классикалық физикада ћ қолданбайтындықтан энтропияны нақты анықтауға болмайды. (5)-ші формуланың түрі күрделі жүйенің энтропиясының аддитивтік талаптарынан шығады:

(2.4)

Идеал газдың энтропиясын (2.3)-ші формула бойынша есептей отырып (2.4)-ші формулаға келуге болады, мұндағы - идеал газдың қысымы, көлемі, температурасы бойынша анықталады.
Энтропия түсінігі сонымен қатар кездейсоқ шамалардың ықтималдықтарының таралуына да байланысты. Еi энергияның теңықтималдықты таралуы кезінде жүйенің ішкі таралу ықтималдылығы былай анықталады.
.

Энтропияны мына түрде табамыз

(2.5)

Орташа ықтималдықтың мағынасы бойынша (2.5) былай жазылады:

(2.6)
(2.6) - бойынша анықталған энтропия информациялық энтропия деп аталады. (2.2) және (2.6) өрнектерін салыстыру арқылы информациялық энтропия информацияның орташа ықтималдық мәнін анықтайтындығы көрінеді. Жүйенің теңықтималды таралуы кезінде жүйе туралы анықталмағандық максимумге жетеді, яғни жүйе туралы барлық информация жоғалып энтропияға айналады (2.5). Тепе-тең жүйе информацияны сақтай алмайды. Информацияны білу анықталмағандықты азайтады. Сондықтан информация мөлшерін жоғалған анықталмағандық, яғни энтропия мөлшерімен өлшеуге болады:

I = Spr - Sps, ... жалғасы

Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.