Сигналдарды информациялы-энтропиялық талдау жайлы

Пән: Информатика, Программалау, Мәліметтер қоры
Жұмыс түрі: Реферат
Тегін: Антиплагиат
Көлемі: 5 бет
Таңдаулыға:

СИГНАЛДАРДЫ ИНФОРМАЦИЯЛЫ-ЭНТРОПИЯЛЫҚ ТАЛДАУ

Нақтылы объектілер сыртқы ортамен энергиямен, затпен және информациямен алмаса алатын ашық жүйе болып табылады. Объектің тегіне тәуелсіз зерттелетін процес ықтималды құрылымда болса, оның симметриясы бұзылған кезде информация пайда болады. Екінші жағынан, табиғи құрылым - хаостан өз бетінше тәртіп орнау да - нақты бейсызық, ашық жүйелердің мейлінше жалпы даму заңдылығы. Информацияның және информациялық энтропияның физикалық аспектілерін қарастырайық.

Информация ұғымы
Жалпы қабылданған терминологияға сәйкес информация - ның келесі анықтамаларын қолданамыз.
Информация ұғымы әртүрлі мағынаға ие. Қоғамдық-саяси информация әлеуметтік жүйенің өзекті жаңалықтары туралы мәліметтердің жиыны болып табылады. Кибернетикада информация ұғымы сигналдарды сақтау, өңдеу және жіберумен байланысты. Ықтималдықтар теориясында информация аддитивті мөлшерлік өлшем ретінде кездейсоқ оқиғаларды бір-біріне қатысты ықтималдылығымен салыстыру арқылы енгізіледі. Барлық информация теориясы негізінде информацияны мөлшерлі бағалау жатыр. Қарапайым комбинаторикалық формада бұл тұжырымды Р. Хартли ұсынды, ал толық аяқталған түрін К. Шеннон тұжырымдады.
Шеннон информация теориясы О және L екі таңбаның арасындағы (биттер арасындағы) қарапайым альтернативті таңдаудан шығады, ондағы L 1-ге, "иә", "шындық" т.с.с. теңестірілсе, ал О 0-ге, "жоқ", "жалған" теңестіріледі. Мұндай таңдау екі белгіден тұратын хабарды қабылдауға сәйкес келеді.
Мұндай хабарда болатын информация мөлшері бірлік ретінде қабылданады және ол бит деп аталады. Сондықтан бит - екілік белгі және информация мөлшерінің өлшем бірлігі , ол екі байланысқан тең ықтималдықты таңдамадағы информация мөлшері ретінде анықталады.
Айталық
(1)
- Х және Y әріптерімен сәйкес белгіленген жүйенің күйін сипаттайтын айнымалылар жыйыны болсын. Егер - Х жүйесі күйде болғанда Y уi күйіне өту ықтималдығы (шартты ықтималдық) болса, онда Y жүйесінің алған информациясы мынаған тең:
. (2)
- X жүйесіндегі оқиғасына қатысты информация мөлшері деп аталады.
Ықтималдық арасында жатқандықтан I әрқашан оң шама.
Логарифм негізін таңдауға байланысты информация мөлшері екілік, ондық және натурал логарифм бойынша: сәйкесінше бит, дит, нат -пен өлшенеді.
Егер Х және Y жүйелерінің хi және уi күйлері тәуелді болмаса, онда = 0 Y жүйесінің уi күйі өзінде Х- ке қатысты ешқандай информация жоқ және керісінше бұл жағдайда төмендегі теңдік орындалады:

.
Х және Y жүйелерінің хi, yi тәуелсіз күйлерінің бір уақытта болуының информациясы:
. (3)
(3)-ші өрнекті информацияның аддитивтілік қасиетін көрсететін шарт ретінде енгізуге болады. (2)-ші формуладан информацияның ең маңызды универсалды мағынасы шығады: ықтималдылығы аз априорлы оқиғалар (теориялық және тәжірибеге дейінгі) информативті болып табылады. Басқаша айтқанда көп информация сирек кездейсоқ оқиғада болады. Бұл қорытынды ерекше (қайталанбайтын) оқиғаларға қолданыл - майды.
Информацияны тарату жылдамдығы. Информациялық энтропия
Информацияны жеткізу байланыс арналары арқылы өтеді. Информация теориясында бұл арналардың нақты құрылғыларына көңіл бөлмей тек қана информацияны сенімді беруге болатын әртүрлі байланыс жүйелерінің информацияны жеткізу мөлшері жағынан қарастырылады.
Информацияны жеткізу жүйесін төмендегі блок-схема ретінде қарстырайық (1-сурет). Сигналдарды тарату келесі ережелер бойынша ұйымдастырылсын:
1) жіберілетін сигнал p(xi), i = 1..n ықтималдықпен сипатталатын статистикалық тәуелсіз сигналдардың қатары болсын;
2) қабылданатын сигнал ук символдарының қатары болсын;
3) егер n(t) шуылы болмаса, онда қабылданатын сигнал жіберлетінмен сәйкес келеді ук = хi;
4) егер шуыл бар болса, онда берілген символ бастапқы болып қалуы (i - ші) немесе басқа (k -шы) символмен ауыстырылуы мүмкін; бұл оқиғаның шартты ықтималдығы p(ykxi) болады;
5) келесі символдардың өзгерісі алдыңғы символдардың өгерісіне статистикалық тәуелді емес болсын.

Жіберуші
Кодер
Таратқыш -модулятор
Қабылдаушы
Декодер
Қабылдағыш - демодулятор
Шуылдар, бөгеуілдер
Байланыс арнасы
Н
Х
n(t)
x(t)
I(x, y)
Y
y(t) = x(t) - n(t)
Жіберуші
Кодер
Таратқыш -модулятор
Қабылдаушы
Декодер
Қабылдағыш - демодулятор
Шуылдар, бөгеуілдер
Байланыс арнасы
Н
Х
n(t)
x(t)
I(x, y)
Y
y(t) = x(t) - n(t)
1-сурет. Информацияны байланыс арнасы арқылы жеткізу жүйесінің блок схемасы
Информацияны тарату жылдамдығы деп бірлік уақытта берілетін информация мөлшерін айтады. Бұл шама төмендегі формула бойынша анықталады
I(Х,У) = S(X) - S(XY) [бит],
мұндағы энтропия бірлік уақытқа байланысты есептеледі .
Енді осы формулаға кіретін ... жалғасы

Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.