Ақпаратты өлшеу

Жұмыс түрі: Реферат
Тегін: Антиплагиат
Көлемі: 5 бет
Таңдаулыға:

Қазақстан Республикасы Білім және ғылым министрлігі

Шәкәрім университеті

Ақпараттық-коммуникациялық технологиялар факультеті

Автоматика және есептеу техникасы кафедрасы

СӨЖ

Тақырыбы: Хартли формуласы

Орындаған: Әбдікәрім Ә

Топ: АУ-601

Тексерген: Секербаева А. Б.

Семей 2018

Жоспар:

Кіріспе

Ықтималдық
Ақпаратты өлшеу формуласы

Қорытынды

Пайдаланылған әдебиеттер

Кіріспе

Ақпаратты сандық бағалау әрекеттері бірнеше рет жасалды. Ақпараттың көлемін өлшеудің жалпы әдістері бойынша алғашқы нақты ұсыныстарды Р. Фишер (1921 ж. ) математикалық статистика мәселелерін шешуде жасады. Р. Хартли (1928 ж. ) және Х. Найквист (1924 ж. ) ақпаратты сақтау проблемаларын, оны байланыс арналары арқылы жіберу және ақпарат көлемін анықтау міндеттерін қарастырды. Р. Хартли кейбір тапсырмалар үшін ақпарат көлемін анықтайтын ақпараттық теория негіздерін қалады. Ең дұрысы осы сұрақтарды 1948 жылы американдық инженер Клод Шеннон әзірлеп, жинақтады. Сол кезден бастап жалпы ақпараттық теорияның қарқынды дамуы және оның мөлшерін өлшеу мәселесін терең зерттеу басталды.

Ақпаратты зерттеу үшін математикалық құралдарды қолдану үшін ақпараттың мазмұнын, мазмұны туралы ойлану қажет болды. Бұл әдіс біз айтқан зерттеушілер үшін ортақ болды, өйткені таза математика сандық қатынастармен жұмыс істейді, бұл ара-қатынастардың артында тұрған объектілердің физикалық сипатына кірмейді. Мысалы, егер 5 және 10 екі санының сомасы табылса, онда бұл сандармен анықталған кез келген нысандар үшін бірдей жарамды болады. Сондықтан егер мағынасы хабарламалардан есептелсе, оқиға туралы ақпараттық бағалау үшін бастапқы нүкте тек қана көптеген оқиғалардан және сәйкесінше олар туралы хабарламалардан тұрады.

1. Ықтималдық

Кейбір объектілердің жай-күйі туралы келесі ақпаратты алсақ: төрт ықтимал жағдайлардың қайсысында (қатты, сұйық, газ тәрізді, плазма) белгілі бір зат болады? Студент техникумның төрт курстарының қайсысында оқиды?

Барлық осы жағдайларда бізді қызықтыратын оқиғаның белгісіздігі бар, бұл төрт мүмкіндіктің бірін таңдаумен сипатталады. Егер жоғарыда көрсетілген сұрақтарға жауап берсек, олардың мағынасынан көңіл бұрсақ, екеуі де бірдей ақпараттарға ие болады, себебі олардың әрқайсысы объектінің төрт ықтимал жағдайының біріне назар аударады және сондықтан хабардың бірдей белгісіздігін жояды.

Белгісіздік ықтималдық тұжырымдамасына тән. Белгісіздіктің төмендеуі әрқашан бір немесе бірнеше элементтердің (баламалардың) кейбірін таңдауымен (іріктеуімен) байланысты. Ықтималдылық және белгісіздік тұжырымдамаларының мұндай кері қайшылықтары ақпараттық теориядағы белгісіздіктің дәрежесін өлшеу кезінде ықтималдық концепциясын қолдану үшін негіз болды. Сұрақтарға қатысты төрт жауаптың біреуі бірдей ықтимал деп есептесеңіз, онда барлық сұрақтардағы ықтималдығы 1/4. Осы мысалдағы жауаптардың ықтималдылығы екі сұрақтың әрқайсысында жауап арқылы алынатын теңсіздікті анықтайды және әр жауап бірдей ақпаратты береді.

Енді біз келесі екі сұрақты салыстыруға тырысамыз: студент техникумның төрт курстарының қайсысында оқиды? Лақтырғанда монетаның түсуі: «елтаңбамен» немесе «санмен»? Бірінші жағдайда, төрт бірдей ықтимал жауап, екіншісінде - екі. Демек, екінші жағдайда кейбір жауаптардың ықтималдығы алғашқыға (1/2> 1/4) қарағанда үлкен, ал жауаптармен анықталған белгісіздік бірінші жағдайда үлкен болады. Бірінші сұраққа кез-келген ықтимал жауап екінші сұраққа жауап бергеннен гөрі үлкен белгісіздікті алып тастайды. Сондықтан бірінші сұраққа жауап көп ақпарат береді! Демек, кез-келген оқиғаның ықтималдығы неғұрлым төмен болса, белгісіздік оның туындауы туралы хабарды алып тастайды, және, демек, ол қаншалықты жүзеге асыратындығы туралы ақпарат алады.

2. Ақпаратты өлшеу

Мысалы, бір оқиға m теңықтималды нәтижеге ие. Мұндай оқиға, мысалы, осындай таңбаларды қамтитын әліппедегі кез келген таңбаның пайда болуы мүмкін. Осындай алфавитті пайдалана отырып берілуі мүмкін ақпараттың көлемін қалай өлшеуге болады? Бұл осы алфавитті пайдалана отырып берілуі мүмкін ықтимал хабарлардың N санын анықтау арқылы жасалуы мүмкін. Егер хабарлама бір таңбадан қалыптасса, онда N = m, егер екеуден болса, онда N = m · m = m2. Егер хабарламада n таңбалар болса (n - хабар ұзындығы), онда N = mn. Бұл ақпараттың қажетті мөлшерін тапқан сияқты көрінеді. Тәжірибе бойынша ықтимал санның белгілі бір санынан кездейсоқ таңдауды білдіретін болсақ, бұл тәжірибенің нәтижесінің белгісіздігінің шарасы ретінде түсінуге болады. Алайда, бұл шара толығымен қолайлы емес. Егер бір таңбадан тұратын алфавит болса, яғни, m = 1 болса, бұл таңба ғана пайда болуы мүмкін. Сондықтан, бұл жағдайда ешқандай белгісіздік жоқ, және бұл нышанның пайда болуы ешқандай ақпарат бермейді. Сонымен бірге, m = 1 мәнімен N мәні жоғалмайды. N1 және N2 ықтимал хабарламалар саны бар екі тәуелсіз хабар көзі (немесе алфавит) үшін ықтимал хабарламалардың жалпы саны N = N1N2, ал екі тәуелсіз дерек көздерінен алынған ақпарат көлемі өнім емес, бұл сома деп санауға болады құрамдас бөліктер саны.

Шығу жолын Р. Хартли анықтады, ол бір хабарламаға қатысты ақпаратты ұсынды, мүмкін болатын хабарлардың жалпы санының логарифмімен анықталды. N:

I ( N ) = log N

(1)

I(N) = logN:

(1):

Егер ықтимал хабарламалардың жиынтығы бірден (N = m = 1) болса, онда I (N) = log 1 = 0, бұл жағдайда бұл ақпараттың болмауына сәйкес келеді. Егер ықтимал хабарламалар саны N1 және N2 тәуелсіз ақпарат көздері болса

I (N) = log N = log N1N2 = log N1 + log N2,

яғни, бір хабарламада ақпарат көлемі екі жеке көздерден бөлек алынатын ақпараттардың сомасына тең. Хартли ұсынған формула талаптарға жауап береді. Сондықтан ақпараттың көлемін өлшеу үшін пайдаланылуға болады.

Алфавиттің кез-келген символының пайда болу мүмкіндігі бірдей ықтимал болса (бұл жағдай әлі де бар болса), бұл ықтималдық р = 1/м. Мысалы, N = m,

I = log N = log m = log (1/ p ) = - log p , (2)

яғни, әрбір теңестірілген сигнал үшін ақпарат көлемі жеке сигнал ықтималдығының логарифмін минусқа тең.

... жалғасы

Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.