Ақпараттың мөлшерінің өлшем бірліктері
№1 Билет
1. Ақпарат туралы ұғым, ақпаратты жинау, жіберу, өңдеу және қорландыру
үрдістерінің жалпы мінездемесі; үздіксіз және дискретті ақпарат. Ақпараттың
мөлшерінің өлшем бірліктері.
2. Модельдеудің негіздері атты сабақты оқыту әдістемесі.
1 Ақпарат туралы ұғым. Бізді қоршаған әлемнің ең маңызды мәні зат,
энергия мен ақпарат болып табылады. Зат пен энергия сияқты ақпарттың да
мәні өте зор. Оның өсімдіктердің, жануардлардың, адам мен жалпы адамзат
қоғамының өміріндегі мәні олардан кем есем.
Ақпарат сөзі латынның түсіндіру, баяндау, мәлімет деген ұғымдарды
білдіретін ingormatio сөзінен шыққан.
Қазіргі кезде ақпарат күнделікті тұрмысқа, ғылымның әр түрлі:
философия, экономика, физика, математика, информатика салаларына кеңінен
енді.
Ақпарат тірі табиғатта да, өлі табиғаттада болады, ол әрқашан сөзбен
ғана жеткізілмейді, яғни алудың сан алуан түрі бар. Ақпарт қарым-қатынас
жасау, өз бетімен ойлау, зеттеу әрекеттерінің нәтижесінде пайда болады.
Ақпарат-белгілі бір нәрсе туралы таңбалар мен сигналдар түрінде
ұсынылатын мәліметтер тобы.
Адам ақпаратты:
Біріншіден сақтай алады. Кітап, газет-журналдан оқыған, ақпаратт ыесте
сақтап жинаймыз. Адамзат жинаған білім мен тәжірибенің көлемі өте үлкен,
сондықтан адамның миы оларды түгел сақтай алмайды, сол себептен оларды
сақтау үшін, сыртқы ақпарат тасуыштар: қағаз, папирус, пергамент, түрлі
таспалар, дискілер қолданылады.
Екіншіден жеткізе алады. Ақпаратты кеткізу: бір-бірімізбен сөйлескенде,
сабақта, теледидардан хабар көргенде, кітап оқығанда. Әңгіме кезінде бір
адам айтушы, ал екінші адам тыңдаушы болады.
Үшіншіден өңдей алады. Ақпаратты өңдеу деп-ақпарат алуды, оның
мазмұнын өзгертпей, ұсыну түрін өзгертуді, алынған ақпаратты бір ретке
келтіруді және жаңа ақпарат іздестіріп толықтыруды айтады.
Сонымен ақпарат жасалады, жеткізіледі, сақталады және өңделеді.
Ақпаратпен орындаланыт әрекеттер ақпараттық процестер деп аталады.
Адам ақпаратты үздіксіз қабылдап отырады. Адам сезім мүшелері арқылы
көреді, естиді, сезінеді, иісті, дәмді сезеді, яғни ақпарт қабылдайды.
Адамның ең басты сезім мүшесі-көру мен есту. Ол кітаптан, теледидар мен
радиодан алатын ақпараттытек осы мүшелерімен қабылдайды. Сырттан
қабылдайтын ақпараттың 90 пайызы сол мүшелер арқылы қабылданады. Адам
қабылдайтын ақпарат таңбалы және бейнелі деп екіге бөлінеді.
Бейнелі ақпарат деп-табиғат көріністерін, кесіндерді, дәм, иіс, сезу
мүшелері арқылы алынатын ақпараттарды айтады.
Таңбалы ақпартқа адамның сөйлесу, жазу түрінде алатын ақпараттар
жатады.
Ақпарат түрлері:
1. қоғамдық-саясаттық
2. әлеуметтік-экономикалық
3. ғылыми-техникалық
4. химия-биологиялық
5. физиологиялық
Ақпараттың қасиеттері:
1. толықтық
2. сенімділік (анықтық)
3. бағалылық
4. маңыздылық (актуалдық)
5. айқындылық
6. қысқалық, нанымдылық
Ақпарат алу деген бізге жаңа, түсінікті бірдеңені білуді, яғни білім
алуды білдіреді.
Есептеуіш техникада ақпараттың көлемі екілік белгілер санына тең.
Ең кіші ақпаратты өлшеу бірлігі 1 битке тең. Бір байт 8 битке тең.
1 байт -8 бит
1 Кбайт (килобайт)-1024 байт-1000 байт
1 Мбайт (мегабайт)-1024 кбайт-1 (миллион байт)
1 Гбайт (гигабайт)-1024 Мбайт-1 миллиард байт)
Ақпаратты жеткізу жылдамдығы битсек, байтсек, Кбайтсек, Мбайтсек,
Гбайтсек өлшем бірліктерімен өлшенеді.
Ақпаратты өлшеу. Ақпаратты тарату және түрлендіру теориясындағы маңызды
мәселе - ақпараттың өлшемін, мөлшерін, сапасын анықтау.
Ақпараттық өлшемдер әдетте, үш түрғыда: құрылымдық, статистикалық және
семантикалық тұрғыда карастырылады.
Құрылымдық тұрғыда ақпарат жиымдардың құрылымы және оларды жәй ғана
ақпараттық элементтерді қарапайым есептеу немесе комбинаторлық әдістер
арқылы өлшеу қарастырылады. Құрылымдық тәсіл ақпараттық жүйелердің
мүмкіндіктерін оларды қолдану шарттарынан тәуелсіз бағалау үшін
қолданылады.
Статистикалық тәсілде энтропия ұғымы пайда болу ықтамалдығын және
қандай да бір хабардың ақпаратталғандығын ескеретін анықталмағандық өлшемі
ретінде пайдаланылады. Статистикалық тәсіл ақпараттық жүйені қолданудың
нақты шарттарын ескереді. Семантакалық тәсіл ақпаратгық хабардың
пайдалылығын немесе құндылығын айкыңдауға мүмкіндік береді.
Кұрылымдық өлшем. Ақпарат әрқашанда хабар түрінде беріледі. Хабардың
элементар бірлігі — таңба. Топтарға жиналған таңбалар — сөздер. Сөздер
немесе жеке таңбалар түрінде түзілген хабар әрдайым оның материалдьіқ-
энергетикальіқ (элекгрлік, жарықтык, дыбыстық сигнаддар және т.т.) түрде
беріледі.
Құрылымдық өлшемді пайдаланған кезде хабардың тек дискретті құрылымы
ғана, ондағы ақпаратгық элементгер саны, олардың арасындағы байланыстар
ескеріледі. Құрылымдық тәсілде ақпарат өлшемдері геометриялық,
комбинаторлық және қосылымды болып ажыратылады.
Геометриялық өлшем дискреттік бірлікпен ақпараттық хабардың
геометриялық моделінің параметрін (ұзындығын, ауданын, көлемін және т.т.)
өлшеуді қарастырады. Мысалы, ұзындығы бірге тең сызық , квадрат (2.1, ә -
екіразрадты сөз) немесе куб (2.1, б - үшразрядты сөз) ақпараттың
геометриялық моделі бола алады. Берілген құрылымдардағы мүмкін болатын
ақпараттың ең үлкен мөлшері барлық өлшемдері бойынша дискретгі мәндердің
қосындысы ретінде модельдің ақпаратық сиымдылығын анықтайды.
Комбинаторлық өлшемде акпат мөлшері элементгер (таңбалар)
комбинациясының саны ретінде анықталады. Ақпаратгың мүмкін мөлшері
элементгерді теру, ауыстыру және орналастырудың мүмкін санымен бірдей
болады. 1-ден ғана түратын сөздердегі таңбаларды тіркестіру сөздің мәнін
өзгертеді. 100110 және 001101, 011101 және 111010 - сөздерінің кос жұбын
карастырайык. Олардьщ шеткі разрядтары ауыстырылған.
Косылымдык, өлшемге (Хартли өлшемі) сөйкес акпарат саны екілік
бірлікпен — битпен-өлшенеді. Ол барынша кең таралған. Санның q терендігі
мен n ұзындығы ұғымдары енгізіледі.
Санның q тереңдігі — ақпаратты өрнектеу үшін қабылданған таңбалар
(элементтер) саны. Уақытгың әрбір мезетінде тек кандай да бір жалғыз таңба
іске асырылады.
Санның п ұзындығы — берілген шама сандарын өрнектеу үшін қажетті және
жеткілікті позициялар саны.
Санның берілген тереңдігіндегі және ұзындығындағы сандар мөлшерін
N = q" арқылы
өрнектеуге болады. Ақпараттық сыйымдьшықты бағалау үшін N шамасы
қолайсыз. Акцарат мөлшерін есептеуге мүмкіндік беретін логарифмдік өлшемді
— битті- енгізейік:
1(g) = log2 N = п log2 q (2.1)
Демек, 1 бит ақпарат болатын немесе болмайтын бір элементарлық оқиғаға
сәйкес келеді. Мүндай ақпарат мөлшерінің өлшемі амалдарды сандарға
қолданғаңдай, өлшемдерге де қолдануга мүмкіңцік берегінімен ынғайлы. Бұл
жерде ақпарат мөлшері 0 немесе 1 екілік таңбалар санына пара-пар. Бірнеше
акпарат көзі бар болған жағдайда акпаратың жалпы малшері
Iq1,q2,...qn) = I(q1)+ I(q2) + I(qn), (2.2)
мүндағы I(qk) - к көзіндегі ақпарат мөлшері.
Акдаратгың логарифмдік өлшемі акпарат мөлшерін өлшеуге мүмкіңдік береді
және іс жүзінде қолданылады.
Статистикалық өлшем. Ақпараттың статистикалық теориясында оқиғаның өзі
емес, ол жайындағы ақпарат қарастырылатын ақпарат мөлшерінің жалпы өлшемі
енгізіледі. Бұл мәселе К.Шеннонның "Ақпараттар теориясы бойынша таңдамалы
еңбектер" атты жұмысында тереңінен қарастырылған. Егер пайда болу
ықтималдығы бірге жақын жиі кездесетін оқиға жайында хабар пайда болса,
онда кабылдаушы үшін мұндай хабарда ақпарат аз. Пайда болу ықтималдығы
нөлге жақын оқиғалар жайындағы хабарларда да ақпарат аз.
Оқиғаны мүмкін болатын қандай да бір тәжірибенің нәтижесі деп карауға
болады, және осы тәжірибенің барлық нәтижелері ансамбль (жарасымдылык)
немесе оқиғалардың толық тобын құрайды. К.Шеннон тәжірибе кезінде пайда
болатын, жағдайы анықталмағаңдық ұғымын енгізіп, оны энтропия деп атады.
Ансамбль энтропиясы бұп оның анықталмағандығының, демек тәжірибенің әрбір
мүмкін нәтижесі ықтимаддары жиынының орташа функциясы сияқты сан
өрнектелетін акпараттылығының сан өлшемі.
Тәжірибенің мүмкін N нәтижесі бар болсын, оның ішінде к түрлі типтер
болсын да, ал і-ші
нәтиже пі рет кайталанып, мөлшері Іі сияқгы бағаланатын ақпарат
енгізілсін. Сонда, бір тәжірибемен жеткізілетін орташа ақпарат
Іорт = (n1I1 + п2І2 +... + пкІк) N. (2.3)
Бірақ, әрбір нәтижеде ақпарат мөлшері оның рi ықтималдығымен
байланысты және
Ii = log2 (1 pi) = - log2 pi секілді екілік бірліктермен (битпен)
өрнектеледі. Сонда :
Iорm=[n1(-log2pi)+n2(-log2p2)+...+n k(-log2pk)] (2.4)
(2.4) өрнегін сондай-ақ келесі түрде жазуға болады
Iорm=n1 Т(-log2pi)+n2 N (-log2p2)+...+nk N (-log2pk) (2.5)
Бірақ ni N кaтынастары нәтиже кaйталануы жиілігін береді, демек,
олардың ықтималымен алмастырылуы мүмкін: niN = pi, сондықтан биттік орташа
ақпарат
Iорт = p1(-log2 p1) + p2(-log2 р2) +... + pt(log2 рк)
немесе Iорт = (2.6)
Алынған шама энтропия деп аталады және әдетте Н әрпімен белгіленеді.
Энтропия келесі касиеттерге ие:
І.Әрқашанда теріс емес, себвбі ықтималдар бірден артпайтын шамалармен,
ал олардың логарифмдері теріс сандармен немесе нөлмен өрнектелетіндіктен,
(2.6) қосындысыныңмүшелері теріс емес.
2.pi мәндерінің біреуі бірге тең, ал к,алганының барлыгы нөлге тең
болған жагдайда энтропия нөлге тең болады. Бүл тәжірибе жайында немесе шама
жайында алдын ала бәрі белгілі жөне нәтижесі жаңа ақпарат бермейтін жағдай.
З.Барлық ықтималдары өзара тең болған кезде энтропия ең үлкен
мәнді қабылдайды:
p1 = рг= ...= pk = 1 k . Бүл жағдайда H =
-log2(lk)=log2k.
4. А және В қалыптарының бірге іске асырылуы негізінде құрылатын АВ
нысанының энтропиясы бастапқы А және В нысандарының энтропияларының
қосындысына тең, яғни
Н(АВ) = H(А) + H(В)
Егер барлық оқиғалар теңықтималды және статистикалық тәуелсіз болса,
онда Хартли мен Шеннон бойынша ақпарат мөлшері бірдей болады. Бұл жүйенің
ақпараттық сыйымдылығының толық пайдаланылғандығын куәландырады. Тең емес
ықтималдар жағдайыңда Шеннон бойынша ақпарат мөлшері жүйенің ... жалғасы
1. Ақпарат туралы ұғым, ақпаратты жинау, жіберу, өңдеу және қорландыру
үрдістерінің жалпы мінездемесі; үздіксіз және дискретті ақпарат. Ақпараттың
мөлшерінің өлшем бірліктері.
2. Модельдеудің негіздері атты сабақты оқыту әдістемесі.
1 Ақпарат туралы ұғым. Бізді қоршаған әлемнің ең маңызды мәні зат,
энергия мен ақпарат болып табылады. Зат пен энергия сияқты ақпарттың да
мәні өте зор. Оның өсімдіктердің, жануардлардың, адам мен жалпы адамзат
қоғамының өміріндегі мәні олардан кем есем.
Ақпарат сөзі латынның түсіндіру, баяндау, мәлімет деген ұғымдарды
білдіретін ingormatio сөзінен шыққан.
Қазіргі кезде ақпарат күнделікті тұрмысқа, ғылымның әр түрлі:
философия, экономика, физика, математика, информатика салаларына кеңінен
енді.
Ақпарат тірі табиғатта да, өлі табиғаттада болады, ол әрқашан сөзбен
ғана жеткізілмейді, яғни алудың сан алуан түрі бар. Ақпарт қарым-қатынас
жасау, өз бетімен ойлау, зеттеу әрекеттерінің нәтижесінде пайда болады.
Ақпарат-белгілі бір нәрсе туралы таңбалар мен сигналдар түрінде
ұсынылатын мәліметтер тобы.
Адам ақпаратты:
Біріншіден сақтай алады. Кітап, газет-журналдан оқыған, ақпаратт ыесте
сақтап жинаймыз. Адамзат жинаған білім мен тәжірибенің көлемі өте үлкен,
сондықтан адамның миы оларды түгел сақтай алмайды, сол себептен оларды
сақтау үшін, сыртқы ақпарат тасуыштар: қағаз, папирус, пергамент, түрлі
таспалар, дискілер қолданылады.
Екіншіден жеткізе алады. Ақпаратты кеткізу: бір-бірімізбен сөйлескенде,
сабақта, теледидардан хабар көргенде, кітап оқығанда. Әңгіме кезінде бір
адам айтушы, ал екінші адам тыңдаушы болады.
Үшіншіден өңдей алады. Ақпаратты өңдеу деп-ақпарат алуды, оның
мазмұнын өзгертпей, ұсыну түрін өзгертуді, алынған ақпаратты бір ретке
келтіруді және жаңа ақпарат іздестіріп толықтыруды айтады.
Сонымен ақпарат жасалады, жеткізіледі, сақталады және өңделеді.
Ақпаратпен орындаланыт әрекеттер ақпараттық процестер деп аталады.
Адам ақпаратты үздіксіз қабылдап отырады. Адам сезім мүшелері арқылы
көреді, естиді, сезінеді, иісті, дәмді сезеді, яғни ақпарт қабылдайды.
Адамның ең басты сезім мүшесі-көру мен есту. Ол кітаптан, теледидар мен
радиодан алатын ақпараттытек осы мүшелерімен қабылдайды. Сырттан
қабылдайтын ақпараттың 90 пайызы сол мүшелер арқылы қабылданады. Адам
қабылдайтын ақпарат таңбалы және бейнелі деп екіге бөлінеді.
Бейнелі ақпарат деп-табиғат көріністерін, кесіндерді, дәм, иіс, сезу
мүшелері арқылы алынатын ақпараттарды айтады.
Таңбалы ақпартқа адамның сөйлесу, жазу түрінде алатын ақпараттар
жатады.
Ақпарат түрлері:
1. қоғамдық-саясаттық
2. әлеуметтік-экономикалық
3. ғылыми-техникалық
4. химия-биологиялық
5. физиологиялық
Ақпараттың қасиеттері:
1. толықтық
2. сенімділік (анықтық)
3. бағалылық
4. маңыздылық (актуалдық)
5. айқындылық
6. қысқалық, нанымдылық
Ақпарат алу деген бізге жаңа, түсінікті бірдеңені білуді, яғни білім
алуды білдіреді.
Есептеуіш техникада ақпараттың көлемі екілік белгілер санына тең.
Ең кіші ақпаратты өлшеу бірлігі 1 битке тең. Бір байт 8 битке тең.
1 байт -8 бит
1 Кбайт (килобайт)-1024 байт-1000 байт
1 Мбайт (мегабайт)-1024 кбайт-1 (миллион байт)
1 Гбайт (гигабайт)-1024 Мбайт-1 миллиард байт)
Ақпаратты жеткізу жылдамдығы битсек, байтсек, Кбайтсек, Мбайтсек,
Гбайтсек өлшем бірліктерімен өлшенеді.
Ақпаратты өлшеу. Ақпаратты тарату және түрлендіру теориясындағы маңызды
мәселе - ақпараттың өлшемін, мөлшерін, сапасын анықтау.
Ақпараттық өлшемдер әдетте, үш түрғыда: құрылымдық, статистикалық және
семантикалық тұрғыда карастырылады.
Құрылымдық тұрғыда ақпарат жиымдардың құрылымы және оларды жәй ғана
ақпараттық элементтерді қарапайым есептеу немесе комбинаторлық әдістер
арқылы өлшеу қарастырылады. Құрылымдық тәсіл ақпараттық жүйелердің
мүмкіндіктерін оларды қолдану шарттарынан тәуелсіз бағалау үшін
қолданылады.
Статистикалық тәсілде энтропия ұғымы пайда болу ықтамалдығын және
қандай да бір хабардың ақпаратталғандығын ескеретін анықталмағандық өлшемі
ретінде пайдаланылады. Статистикалық тәсіл ақпараттық жүйені қолданудың
нақты шарттарын ескереді. Семантакалық тәсіл ақпаратгық хабардың
пайдалылығын немесе құндылығын айкыңдауға мүмкіндік береді.
Кұрылымдық өлшем. Ақпарат әрқашанда хабар түрінде беріледі. Хабардың
элементар бірлігі — таңба. Топтарға жиналған таңбалар — сөздер. Сөздер
немесе жеке таңбалар түрінде түзілген хабар әрдайым оның материалдьіқ-
энергетикальіқ (элекгрлік, жарықтык, дыбыстық сигнаддар және т.т.) түрде
беріледі.
Құрылымдық өлшемді пайдаланған кезде хабардың тек дискретті құрылымы
ғана, ондағы ақпаратгық элементгер саны, олардың арасындағы байланыстар
ескеріледі. Құрылымдық тәсілде ақпарат өлшемдері геометриялық,
комбинаторлық және қосылымды болып ажыратылады.
Геометриялық өлшем дискреттік бірлікпен ақпараттық хабардың
геометриялық моделінің параметрін (ұзындығын, ауданын, көлемін және т.т.)
өлшеуді қарастырады. Мысалы, ұзындығы бірге тең сызық , квадрат (2.1, ә -
екіразрадты сөз) немесе куб (2.1, б - үшразрядты сөз) ақпараттың
геометриялық моделі бола алады. Берілген құрылымдардағы мүмкін болатын
ақпараттың ең үлкен мөлшері барлық өлшемдері бойынша дискретгі мәндердің
қосындысы ретінде модельдің ақпаратық сиымдылығын анықтайды.
Комбинаторлық өлшемде акпат мөлшері элементгер (таңбалар)
комбинациясының саны ретінде анықталады. Ақпаратгың мүмкін мөлшері
элементгерді теру, ауыстыру және орналастырудың мүмкін санымен бірдей
болады. 1-ден ғана түратын сөздердегі таңбаларды тіркестіру сөздің мәнін
өзгертеді. 100110 және 001101, 011101 және 111010 - сөздерінің кос жұбын
карастырайык. Олардьщ шеткі разрядтары ауыстырылған.
Косылымдык, өлшемге (Хартли өлшемі) сөйкес акпарат саны екілік
бірлікпен — битпен-өлшенеді. Ол барынша кең таралған. Санның q терендігі
мен n ұзындығы ұғымдары енгізіледі.
Санның q тереңдігі — ақпаратты өрнектеу үшін қабылданған таңбалар
(элементтер) саны. Уақытгың әрбір мезетінде тек кандай да бір жалғыз таңба
іске асырылады.
Санның п ұзындығы — берілген шама сандарын өрнектеу үшін қажетті және
жеткілікті позициялар саны.
Санның берілген тереңдігіндегі және ұзындығындағы сандар мөлшерін
N = q" арқылы
өрнектеуге болады. Ақпараттық сыйымдьшықты бағалау үшін N шамасы
қолайсыз. Акцарат мөлшерін есептеуге мүмкіндік беретін логарифмдік өлшемді
— битті- енгізейік:
1(g) = log2 N = п log2 q (2.1)
Демек, 1 бит ақпарат болатын немесе болмайтын бір элементарлық оқиғаға
сәйкес келеді. Мүндай ақпарат мөлшерінің өлшемі амалдарды сандарға
қолданғаңдай, өлшемдерге де қолдануга мүмкіңцік берегінімен ынғайлы. Бұл
жерде ақпарат мөлшері 0 немесе 1 екілік таңбалар санына пара-пар. Бірнеше
акпарат көзі бар болған жағдайда акпаратың жалпы малшері
Iq1,q2,...qn) = I(q1)+ I(q2) + I(qn), (2.2)
мүндағы I(qk) - к көзіндегі ақпарат мөлшері.
Акдаратгың логарифмдік өлшемі акпарат мөлшерін өлшеуге мүмкіңдік береді
және іс жүзінде қолданылады.
Статистикалық өлшем. Ақпараттың статистикалық теориясында оқиғаның өзі
емес, ол жайындағы ақпарат қарастырылатын ақпарат мөлшерінің жалпы өлшемі
енгізіледі. Бұл мәселе К.Шеннонның "Ақпараттар теориясы бойынша таңдамалы
еңбектер" атты жұмысында тереңінен қарастырылған. Егер пайда болу
ықтималдығы бірге жақын жиі кездесетін оқиға жайында хабар пайда болса,
онда кабылдаушы үшін мұндай хабарда ақпарат аз. Пайда болу ықтималдығы
нөлге жақын оқиғалар жайындағы хабарларда да ақпарат аз.
Оқиғаны мүмкін болатын қандай да бір тәжірибенің нәтижесі деп карауға
болады, және осы тәжірибенің барлық нәтижелері ансамбль (жарасымдылык)
немесе оқиғалардың толық тобын құрайды. К.Шеннон тәжірибе кезінде пайда
болатын, жағдайы анықталмағаңдық ұғымын енгізіп, оны энтропия деп атады.
Ансамбль энтропиясы бұп оның анықталмағандығының, демек тәжірибенің әрбір
мүмкін нәтижесі ықтимаддары жиынының орташа функциясы сияқты сан
өрнектелетін акпараттылығының сан өлшемі.
Тәжірибенің мүмкін N нәтижесі бар болсын, оның ішінде к түрлі типтер
болсын да, ал і-ші
нәтиже пі рет кайталанып, мөлшері Іі сияқгы бағаланатын ақпарат
енгізілсін. Сонда, бір тәжірибемен жеткізілетін орташа ақпарат
Іорт = (n1I1 + п2І2 +... + пкІк) N. (2.3)
Бірақ, әрбір нәтижеде ақпарат мөлшері оның рi ықтималдығымен
байланысты және
Ii = log2 (1 pi) = - log2 pi секілді екілік бірліктермен (битпен)
өрнектеледі. Сонда :
Iорm=[n1(-log2pi)+n2(-log2p2)+...+n k(-log2pk)] (2.4)
(2.4) өрнегін сондай-ақ келесі түрде жазуға болады
Iорm=n1 Т(-log2pi)+n2 N (-log2p2)+...+nk N (-log2pk) (2.5)
Бірақ ni N кaтынастары нәтиже кaйталануы жиілігін береді, демек,
олардың ықтималымен алмастырылуы мүмкін: niN = pi, сондықтан биттік орташа
ақпарат
Iорт = p1(-log2 p1) + p2(-log2 р2) +... + pt(log2 рк)
немесе Iорт = (2.6)
Алынған шама энтропия деп аталады және әдетте Н әрпімен белгіленеді.
Энтропия келесі касиеттерге ие:
І.Әрқашанда теріс емес, себвбі ықтималдар бірден артпайтын шамалармен,
ал олардың логарифмдері теріс сандармен немесе нөлмен өрнектелетіндіктен,
(2.6) қосындысыныңмүшелері теріс емес.
2.pi мәндерінің біреуі бірге тең, ал к,алганының барлыгы нөлге тең
болған жагдайда энтропия нөлге тең болады. Бүл тәжірибе жайында немесе шама
жайында алдын ала бәрі белгілі жөне нәтижесі жаңа ақпарат бермейтін жағдай.
З.Барлық ықтималдары өзара тең болған кезде энтропия ең үлкен
мәнді қабылдайды:
p1 = рг= ...= pk = 1 k . Бүл жағдайда H =
-log2(lk)=log2k.
4. А және В қалыптарының бірге іске асырылуы негізінде құрылатын АВ
нысанының энтропиясы бастапқы А және В нысандарының энтропияларының
қосындысына тең, яғни
Н(АВ) = H(А) + H(В)
Егер барлық оқиғалар теңықтималды және статистикалық тәуелсіз болса,
онда Хартли мен Шеннон бойынша ақпарат мөлшері бірдей болады. Бұл жүйенің
ақпараттық сыйымдылығының толық пайдаланылғандығын куәландырады. Тең емес
ықтималдар жағдайыңда Шеннон бойынша ақпарат мөлшері жүйенің ... жалғасы
Ұқсас жұмыстар
Пәндер
- Іс жүргізу
- Автоматтандыру, Техника
- Алғашқы әскери дайындық
- Астрономия
- Ауыл шаруашылығы
- Банк ісі
- Бизнесті бағалау
- Биология
- Бухгалтерлік іс
- Валеология
- Ветеринария
- География
- Геология, Геофизика, Геодезия
- Дін
- Ет, сүт, шарап өнімдері
- Жалпы тарих
- Жер кадастрі, Жылжымайтын мүлік
- Журналистика
- Информатика
- Кеден ісі
- Маркетинг
- Математика, Геометрия
- Медицина
- Мемлекеттік басқару
- Менеджмент
- Мұнай, Газ
- Мұрағат ісі
- Мәдениеттану
- ОБЖ (Основы безопасности жизнедеятельности)
- Педагогика
- Полиграфия
- Психология
- Салық
- Саясаттану
- Сақтандыру
- Сертификаттау, стандарттау
- Социология, Демография
- Спорт
- Статистика
- Тілтану, Филология
- Тарихи тұлғалар
- Тау-кен ісі
- Транспорт
- Туризм
- Физика
- Философия
- Халықаралық қатынастар
- Химия
- Экология, Қоршаған ортаны қорғау
- Экономика
- Экономикалық география
- Электротехника
- Қазақстан тарихы
- Қаржы
- Құрылыс
- Құқық, Криминалистика
- Әдебиет
- Өнер, музыка
- Өнеркәсіп, Өндіріс
Қазақ тілінде жазылған рефераттар, курстық жұмыстар, дипломдық жұмыстар бойынша біздің қор #1 болып табылады.
Ақпарат
Қосымша
Email: info@stud.kz