Информациялық энтропия. Энтропия құпиясы

Пән: Физика
Жұмыс түрі: Реферат
Тегін: Антиплагиат
Көлемі: 5 бет
Таңдаулыға:

Информациялық энтропия

Дискреттік деректер жағдайындағы ақпараттық энтропияның ұғымы Шеннонмен анықталған және термодинамикалық энтропияның ұғымына ұқсас. Бұл - ақпараттың мөлшерін белгілейтін өлшем. Шеннон бойынша ақпарат түсірілген белгісіздік. Яғни ақпаратты алу - белгісіздікті шешу үшін қажет талап. Белгісіздік таңдау жағдайында туындайды. Белгісіздікті шешу барысында шешілетін тапсырма - қарастырылатын нұсқалар санының азаюы және қорытындысында нұсқаның сәйкес жағдайының бірін таңдау болып келеді. Белгісіздікті шешу негізделген шешім қабылдауға және әрекет етуге мүмкіндік береді. Ақпараттың басқару рөлі осында.
Информациялық энтропия - ақпараттың ретсіздігінің өлшемі немесе ақпараттық жүйенің ішкі реттелмегендігінің белгісі. Энтропия ақпараттық ресурстардың кездейсоқ үлестірімінде артады және ретке келуі кезінде азаяды.
Ақпараттық жоғалту болмаған жағдайда, берілетін хабарламаның символдық ақпарат мөлшеріне тең сан. Мысалы, орыс тілінде сөйлем құрайтын әріптердің реттілігінде, түрлі әріптер түрлі жиілікпен пайда болады, сондықтан кейбір әріптердің пайда болу белгісіздігі басқаларға қарағанда азырақ. Кейбір әріптердің тіркесімі (бұл жағдайда N-ші тәртіпті энтропия туралы айтылады) өте сирек екенін ескерсек, белгісіздік тіпті одан да төмендетілген болып табылады. Ақпараттық энтропия ұғымы Шеннонмен сандық деректер жағдайында анықталған және термодинамикалық энтропияның тұжырымдамасына өте ұқсас болып табылады. Бұл хабарда (немесе сигналдардың реттілігі) қамтылған ақпараттың көлемін көрсететін өлшем. Ақпараттық энтропия туралы мәліметтер сигнал берудің сенімділігін арттыру үшін қажет. Сілтеме арқылы тасымалданатын артық мәліметтерін көрсеткен кезде, ол оған басшылыққа алады.
Артықтық - ақпараттық энтропия бойынша хабарламаларды беру немесе сақтау үшін пайдаланылатын ақпараттың артық мөлшерін білдіретін ақпарат теориясы. Бақылау қосындысы бұрмалау (спутниктік хабар тарату, сымсыз беру, және т.б.. Д.) жасауға арналар арқылы ақпарат беру қателерді түзету береді толқынында, қосымша артықтық жасау үшін пайдаланылады, ал деректердің артықтықты азайту үшін, пайдаланылған шығынсыз қысу болып табылады.
Оқиғаның ықтималдығы неғұрлым төмен болса, хабарламада оның пайда болуы жайлы соғұрлым жоғары белгісіздік алынады, демек, оның түрі қосымша ақпаратты таратады.
Ақпарат және энтропия ұғымдары бір-бірімен терең байланыста, осыған қарамастан, статистикалық механика және ақпараттық теорияларды бір-біріне сәйкес етіп дамытуға көп жылдар кетті.
Алғаш рет энтропияны және ақпарат тұжырымдамасын 1948 жылы Шеннон байланыстырған еді. Оның ұсынысы бойынша энтропия сигналдарды сымдар арқылы жіберу процестері үшін пайдалы өлшем ретінде пайдалана бастады. Шеннон тұрғысынан ақпарат алушыға қажет әрі тиімді сигналдар ретінде, ал тиімсіз сигналдар кедергі ретінде қарастырылды. Байланыс арнасының шығыс кірісінде сигнал көшірмесі болса, бұл энтропияның болмауын білдіреді. Шудың жоқ болуы ақпараттың максималды мөлшерін білдіреді.
Энтропия және ақпарат арақатынасы мынадай формулада көрініс тапты:
(2.1)

Н - энтропия, I - ақпарат. Бұл тұжырым Бриллюэнның сандық теориясына негізделген болатын.
Жалпы, дискретті айнымалы жағдайында ақпараттық энтропияның өлшемінің сақталу заңы теңдік түрінде жазылған:

(2.2)

0.1 Энтропия құпиясы

Физиктер жабық жүйенің энтропиясы ешқашан азаймайды делінген әйгілі Термодинамиканың екінші заңындағы уақыт асимметрия тұжырымдамасын жасырған. Жалпы, энтропия жүйенің ретсіздік шарасы болып табылады. XIX ғасырда Австриялық физик Людвиг Больцман нысанның макро- және микро күйінің айырмашылықтары тұрғысынан түсіндірген болатын. Осылайша сізден шыныаяққа құйылған кофенің физикалық сипаттамасын беру сұралса, сіз ең алдымен, оның макро сипаттамаларын қарастырған едіңіз атап айтқанда, температурасын, қысымын және өзге де ортақ қасиеттерін. Микро-күй (кофе осы мысалда) қарастырылатын ортадағы әрбір бөлек атомның дәл күйі мен жылдамдығын ... жалғасы

Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.