Информациялық энтропия. Энтропия құпиясы

Пән: Физика
Жұмыс түрі: Реферат
Тегін: Антиплагиат
Көлемі: 5 бет
Таңдаулыға:

Информациялық энтропия

Дискреттік деректер жағдайындағы ақпараттық энтропияның ұғымы Шеннонмен анықталған және термодинамикалық энтропияның ұғымына ұқсас. Бұл - ақпараттың мөлшерін белгілейтін өлшем. Шеннон бойынша ақпарат түсірілген белгісіздік. Яғни ақпаратты алу - белгісіздікті шешу үшін қажет талап. Белгісіздік таңдау жағдайында туындайды. Белгісіздікті шешу барысында шешілетін тапсырма - қарастырылатын нұсқалар санының азаюы және қорытындысында нұсқаның сәйкес жағдайының бірін таңдау болып келеді. Белгісіздікті шешу негізделген шешім қабылдауға және әрекет етуге мүмкіндік береді. Ақпараттың басқару рөлі осында.

Информациялық энтропия - ақпараттың ретсіздігінің өлшемі немесе ақпараттық жүйенің ішкі реттелмегендігінің белгісі. Энтропия ақпараттық ресурстардың кездейсоқ үлестірімінде артады және ретке келуі кезінде азаяды.

Ақпараттық жоғалту болмаған жағдайда, берілетін хабарламаның символдық ақпарат мөлшеріне тең сан. Мысалы, орыс тілінде сөйлем құрайтын әріптердің реттілігінде, түрлі әріптер түрлі жиілікпен пайда болады, сондықтан кейбір әріптердің пайда болу белгісіздігі басқаларға қарағанда азырақ. Кейбір әріптердің тіркесімі (бұл жағдайда N-ші тәртіпті энтропия туралы айтылады) өте сирек екенін ескерсек, белгісіздік тіпті одан да төмендетілген болып табылады. Ақпараттық энтропия ұғымы Шеннонмен сандық деректер жағдайында анықталған және термодинамикалық энтропияның тұжырымдамасына өте ұқсас болып табылады. Бұл хабарда (немесе сигналдардың реттілігі) қамтылған ақпараттың көлемін көрсететін өлшем. Ақпараттық энтропия туралы мәліметтер сигнал берудің сенімділігін арттыру үшін қажет. Сілтеме арқылы тасымалданатын артық мәліметтерін көрсеткен кезде, ол оған басшылыққа алады.

Артықтық - ақпараттық энтропия бойынша хабарламаларды беру немесе сақтау үшін пайдаланылатын ақпараттың артық мөлшерін білдіретін ақпарат теориясы. Бақылау қосындысы бұрмалау (спутниктік хабар тарату, сымсыз беру, және т. б. . Д. ) жасауға арналар арқылы ақпарат беру қателерді түзету береді толқынында, қосымша артықтық жасау үшін пайдаланылады, ал деректердің артықтықты азайту үшін, пайдаланылған шығынсыз қысу болып табылады.

Оқиғаның ықтималдығы неғұрлым төмен болса, хабарламада оның пайда болуы жайлы соғұрлым жоғары белгісіздік алынады, демек, оның түрі қосымша ақпаратты таратады.

Ақпарат және энтропия ұғымдары бір-бірімен терең байланыста, осыған қарамастан, статистикалық механика және ақпараттық теорияларды бір-біріне сәйкес етіп дамытуға көп жылдар кетті.

Алғаш рет энтропияны және ақпарат тұжырымдамасын 1948 жылы Шеннон байланыстырған еді. Оның ұсынысы бойынша энтропия сигналдарды сымдар арқылы жіберу процестері үшін пайдалы өлшем ретінде пайдалана бастады. Шеннон тұрғысынан ақпарат алушыға қажет әрі тиімді сигналдар ретінде, ал тиімсіз сигналдар кедергі ретінде қарастырылды. Байланыс арнасының шығыс кірісінде сигнал көшірмесі болса, бұл энтропияның болмауын білдіреді. Шудың жоқ болуы ақпараттың максималды мөлшерін білдіреді.

Энтропия және ақпарат арақатынасы мынадай формулада көрініс тапты:

(2. 1)

Н - энтропия, I - ақпарат. Бұл тұжырым Бриллюэнның сандық теориясына негізделген болатын.

Жалпы, дискретті айнымалы жағдайында ақпараттық энтропияның өлшемінің сақталу заңы теңдік түрінде жазылған:

(2. 2)

Энтропия құпиясы

Физиктер жабық жүйенің энтропиясы ешқашан азаймайды делінген әйгілі Термодинамиканың екінші заңындағы уақыт асимметрия тұжырымдамасын жасырған. Жалпы, энтропия жүйенің ретсіздік шарасы болып табылады. XIX ғасырда Австриялық физик Людвиг Больцман нысанның макро- және микро күйінің айырмашылықтары тұрғысынан түсіндірген болатын. Осылайша сізден шыныаяққа құйылған кофенің физикалық сипаттамасын беру сұралса, сіз ең алдымен, оның макро сипаттамаларын қарастырған едіңіз атап айтқанда, температурасын, қысымын және өзге де ортақ қасиеттерін. Микро-күй (кофе осы мысалда) қарастырылатын ортадағы әрбір бөлек атомның дәл күйі мен жылдамдығын анықтайды. Түрлі микро-күйлер бірқатар бірыңғай үлкейтілген сәйкес екенін атап өту маңызды болып табылады: сондықтан, бір немесе екі атомды жылжытуға болады, осыдан кофенің жалпы (макро) күйі мүлдем өзгермейді.

Көрнекті көрінісі

Бұған мысал шикі жұмыртқа уақыт асимметриясын көрсетеді: ол оңай сынады, бірақ, бір рет сынған жұмыртқа қайтадан тұтас бола алмайды - тұтас болып жиналуға қарағанда сыну тәсілдері әлдеқайда көп деген қарапайым себеппен. Физиктер тілінде айтсақ, сынған жұмыртқаның энтропиясы басымырақ.

Описание: Описание: Описание: http://www.modcos.com/images/articles/oleg/2011/03/30_02.jpg

2. 1-сурет. Энтропия жайлы көрнекті көрініс

Энтропия белгілі бір макро-күйге сәйкес келетін түрлі микро-күйлердің бірқатар (математикалық энтропия осы санның логарифмге жіктелген микро-күй санының өнімі болып табылады) мөлшерімен сипатталады. Энтропиясы төмен конфигурациядағы атомдарды ұйымдастыру жолдарына қарағанда, энтропиясы жоғары конфигурацияда атомдар жиынтығын ұйымдастырудың көптеген жолдары бар. Араласпайтын екі сұйықтық мысалында түсіндірсек. Кофеңізге қаймақ қостыңыз деп елестетіп көріңізші, қаймақ пен кофе толығымен араласатын молекулалардың өзара бөлуге қатысты көптеген жолдары бар және салыстырмалы түрде қаймақ молекулаларының кофе молекулаларымен қоршалып, топтастырылу үшін оның үлестіру жолдарының саны азырақ болып келеді. Бірыңғай қоспаны алу мүмкіндігі басымырақ энтропияны қамтиды.

Осылайша, процестердің басым көпшілігінде, энтропия уақыт келе ұлғайту үрдісіне ие екенін таңқаларлық емес. Энтропиясы жоғары күйлердің саны энтропиясы төмен төмен күйлердің санынан айтарлықтай асады, жүйенің кез келген өзгерісі қарапайым ықтымалдылықтар принципі негізіндегі энтропиясы жоғары күйге әкеледі. Сол себепті қаймақ әрқашан кофемен араласады. Физикалық тұрғыда, әрине, барлық қаймақ молекулалары бірінен кейін бірі тұруға «сөз байласуы» мүмкін, бірақ статистикалық тұрғыда бұл екіталай: егер қаймақ молекуласының тыс кедергісіз кездейсоқ топтасып, осындай конфигурацияны қалыптастырғанын күткен болсаңыз, онда Әлемнің қазіргі жасынан ұзақ күтуге тура келер еді. «Уақыт жебесі» - бұл жай ғана жүйе тенденциясының энтропиясы басымырақ ықтимал күйдің бағытында даму үрдісі болып табылады.