Шеннон энтропиясы

Жоспар
Кіріспе

1 Шеннон энтропиясы
2 Энтропия қасиеттері

Энтропия кайнардың көп болған сайын, көбірек дәреже берілетін кенеттіктің оларға хабарлаулардың ортада, әсіресе белгісізбен хабарлаулардың күтуі келеді.
Алғаш рет осы өлшемді (1.7) Клод Шеннон ұсынды, оның жұмысының фундаменті «Математикалық негіздің байланыс теориясы» 1948 жылы жарияланды.
Кездейсоқ емес шамалаушы өлшем энтропиямен аталған болатын. (1.7) формуланың түрі алдындағы алынған термодинамикалық жүйе энтропиясына арналған Вольцман айтылуының нәтижесімен сәйкес келеді.
Хартли өлшемімен Шеннона өлшем өзара байланысын қарап шығамыз, егер қайнарда тең h ықтималдық күй-жағдайларды мүмкін іске асырылған болса онда әрбір ықтималдық олардан , мына өлшемді есепке ала Хартли қайнар анықтықсыздары түсіндіруге болады, сан сияқты келуші хабардың бірді дискреттік хабарлау (сондықтан барлық қайнар хабарлаулары хабар тең ықтималдық сандары әрбірде олардан бірдей ).

Пән: Информатика, Программалау, Мәліметтер қоры
Жұмыс түрі: Материал
Тегін: Антиплагиат
Көлемі: 8 бет
Таңдаулыға:

Шеннон энтропиясы
Энтропия кайнардың көп болған сайын, көбірек дәреже берілетін кенеттіктің оларға хабарлаулардың ортада, әсіресе белгісізбен хабарлаулардың күтуі келеді.
Алғаш рет осы өлшемді (1.7) Клод Шеннон ұсынды, оның жұмысының фундаменті Математикалық негіздің байланыс теориясы 1948 жылы жарияланды.
Кездейсоқ емес шамалаушы өлшем энтропиямен аталған болатын. (1.7) формуланың түрі алдындағы алынған термодинамикалық жүйе энтропиясына арналған Вольцман айтылуының нәтижесімен сәйкес келеді.
Хартли өлшемімен Шеннона өлшем өзара байланысын қарап шығамыз, егер қайнарда тең h ықтималдық күй-жағдайларды мүмкін іске асырылған болса онда әрбір ықтималдық олардан , мына өлшемді есепке ала Хартли қайнар анықтықсыздары түсіндіруге болады, сан сияқты келуші хабардың бірді дискреттік хабарлау (сондықтан барлық қайнар хабарлаулары хабар тең ықтималдық сандары әрбірде олардан бірдей ).
Шеннон энтропиясы - хабардың орта саны, бірде тең ықтималдық емес күй-жағдайларын ұстанады. Ол хабар қайнар статистикалық қасиеттерін ескеруге рұқсат етеді. Сонымен қатарға Хартли мен Шеннон қаралған өлшемдері хабар сандарының басқа анықтамаға жақын келеді.
Ең қызықтысы, Холмогоровтың ақпараттық концепциясы ең жаңа болып келді, оның негізгі тезисы энтропия анықтамасы негізінде хабар (1.1.7) саны Pi шабуылдаулары, өйткені ықтималдықпен байланыстырылады. Ықтималдық ұғымы мәні бар тек жеке актіде хабар бірліктерінің сан бұқаралық құбылыстарымен осымен орайлас және тап осы нәтижемен осымен орайлас назар таныстырушы, бұқаралық құбылыстардың ықтималдықтары арқылы айтылған болады. Мынау ішкі хабар ұстау қайшылығы, сүйенушінің алгоритмнің жалпы теорияларын таңдау концепциясы базада жалғасады.
Осыған сәйкес алгоритмдік энтропия Н ( u , z ) - жорамал ұзындық, жүйеліліктер 0 және 1 бағдарламалар түрінде жазылған, қайсы рұқсат етеді салу объекті u бола өз бұйрықта объекті z.
Сол уақытта негізгі хабар ұғымы ықтималдық теориясына айналдырусыз негізгі бола алады, және де дәл осылай, энтропия ұғымын және хабар санын дара объектілерге қатал қабылдауға болады.
Бірақ ... жалғасы

Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.