Жасанды нейрондық желілер
1. ЕСЕПТІК-ТЕОРИЯЛЫҚ БӨЛІМ.
1.1 Жобалау мәселелерін нейрондық желілер көмегімен шешу.
Нейрондық желінің көмегімен есептерді шешу керек. Нейрондық желіге ендіру және шығару арасында ассоциациялар құру арқылы оқытылады. Сондықтан, қажетті шығумен қажетті қауымдастықты құру үшін нейрондық желінің кіріс деректерін пайдалана отырып шешу керек.
Жобалау процесінің тағы бір маңызды бөлігі - әрбір нақты деректер арқылы жоба құру.Деректер таңбалар, суреттер немесе сандар болуы мүмкін. Алайда, нейрондық желілер тек сандарды түсіне алады.Болжау-кез келген табиғат объектілерінің дамуын болжаудың жалпы принциптері мен әдістерін, болжамдарды әзірлеу процесінің заңдылықтарын зерттейтін ғылыми пән. Болжам-объектінің болашақта ықтимал жай-күйі немесе баламалы жолдар және осы жай-күйлерге қол жеткізу мерзімдері туралы негізделген пікір.Болжамдау-болжамды әзірлеу процесі. Болжамдау кезеңі-өз міндеттерімен, әдістерімен және нәтижелерімен сипатталатын болжамдарды әзірлеу процесінің бір бөлігі. Кезеңдерге бөлу болжау объектісінің жүйеленген сипаттамасын құру ерекшелігімен, деректерді жинаумен, модельді құрумен, болжамның верификациясымен байланысты.Болжауды қабылдау - болжауды әзірлеу процесінде нақты нәтижені алуға бағытталған бір немесе бірнеше математикалық немесе логикалық операциялар. Қабылдау ретінде динамикалық қатарды тегістеу, сарапшының құзыреттілігін анықтау, сарапшылар бағасының орташа өлшенген мәнін есептеу және т.б. болуы мүмкін.Болжамдау моделі - зерттеу болашақта болжамдау объектісінің ықтимал жай-күйі және оларды жүзеге асыру жолдары мен мерзімдері туралы ақпарат алуға мүмкіндік беретін болжамдау объектісінің моделі. Болжамдық нұсқа - ықтимал болжамдар тобын құрайтын болжамдардың бірі.Болжамдау объектісі жай-күйі туралы болжам берілетін процесс, жүйе немесе құбылыс.Болжамдау объектісінің сипаттамасы-болжамдау объектісінің қандай да бір қасиетінің сапалық немесе сандық көрінісі.Болжаудың ауыспалы объектісі-болжамның алдын алу негізі және кезеңі ішінде өзгертілетін болып табылатын немесе қабылданатын болжамдау объектісінің сандық сипаттамасы.Болжамдау объектісінің күрделілігі - оның элементтерінің, қасиеттері мен қатынастарының әртүрлілігін айқындайтын болжамдау объектісінің сипаттамасы.
Алғаш рет нейрондық желі 1943 жылы Мак Каллок пен Питстың жұмысында қарастырылды. Жүйке жүйесінің қысқаша моделін құрды, ол - нейрон деп аталды. Мидың ішінде бір - бірімен байланысқан негізінен 1011 нейроннан тұрды. Нейронның қысқалау біткен тармақтары дендрит, ал ұзындары аксон деп аталды. Әр нейрон өз дендриттінен ақпарат алды,әрі қарай аксон арқылы жіберіп, кейін мыңдаған синапсонкаға айналып отырды.Нейронның құрылысы, көлемі,пішіні әр түрлі. Ең көлемдісі - үлкен ми сыңарлары қыртысы, мишық.Шеткі нейрондар көбінесе бір дендритті,бір аксонды болды,бұларды диполярлы нейрондар деп аталды. Нерв жүйесі әрекетінің әр түрлі қызметі мен оның күрделілігі нейрон санына байланысты болады. Нейрон теориясы - нерв жүйесі жеке-жеке, бірақ өзара жалғасқан нейрондардан тұратын деп санайтын ғылыми көзқарас. Нейрон теориясының дамуына испан ғалымы С.Рамон-и-Кахаль, А.А.Заварзин, Б.И.Лаврентьев тағы басқа нерв жүйесі құрылысын, оның эмбриональдық дамуын, сондай-ақ нейрондардың дегенерациясы мен регенерациясын микорскоп пен зерттеу жұмыстары нәтижелерінің маңызы зор болды.Қазіргі кезде электрофизиологиялық және электрондық микроскоп пен зерттеу әдістері, барлық организмдердің нерв жүйесі жекеленген, бірақ өзара жалғасқан жері күрделі құрылысты нейрондардан тұратынын анықтады.19 ғасырдың аяғы - 20 ғасырдың басында бір нейронның клеткалық заты екінші нейронға үздіксіз ауысып отырады, сондықтан нерв клеткалары бір тұтас тор құрады деп санаған нейрон теориясына қарсы континуитет теориясы шыққан.
Нейронның жүйелік теориясы жасанды интеллекттің аймағына шығып, қабілетті жүйке биологиялық жүйелерге оқыту және қатені түзеу, төмен деңгейдегі мидың құрылымын модельдеу.
Нейронның бірінші моделі 1943 жылы белгілі нейрофизиолог Уоренн Мак-Каллок және оның оқушысы студент Уолтера Питтс есептеу идеялар жүйке белсенділігін зерттеген.
У. Мак-Каллок У. Питтс
Мак Каллока-Питтс нейрон желісінің формуласы тәуелділікпен сипатталады.
Мұнда - нейронның шығуы ,- кіріс сигналдары, - синаптикалық салмақ , - шегі ығысу, - активтендірудің шекті функциясы:
1
1 - Сурет. Нейронның моделі
Кіріс сигналдары тиісті салмақтарға көбейтілетіндігін білдіреді.Ығысу салмағына көбейтілген жеке кіріс ретінде қарастырылады. Өлшенген салмаққа көбейтілген кіріс қосылады. Қосылымның нәтижесі сызықты емес түрлендіруге жатады. Жасанды нейрондық желілер біріктірілген және өзара әрекеттесетін қарапайым процессорлар.Жасанды нейрондық желілер - нейрондық желілер жұмыс істеу принципі бойынша құрылған математикалық модельдер, сондай-ақ олардың бағдарламалық немесе аппараттық іске асырылуы. Бұл ұғым мидағы процестерді зерттеу кезінде және осы процестерді модельдеу кезінде пайда болды. Нәтижесінде, оқыту алгоритмдерін әзірлегеннен кейін алынған модельдерді практикалық мақсаттарда:болжау міндеттерінде, бейнелерді тану үшін, басқару міндеттерінде және т. б. пайдалана бастады.
Мак-Каллока - Питтс идеясы мен Фрэнк Розенблатттың алдымен IBM-794 компьютеріне арналған бейне бағдарлама, содан кейін адам көзін модельдейтін әлемдегі алғашқы нейрокомпьютердің MARK 1 электрондық құрылғысы түрінде пайда түсіру болды.
а) б)
2-сурет. Ф. Розенблатт және персептрон
Бұл құрылғы Мак-Каллок - Питтс сызбасы бойынша салынған нейронның элементтік базасы ретінде болды, ол персептрон деп аталды (ағылш. perceptron лат. perceptio-қабылдау).Розенблаттаның Персептрон үш типті элементтерден тұрады: S элементтер, a элементтер және R элементтер.S элементтері-сенсорлардың немесе рецепторлардың қабаты. Физикалық сенсорлар камераның фоторезисторлары болып табылады.Әрбір сенсор екі күйдің бірінде болуы мүмкін - тыныштық немесе қозу. Тыныштық жағдайында сенсор ассоциативті элементтерге нөлдік сигнал береді, ал қозу жағдайында - дара. Әрбір ассоциативті элементке S элементтер жиынтығы сәйкес келеді. A элемент S элементтерінен сигналдардың саны оның кірісінде кейбір шамадан асып түскеннен кейін белсендіріледі. Физикалық A элементтер Мак-Каллок - Питтс нейрондары болып табылады, бұл ретте S -A байланыстарының салмағы {-1; 0; +1} мәндерін қабылдай алатын және A элементтерінің шектерінің мәні кездейсоқ түрде ең басында таңдап, содан кейін өзгертілмейді. A сигналдары Мак-Каллок - Питтс нейрондары болып табылатын R элементтеріне беріледі. Бірақ R элементтері қабатының салмағы Розенблаттпен әзірленген алгоритм бойынша оқытылады. Оқыту S қабатына сурет элементтерін беру және белгілі мәндермен персептрон шығуларын салыстыру кезінде R элементтердің қабатының таразысын баптау тұрады.
Розенблатт персептронды үш қабатты желі ретінде жіктеді. Қазіргі таңда сенсорлық қабат әдетте ескерілмейді. Содан кейін Розенблаттың персептронын екі қабатты желі ретінде қарастыру керек.Персептрон әдетте Розенблатт персептронының R элементтерінің қабатын білдіретін бір қабатты желі деп аталды.
3 - сурет.Үш шығу жолы бар персептронның схемасы
1969 жылы М. Минский және С. Пейперт Персептрон кітабын жариялады. Кітапта персептрон Розенблатттың шектеуі математикалық қатаң негізделген. Бұл кітаптың пайда болуы батыстық мамандардың нейрондық желілерге деген қызығушылығын және тиісінше жұмыстарды қаржыландыруды күрт төмендетті деп саналады. Нейрондық желілерге деген қызығушылықтың төмендеуінің шынайы себебі көп қабатты желілерді оқыту теориясы мен алгоритмдерінің жоқтығынан туындайды.
Алайда, 1965 ж. Ж. Нильсон персептрондардан кең мүмкіндіктерге ие көп қабатты желіні құруға болатынын көрсетті. Бірақ сол уақытта көп қабатты желілерді оқыту әдістері болған жоқ.
1.2 Жасанды нейрондық желілер
Жасанды нейрондық желілер - нейрондық желілер жұмыс істеу принципі бойынша құрылған математикалық модельдер, сондай-ақ олардың бағдарламалық немесе аппараттық іске асырылуы. Бұл ұғым мидағы процестерді зерттеу кезінде және осы процестерді модельдеу кезінде пайда болды. Нәтижесінде, оқыту алгоритмдерін әзірлегеннен кейін алынған модельдерді практикалық мақсаттарда:болжау міндеттерінде, бейнелерді тану үшін, басқару міндеттерінде және т. б. пайдалана бастады.
Жасанды нейрондық желілер біріктірілген және өзара әрекеттесетін қарапайым процессорлар.
Нейрондық желілер жасанды интеллект саласындағы зерттеулерден пайда болды, атап айтқанда, мидың төменгі деңгейлі құрылымын моделдей отырып, биологиялық жүйке жүйелерінің оқу және қателерді түзету қабілетін жаңғырту әрекеттерінен,60-80 жылдары жасанды интеллект бойынша зерттеулердің негізгі саласы сараптамалық жүйелер болды. Мұндай жүйелер ойлау процесін жоғары деңгейде моделдеуге негізделді,атап айтқанда біздің ойлау процесі символдармен манипуляцияларда құрылғаны туралы көріністе. Көп ұзамай мұндай жүйелер кейбір салаларда пайда әкелуі мүмкін болса да, адам интеллектінің кейбір негізгі аспектілерін жоғалтпайды. Бір көзқарасқа сәйкес, мұның себебі олар ми құрылымын ойнату мүмкін емес. Жасанды интеллект жасау үшін ұқсас архитектурасы бар жүйені құру қажет.
Жасанды нейрондық желі - бұл бір-бірімен қосылған нейрондар жиынтығы. Әдетте, нейрондық желіде барлық нейрондардың беріліс функциялары тіркелген, ал салмақ нейрондық желінің параметрлері болып табылады және өзгеруі мүмкін. Нейрондардың кейбір кірулері нейрондық желінің сыртқы кірістері ретінде, ал кейбір шығулар - нейрондық желінің сыртқы шығулары ретінде белгіленген. Нейрондық желі кірісінде кез келген сандарды басу арқылы біз нейрондық желі шығыстарында қандай да бір сандар жиынтығын аламыз. Сонымен, нейрондық желінің жұмысы кіріс векторын Шығыс векторына түрлендіруден тұрады, және де бұл түрлендіру нейрондық желінің таразыларымен беріледі.
Жасанды нейрондық желі - нейрондық элементтердің және олардың арасындағы байланыстардың жиынтығы.
Әрбір жасанды нейрондық желінің негізін салыстырмалы түрде қарапайым, көп жағдайда - бір типті, ми нейрондарының жұмысын имитациялайтын элементтер ұяшықтар,бұдан әрі нейрон деп жасанды нейрон, жасанды нейрондық желінің ұяшығы құрайды.
Жасанды нейрондық желі ретінде ақпарат өңдеу есептеуіш құрылғысы түсініледі. Ол байланыстар немесе синапстар деп аталатын ақпарат алмасу баулары мен өзара байланысқан параллельді жұмыс істеуші қарапайым процессорлық элементтердің үлкен сандары - нейрондардан тұрады. Нейрондық желіде сыртқы әлемнен хабар алатын байланыстардың тобы және нейрондық желінің берілетін сигналдарды алынатын шығыс байланыстардың тобы болады. Нейрондық желілер классификация мен жобалаудың әр түрлі есептерін шешу үшін қолданылады.
Жасанды нейрондық желілер тірі мидың жұмыс істеуі туралы білім негізінде пайда болды. Жасанды нейрондық желілер бойынша кез келген кітап ми жұмысының қысқаша сипаттамасынан басталады, ми жұмысы туралы біздің біліміміз соншалықты шектеулі, бұл өте өрескел ұқсастық туралы айтуға болады. Жасанды нейрондық желілерді әзірлеу кезінде ми жұмысы туралы заманауи биологиялық білім шегінен шығуға тура келеді. Көптеген жағдайларда бұл биологиялық ақиқаттан бас тарту қажеттігіне әкеледі, тірі материяда мүмкін емес немесе мидың анатомиясы мен жұмыс істеуі туралы қате үлкен жорамалдарды талап ететін желілер құрылады. Қандай да бір дәрежеде бұл ұшақтардың жағдайын еске түсіреді. Ұшақты құру құстардың ұшуын бақылауға түрткі болды. Бірақ авиацияны дамыту құстар мен қазіргі заманғы ұшу аппараттарының ұқсастығы туралы айтуға болмайды. Жасанды нейрондық желілер мен ми арасындағы ұқсастықтар миын зерттеуде жасанды нейрондық желілер түрінде, интеллект және ойлау процестерін зерттеуде белгілі бір шектерде сақталуы тиіс. Адамның жүйке жүйесін зерттеумен есептеу нейронаукасы ақпаратты өңдеу процестері тұрғысынан айналысады.Бірақ бұл біздің облыс емес. Біз нейрондық желілерді ғылымда, техникада, экономикада, медицинада және басқа да қолданбалы салаларда қолдануға бағдарланамыз. Сондықтан "нейрондық желі" термині біз жасанды нейрондық желіні түсінеміз және жасанды нейрондық желілерді математикалық модель ретінде қарастырамыз.Сигнал нейронның шығу сигналы аксонмен синапстарды қалыптастыра отырып, басқа нейрондардың сомасымен және дендриттерімен байланысатын оның көптеген жүйке ұштары арқылы шығарылады. Синапсы-екі Нейрон арасындағы интерфейстер. Торға басқа нейрондардың шығуын қосатын синапстар дендриттерде де, тордың денесінде де болуы мүмкін.
Нерв жүйесінің ішіндегі сигналдарды беру күрделі электрохимиялық процесс болып табылады. Екі жасушаның арасындағы жүйке импульсінің берілуі нейро медиаторамикоторлы деп аталатын ерекше химиялық субстанциялардың бөлінуіне негізделген, синапстардан түсетін тітіркендіргіштердің әсерінен қалыптасады.Нейромедиатор жасушалық мембранаға әсер етеді, оның электр өзгеруін туындатады, бұл өзгерістің шамасы мембранаға түсетін нейромедиатордың санына пропорционалды.
Синапстар бір-бірінен нейромедиатордың мөлшері мен концентрациясының мүмкіндіктерімен ерекшеленеді. Осы себепті әртүрлі синапстер арқылы жүйке жасушасының кіруіне түсетін бірдей шамадағы импульстер оны әртүрлі дәрежеде қоздыру мүмкін. Жасушаның қозу өлшемі-оның мембранасының поляризация деңгейі, барлық синапстарда бөлінген нейромедиатордың жиынтық санына байланысты.
Біз табиғи нейрондық желінің жұмысы туралы қарастырдық. Қазіргі заманғы зерттеулер синапстар арасындағы сигналдарды таратудың химиялық табиғатының маңызды рөлін көрсетті-баяу синаптикалық өзара іс-қимыл деп аталады.
Мидың құрылысы мен жұмысына деген заманауи көзқарастарды егжей-тегжейлі, бірақ танымал баяндаумен кітаппен танысуға болады. Ерекше кітап, негіздері қаланды Иерархиялық Уақытша Жад (HTM - Hierar chical temporal memory, HTM) - моделін ми әзірленген Джеффом Хокинсом және Джоржом.
Биологиялық Нейрон жұмысының қаралған сипаттамасынан нейронның жақындатылған математикалық моделінде кіріс сигналдары әрбір сигналдың нейронның жай-күйіне әсерін ескеретін коэффициенттерге көбейтілуі тиіс. Синаптикалық салмақтар оң және теріс мәндерді қабылдайтын табиғи сандар болуы тиіс. Бірінші жағдайда синапс қоздырғыш, ал екіншісінде - клетканың басқа сигналдармен қозуына кедергі келтіретін тежейтін әсер береді. Осылайша, қозғаушы синапстың әрекеті синаптикалық салмақтың оң мәнімен, ал тежеуші синапстың әрекеті - теріс мәнмен модельдеуі мүмкін.
Кіріс импульстерінің түсуі нәтижесінде жүйке жасушасының белгілі бір электрлік қозуы болады. Қозу процесі сызықты емес процесс болып табылады және кіріс сигналдарын сызықтық қосудың қарапайым операциясына сәйкес келмейді. Егер электр тепе-теңдігінің күйінен ауытқу үлкен болмаса немесе егер қозу мен тежелу балансы теріс болса, онда нейрон қозбайды. Бұл жағдайда жасушаның қозу деңгейі оның іске қосылу шегінен төмен болды деп саналады. Егер қозу мен тежелу сомасы жасушаның активтендіру шегінен асып кетсе, шығу сигналының мәні күрт өсе бастайды. Осы жасушамен қосылған басқа нейрондарға аксон жіберген жүйке импульсі бар. Сигналдың шамасы 100 mV құралы іс жүзінде шектен асып кету дәрежесіне байланысты емес.
Осылайша, нейронның қарапайым математикалық моделі синаптикалық салмақтарға көбейтілген кіріс сигналдарын жинақтауды және алынған соманы бастапқы элементпен өңдеуді қамтуы тиіс.
Жүйке импульсінің генерациясымен бір мезгілде жасушада рефракция процесі іске қосылады. Бұл процесс нәтижесінде жасушаны белсендіру шегі күрт артады және рефракция уақыты деп аталатын біраз уақыт бойы, жасуша тіпті күшті қозғаған кезде де сигнал жасай алмайды. Техникалық нейрондардың кейбір модельдерінде рефракция процесі ескеріледі.
Қазіргі уақытта жасанды нейрондардың көптеген модельдері әзірленді, олардың кейбірінің жұмыс істеуі сипатталған қарапайым биологиялық прототиптен айтарлықтай ерекшеленеді. Қолданбалы зерттеулерде жасанды нейрондық желілерді бірнеше ерекше ерекшеліктерге ие математикалық модельдердің кейбір класы ретінде қарастыруға болады, олардың арасында келесілерді ерекшелеуге болады.
Оқыту және жалпылау қабілеті - нейрондық желілердің көптеген типтері кәдімгі компьютерлер ретінде бағдарламанбайды, ал оқытады. Оқыту желі параметрлерін, бірінші кезекте, синаптикалық таразыларды теңшеуге негізделеді. Қорытынды желі оқылмаған жағдайларды тану мүмкіндігін білдіреді. Мысалы, функцияны аппроксимдеуге үйретілген желі аргументтер мен функциялардың көптеген мәндерінде оқытылады. Оқытылған желі оқылмаған аргументтер мәндерінде функцияның мәнін алуға мүмкіндік береді.
Сызықсыз - нейрондық желілердің көптеген модельдері күрделі сызықсыз модельдер болып табылады.
Нейрондардың параллель жұмыс сипаты, бұл жұмыстың жоғары жылдамдығы мен үлкен сенімділігін қамтамасыз етеді. Адамның миы шамамен байланыстарға қатысатын нейрондар бар.Бұл жағдайда ми нейрондары салыстырмалы түрде баяу жұмыс істейді: жүйке импульсінің таралу жылдамдығы шамамен 100 м с тең, бұл мыс сымы бойынша электр сигналының таралу жылдамдығына қарағанда миллион есе аз. Нейрондар мен байланыстардың көп санының, сондай-ақ мидың оқуға қабілеттілігінің арқасында дәстүрлі архитектуралық компьютерлерде қиын шешілетін көптеген міндеттерді шешудің жоғары жылдамдығы мен сенімділігі қамтамасыз етіледі.
4 - сурет. Нейрондық желіні оқыту процессі
1.3 Жасанды нейрондық желілер көмегімен моделдеу.
Жасанды нейрон жүйесі компьютердегі нейрон желілерінің моделін имитациялау арқылы жасалуы мүмкін. Нақты нейрондардың процестерін имитациялайтын алгоритмдерді пайдалана отырып, біз желіні "оқуға" мәжбүрлей аламыз, бұл көптеген түрлі мәселелерді шешуге көмектеседі. Нейрон моделі шекті шама ретінде ұсынылады. Модель басқа сыртқы көздерден деректерді алады, әрбір кіріс мәнін анықтайды және осы мәндерді қосады.
Жасанды нейрондарды шешу үшін жеке нейрондар және әр түрлі процедураларды оқыту керек, қиын есептерді тиімді пайдалану арқылы объектілерді бірдей және топтастыру арқылы синтездеу.Басқаруда үлкен нейрондық топтарды үйлестіру арқылы,олардан жасанды нейрондық жүйені ұйымдастырады.Жасанды нейрондық жүйеден көптеген үлгіні ұйымдастыруға болады,нейронның әр қабатын сақтайды.Нейрондар ішкі қабат пен ортадағы қабаттар арқылы бір-бірімен байланыста болады.Белгілер бағдарлы хабар беру арқылы нейрондар тура және кері бола алады.Нейрон қабаттарын мәліметтерді ішкі ортадан тікелей алу - ішке кіру қабаты,мәліметтің сыртқы қабатына жіберу - шығу қабаты болып есептелінеді. Ал басқа қабаттары егер де олар жүйеде болса аралық және жасырын деп аталады.Функционалдарды қабаттарға бөлу желісі жүргізілмейді өйткені кіріс пен шығыс барлық қабатқа қосыла алады.Жүйенің құрылымы мен сәулеті жасанды нейрондарға байланысты болады өйткені ол желіні есептеуі керек.Ол бір кабатты кері байланныссыз немесе байланысты болуы мүмкін,екі қабатты тікелей байланыс үш қабатты кері байланыс және т.б. Кері байланысты желі рекуррент деп аталады.Сырттай архитектураның жасанды нейронның желісі сандық қабаттан функция активацияның әрбір қабатында ығысу арқылы әр қабаттың кіріс пен шығыстың вектордың мақсаты мен белігіленеді.Мысалы:аппроксимация үшін функцияның соңғы сандық нүктесі түзу белгі мен қолданылады.Бұл желіде бірнеше қабат активацияның сигмондалдық функицясы бар.Шығыс қабаты активацияның сызықтық функциясында болады.Бұл желі кері байланысы жоқ сондықтан оны түзу байланыс белгісі деп атайды.Жасанды графикалық нейрондық желі функционалдық немесе құрылымдық сызба түрінді көрсетеді.Бөлік пен нұсқамада керекті параметрлер мен білгілер көрсетіледі.Желінің құрылым тізбегі бөліктің типтіктеру арқылы суреттеледі. Жүйенің құрылымдық сызбасы үлкендеу және бөліктен тұрса онда детализацияның дәрежесі пайда мен анықтайды.Жүйелердің бөліктерінің белгіленуі элемент пен параметр жүйесінен вектор - матрициасынан болады.Егер де белгіленуде екі индекс болса ереже бойынша бірнеше индекс оның мекен - жайын көрсетеді немесе бөлім белгіленуі, ал екінші индекс - желі құрылымының тізбегінің көзі құрылым сызбасы автоматикалық жүйе арқылы деп gensim командасымен құрылады.Вектор мен матрица құрылым сызбасында күрделі объект болса,онда ұяшық пен массивті ұяшықты пайдаланады.
Нейрондық желінінің белгілі бір түрін құру үшін арнайы конструктор пайдаланылады.
Нейрондық желілердің барлық түрлерінің өзіндік ерекшеліктері бар.Барлығы әр түрлі жұмыстар атқарады. Нейрондық желілер әртүрлі белгілері бойынша жіктеледі. Нейрондық желілердің негізгі түрлерін атап өтейік.
1. Өңделетін Ақпарат түрі бойынша желілер:
- аналогтық желілер-ақпаратты үздіксіз түрде пайдаланады, аналогтық схемалардың көмегімен аппараттық түрде іске асырылады;
- цифрлық желілер-цифрлық түрде берілген ақпаратпен жұмыс істейді, цифрлық схемалардың көмегімен аппараттық түрде іске асырылады.
Қазіргі заманғы аппараттық іске асыру және желілерді бағдарламалық модельдеу әрдайым дерлік сандық болып табылады.
2. Қабаттар саны бойынша бір қабатты және көп қабатты желілер бөлінеді.
Бір қабатты желі нейрондардың бір қабатынан тұрады.
Желі қабаттарының саны туралы айтатын болсақ, желінің бірінші қабаты деп есептеу қажет. Көптеген жұмыстарда мысалы бірінші қабат - ешқандай өңдеу өндірмейтін, тек кіріс сигналдарын өңдеу қабатына беретін тарату қабаты болып саналады. Мұндай тәсіл, мүмкін, персептрон Розенблатттан шыққан, онда бірінші қабат шын мәнінде белгілі бір функцияны орындаған. Бұл құралда өңдеу нейрондарының бірінші қабаты болып табылады деп есептейміз.
Бұл бөлімде біз іске қосудың шекті функциясы бар бір қабатты желі ретінде персептронды жиі жазады - перцептронды қарастырамыз. Мұндай желіні Розенблатт персептронымен шатастырмау керек, бұл көбінесе Интернетте жасалады. Персептрон Розенблатта бір қабатты желі болған жоқ.Ол екі қабатты қамтыды. Бірінші сенсорлық қабат екінші қабатпен оқымайтын, кездейсоқ жасалған таразылармен байланысқан. Екінші қабаттың салмағы қатені азайту арқылы оқыды.Сонымен қатар,Розенблатттың перцептронының аналитикалық әдістермен, мысалы,болжамдау міндеттеріндегі статистикалық әдістермен функционалдық артықшылығы жоқ екендігі дәлелденген. Сондай-ақ, персептрон кейбір мәселелерді шешу кезінде көп уақытты немесе үлкен жадты талап етуі мүмкін екендігі дәлелденді. Персептрон-Маккаллок Питс моделінің негізінде құрылған бір қабатты нейрондық желі.Персептрон нейрон кіріс сигналдарының кеңістігін екі класқа сызықты бөлуді жүзеге асырады және жіктеу есептерін шешу үшін пайдаланылуы мүмкін.Бұл персептрон әрбір кіріс векторларын екі сыныптың біріне жатқызады немесе кіріс векторы,егер персептронның шығуы тең болса.Жоғарыда көрсетілгендей,кіріс векторлары кеңістік нүктелері болып табылады.Нүктелер жиынының сызықтық бөлінуі екі өлшемді кеңістікте көптеген нүктелер сызықпен бөлінуі мүмкін дегенді білдіреді. Өлшеуіш кеңістік үшін екі көп нүкте сызықтық бөлінеді, егер олар өлшеуіш гиперплоскостпен бөлінген болса. Нақты әлемнің объектілерін объектілер сипаттамаларының кеңістігінде векторлармен сипаттауға болады,мысалы, ұшақтар компоненттері бар векторлармен сипатталуы мүмкін: жылдамдық, төбе, ұшу қашықтығы және т.б. сонда персептронның нейроны көптеген объектілерді екі класқа сызықты бөлуді жүргізе алады.
Персептронды құруға келесі функция шығарылады:
net=newp(PR, S, tf, lf),
мұндағы,net - объект классы network;
PR - массивтің өлшемі Rx2 минимальды және максимальды мағыналы R кіру векторы үшін;
S - персептрон нейрондарының саны;
Tf - берілген функция тізімінен {hardlim, hardlims} кейде hardlim деп беріледі ;
If - тізімдегі оқитын функция {learnp,learnpn},кейде learnp деп берілуі мүмкін.
Персептрон құруда, матрица салмағы және вектор ығысуы inetzero функциясы арқылы нөл мен сипатталады. Персептронды оқыту үшін адаптациясы adapt функциясы арқылы шығарылады,салмақ пен ығысуын өзгерту, шыққан нәтиже кіру және шығу мағынада жасалады.
adapt функциясын пайдаланылуына кепілдік береді,әрбір есеп классификациясы сызықтық бөлек вектор мен өткен циклдың соңғы сан мен жөнге келтіріледі.Train оқыту функциясы желі параметрі жөнделу кезінді, әрбір асудан өтпей барлық асулар нәтижесінде барлығын оқытуда кей жағдайларда өту құрылымы қамтамасыз етілмейді сондықтан персептрон оқытуда пайдаланылмайды.
Салмақ пен ығысу құрылымы learnp және learnpn функциялары мына төмендегі ережелер мен орындалады:
а) Кіру белгісі шығу мен есептелінеді;
б) Қателері анықталады түпкілікті шығу екеуінің айырмашылығы мен және шығу белгісімен бірге;
в) Салмақты түзету орындалады және ығысу ескі мағынасы мен әрқайсысы сәйкес келетін белгі мен нейронның қатесіне өлшемі дұрысталады.
Оқыту мерзімі мен сезілмейтіндей кішкентай және үлкен кіру векторының сыртқа шығарылуы нормалық жасалуда кіру мәліметі салмақтық және ығысуы есептелінеді:
pni=pisqrt1+p12+...+pr2
Бұндай нормалық learnp функциясы қамтамасыз етеді салмақ пен ығысуды қойылуында. Cонымен қатар автоматтандырылған net.adaptFcn қасиетінің мағынасы adaptwb беріледі. Adaptwb қасиеті салмақ пен ығысу настройкасында әртүрлі функцияларды пайдалануға рұқсат береді, net.adaptParam қасиеті - параметрі жинағы.
Персептрон адаптациясы adapt (net,P,T) функция әдісі мен шығарылады, ал P-кіру векторы,Т-тиісті мағына.Адаптация процесі жалғасады, критериялық сапасы орта есептегіш қатесі керекті мағынасы берілгенше mae есептегіш функциясы арқылы .
Сызықтық желі - ол бір қабатты S нейроны мен R кірісі әрқайсысы бірнеше элементтен тұрады.Әр қабаттағы нейрон purelin сызықтық функциясының қабатына келеді.
Бұл сызықтық желінің персептроннан бірде - бір айырмашылығы.Сызықтық беру функциясыны 0 мен 1 шектелген.
Сызықтық желі персептрон тәрізді классификацияның сызықты оңашаланған есепті шеше алады,бірақ онда Вудроу - Хоффа әдісінің оқыту ережесін пайдаланып,ең кіші квадараттың функциясын қолдану арқылы персептрон ережесіне қарағанда қуаттырақ болып келеді.
Бұдан бөлек сызықтық желінің нейрондық негізгі кірісі әрқашан ығысу кірісі болады,бірлікке тең.Кіріс пен ығысудың элементі dotprod скаляр функция көмегімен өлшенеді, netsum функция көмегімен жинақталады.
Сызықтық нейрон желісі келесі тәсілдерден тұрады:
net=newlin(PR, S, id, lr),
net=newlin(PR, S, 0, P),
net=newlind(P, T),
мұндағы, PR - массив размері R*2 минимальды және максимальды мәні R векторының кірісі;
S - нейрон саны;
іd - кідіріс сызығының кіріс желісін бейнелеу;
lr - параметр жылдамдығының икемдеу 0,01;
P - әр кездегі кіріс размерін R*Q тізбегі;
Q - мөлшер тізбегі ;
T - тізбектің мақсаты Р размері S*Q;
O - нөл.
Бірінші тәсіл қолданылады желіге кідіріс қосқанда динамикалық адаптикалық сызықтық нейрон желісін құру үшін ADALIN (ADApture Linear Neuron netwprks) кірістерді,күш пен ығысудың әрбір элементінің кірісін түсіреді.Мұндай желілер қеңінен қолданылады сигналдардың шешімін өңдеуде және басқару жүйелерінде.
Екінші тәсіл сызықтық қабаттағы параметрлерін жылдамдықты икемдеу үшін максималдық дәреженің орнықтылығын кіріс Р кепілдік етеді.Бұл кезде сызықтық кідіріс қолданылмайды және желі статикалық болады.
Бірінші және екінші тәсіл үшін инициализация желісі initzero функциясы арқылы құрылады.Бейімделу мен оқыту желісі adaptwb функция көмегімен іске асады,ол күш пен ығысуды жақсартады.Видроу - Хоффа hearnwh функциясын қолданады да, мәнінің критериясының оқыту сапасының орта квадраттық қатесінің есептеуіш функциясы mse керекті мағынасына жеткенше.
Үшінші тәсіл сызықтық статистикалық желіні сызықтық жүйенің алгебралық теңдеудің кіші квадратының тәсіліне қалыптастырады және икемдейді.Оны коэффициенттің функция жуықтамасы теңестіру арқылы динамикалық жүйені басқарады.
Матрицаның жазылу есептелінген жүйенің алгебралық теңдеуінің сызықтығы мынандай:
[W b]*[P;ones]=T,
бұл жағдайда мына шарт орындалады:
S*R+S=Q.
Learnwh функциясы күш кірісінің ығысуы келесі векторлық формуласы арқылы шешіледі:
pn = p(sqrt(1+P(1)^2)+... +P(R)^2);
dW = lr*e*pn;
db = lr*e.
Сызықтық желі моделінің жұмысында әртүрлі жағдай болуы мүмкін, барлық шартты орындау үшін сан параметрінің икемі жетіспесе,бұл жағдайда желі қайта анықталған деп есептелінеді.Егер де сан параметрі өте үлкен болса,онда желі анықталмаған болып есептелінеді.Бұл жағдайда басқа жағдайда да кіші квадрат тәсілі күйді өндіреді де,желінің қатесін орындауға ұмтылыс жасайды.Бір қабатты сызықтық желінің архитектурасы барлық есеп пен орындалады,сол есеп арқылы орындалуы қажет,егер де кіріс санының желісі мен сан нейроны қабатта анықталып,санның кірісі мен шығыс есебі мен сәйкестендірілсе.
Джордан желісі-көп қабатты перцептроннан алынатын нейрондық желілердің түрі, егер оның кіруіне кіріс векторынан басқа, бір немесе бірнеше тактіге кідірумен шығатын болса.Бірінші рекурренттік желілерде басты идея желі алдыңғы қадамда өзінің шығу бейнесін көруге мүмкіндік берді. Мұндай желіде тек рецепторлардың бір бөлігі ғана қоршаған әлем сигналдарын қабылдайды, басқа рецепторларға алдыңғы уақыт шығу бейнесі келеді. Желі арқылы сигналдардың кезектілігінің өтуін қарастырайық. Сигнал сыртқы әлеммен (INPUT) қосылған рецепторлар тобына түседі және жасырын қабатқа өтеді. Жасырын қабатпен түрлендірілген сигнал Шығыс қабатына (OUTPUT) барады және желіден шығады, ал оның көшірмесі кідіріске түседі. Одан әрі желіге сыртқы сигналдарды қабылдайтын рецепторларға екінші бейне, ал рецепторлардың контекстік тобына (CONTEXT) -- кідірістен алдыңғы қадамнан шығу бейнесі түседі. Содан кейін барлық рецепторлардың сигнал жасырын қабатқа, содан кейін демалыс. .Сонымен нейрондық желінің құрылу процедурасы келесі қадамдардан тұрады:
1.Бастапқы желінің кескін пішінін,бір қабатты нейрондар саны мен жартысына тең кіру және шығу ортақ саны мен таңдап алу.
2.Желіні оқытуы және оны тексеру жиынтығында тексеру,қажетті жағдайда қосымша нейрондар және қабат аралықты қосу.
3.Егер қайта оқыту нәтижесінің орны бар болса,онда желіні қайта пішімдеу қажет екендігін қамтамасыз ету керек,тексерудегі және тесттік жиынтықта.Шамаға қарай былай жасауға тырысып көрген жақсы әр түрлі бақылаудың түрлері теңдей етіп көрсетілгені дұрыс.Өте жақсы жоспарланған желі тарту қасиетіне ие болу қажет,ол кезде келешекте оқытылу,кейбір мәліметтер жиынтығында қабілеттілікке ие болып дұрыс нәтиже бере бастайды.
Қазіргі кезде функционалды қате минимализациясының көптеген тәсілдері жоспарланған,белгілі тәсілдердің негізінде,бірнеше ауыспалы экстрелеум функциясын анықтауда.
1.4 Кохонен нейрондық желісі.
Өздік ұйымдастырушы қабатындағы Кохонена - ол бірқабатты нейрон желісінің басқаруын берілу функциясының compet, шығыс мәнінің нейрон желісін талдайды және нәтиже ретінде оның үлкен мәнін береді.
Инициализациялау кіріс күші орташа мән функция арқылы өндіріледі.
W = midpoint (S,PR),
мұндағы S - Кохонен қабатындағы нейрон саны;
PR - матрица өлшемі Rx2, ауқымның берілуі [PminjPmaxj], өзгеруі R кіріс векторының элементі;
W - матрица күшінің өлшемі SxR кіріс қабаты үшін,бағананың мәні бар (Pminj+Pmaxj)2
Инициализациялау күш ығысуының қабат нейроны тең функциясының ығысуына өндіріледі
B = initcon(S,PR),
әр нейронға бір ығысу қояды,өйткені exp(1)*S тең.
Мысалы, S=5 бұл ығысу тең 5*2.71828=1.359740*10.
Теріс қашықтықтың әр жолы Wi матрицасының күші мен W және әр бағандағы Pj матрица күші P мен жүзеге асырылады,қашанда функция negdist(W,P) есептелінеді.Таразылау кірісі ығысу мен функция netsum қосындысын өндіріледі.
Өздік ұйымдастыру қабаты Кохонен
net = newc(PR,S,KLr,clr)
функциясы, мұндағы KLr - параметр функциясы икемдеу күші мәнінің өсуі қашанда 0.01 тең;
clr - параметр функциясын икемдеу ығысуы,мәнінің өшуі қашанда 0.001 тең.
Бұл функция бір қабатты желіні R нейроны мен R кірісін қалыптастырады.
Кохоненнің нейрондық желілері мұғалімсіз оқитын нейрожелілік сәулеттің типтік үлгісі. Осы жерден олар шешетін міндеттердің тізімі: деректерді кластерлеу немесе қасиеттерді болжау. Сонымен қатар, Кохонен желісі ақпаратты аз жоғалтумен деректердің өлшемін азайту мақсатында пайдаланылуы мүмкін.
Бұрын қаралған нейрондық желілердің архитектуралары мұғаліммен бірге кіріс және шығыс векторларының бір-біріне сәйкес келетін жұптарынан тұратын көптеген мысалдардан тұратын деректерді іріктеуде оқыды. Бұл ретте шығу мәндері салмақ коэффициенттерін баптауға тікелей қатысты.
Кохоненнің нейрондық желілерінде оқу үлгісінде шығу векторы болуы мүмкін, бірақ болмауы да мүмкін,және кез келген жағдайда олар оқу процесіне қатыспайды. Яғни, шығу синапстарды түзету кезінде бағдар ретінде пайдаланылмайды. Сондықтан нейрондық желіні баптау принципі өзін-өзі оқыту деп аталады.
Қарастырылып отырған сәулетте сигнал тікелей бағытта шығуларға кіруден таратылады. Нейрондық желінің құрылымы ығысу коэффициенттері жоқ нейрондардың жалғыз қабаты.Салмақ коэффициенттерінің жалпы саны туынды ретінде есептеледі:
Нейрондар саны кластерлер санына тең, олардың ішінде бастапқы бөлу және кейінгі оқыту мысалдарын қайта бөлу. Нейрондық желінің кіріс айнымалы саны зерттеу объектісін сипаттайтын және соның негізінде оны кластерлердің біріне жатқызу болатын белгілердің санына тең.
Ажырата білу қажет жеке-өзіндік Кохонен желісі. Қарапайым өзін-өзі оқыту кезінде желінің қатаң бекітілген құрылымы бар, яғни бүкіл өмір циклында өзгермейтін нейрондар саны. Өзін-өзі ұйымдастыру кезінде желі, керісінше, тұрақты құрылымы жоқ. Жеңімпаз нейронға дейін табылған қашықтыққа байланысты не бұл нейрон мысал кластеризациялау үшін пайдаланылады, не кіре берісте берілген мысал үшін оған сәйкес салмақ коэффициенттері бар жаңа кластер құрылады. Сонымен қатар, Кохонен желісінің құрылымын өзін-өзі ұйымдастыру процесінде жекелеген нейрондар одан алынып тасталуы мүмкін.
5 - cурет. Кохоненнің нейрондық желісінің жалпы құрылымы
Кіріс айнымалыларды қалпына келтіру [-1, 1] немесе [0, 1] шегінде орындалады.
Бұл архитектураның нейрондық желілерінің өмірлік циклі үшін өмірлік циклдің үш негізгі сатысы тән: оқыту, кластерлік талдау және практикалық пайдалану.
Кохонен желісін оқыту алгоритмі құрамы құрылым түріне байланысты кезеңдерді қамтиды: тұрақты өзін-өзі оқитын желі немесе айнымалы өздігінен ұйымдастырылған желі. Өзін-өзі оқыту үшін жүйелі түрде орындалады:
1.Желі құрылымын (Кохонен қабатының нейрондарының санын) (K) тапсырма.
2.Салмақ коэффициенттерін мынадай шектеулердің бірін қанағаттандыратын мәндермен кездейсоқ инициализациялау:
- бастапқы үлгіні қалпына келтіру кезінде [-1, 1]:
(1)
- бастапқы үлгіні қалпына келтіру кезінде [0, 1]:
, (2)
мұнда M - кіріс айнымалы желілерінің саны-зерттеу объектісінің сипаттамалық белгілері.
3. Оқытудың ағымдағы дәуірінің кездейсоқ оқыту мысалдары желісінің кіре берісіне беру және кіріс векторынан барлық кластерлердің орталықтарына дейінгі евклидтік қашықтықты есептеу:
. (3)
4. Rj мәндерінің ең азы бойынша нейрон-j жеңімпазы таңдалады, ең үлкен дәрежеде кіріс векторы бар мәндер бойынша жақын. Таңдалған Нейрон үшін (және тек ол үшін) салмақ коэффициенттері түзетіледі:
, (4)
5. Цикл 3-қадамнан бір немесе бірнеше аяқтау шарттарын орындауға дейін қайталанады:
- оқыту кезеңдерінің берілген шекті саны таусылды;
- оқытудың соңғы кезеңінде берілген дәлдік шегінде салмақ коэффициенттерінің елеулі өзгеруі болған жоқ;
- берілген Шекті физикалық оқу уақыты таусылды.
Оқыту жылдамдығының коэффициенті Тұрақты шектерден (0, 1] немесе дәуірден дәуірге қарай біртіндеп азаятын ауыспалы мәнмен берілуі мүмкін.
Кохонен желісінің өзін-өзі ұйымдастыруы жағдайында алгоритм белгілі бір өзгерістерге ұшырайды:
1. Мысал кірулері мен жеңімпаз Нейрон салмағы арасындағы ең жоғары мүмкін Евклидке сәйкес келетін rкр сыни қашықтығы беріледі. Бастапқы құрылым құрамында нейрондар жоқ. 2.6-к е с т е.желінің кіруіне оқыту үлгісінің ең бірінші мысалы берілгенде, берілген кіріс мәндеріне тең салмақ коэффициенттері бар бірінші нейрон құрылады.
2. Желі кіре берісіне ағымдағы оқу кезеңінің кездейсоқ таңдалған жаңа үлгісі беріледі, мысалдан (3) ара қатынасы бойынша әрбір кластердің орталығына дейінгі Евклид арақашықтығы есептеледі және олардың ең азы rmin жеңімпаз нейрон анықталады.
3. Егер Rmin = Rкр шарты орындалса, (4) қатынасы бойынша тиісті жеңімпаз нейронның салмақ коэффициенттерін түзету жүргізіледі, олай болмаған жағдайда желі құрылымына жаңа нейрон қосылады, оның салмақ коэффициенттері берілген үлгінің кіріс мәндеріне сандық тең қабылданады.
4. Процедура 2 п. қайталанады. Егер оқытудың соңғы кезеңінде қандай да бір кластерлер іске қосылмаған болса, тиісті нейрондар Кохонен желісінің құрылымынан шығарылады.
5. Егер тіркелген құрылым желісінің өзін-өзі оқыту алгоритмінде жазылған шарттардың бірі орындалса, есептеулер аяқталады.
Өзін-өзі оқыту және өзін-өзі ұйымдастыру алгоритмдерінің тағы бір модификациясы жеңімпаз нейронның ғана емес, басқа нейрондардың да салмақ коэффициенттерін түзетуді көздейді. Ол үшін RJ кластерінің орталығына дейінгі қашықтықты ұлғайтумен алып тастайтын оқу жылдамдығының коэффициентін пайдалану керек:
,
мұндағы Rкр - қашықтықтың сыни мәні: ол аз болған сайын, кластерлердің оқыту үлгілеріне ең жақын таразылардың түзетулері неғұрлым маңызды және іс жүзінде елеусіз - одан алыстағандардан артық-аз таразылар; жылдамдық коэффициентіне қашықтықтың әсер ету сызықсыз дәрежесін белгілейтін β - параметр; v0 - оқытудың ағымдағы дәуіріндегі жылдамдық коэффициентінің базалық барынша мүмкін болатын мәні.
Rкр мәні ретінде әрбір кластер үшін орташа қашықтықты ағымдағы оқу мысалын көрсеткенде есептеуге болады. Β параметрін 3,0 +- 0,5 тең таңдау ұсынылады.
Әдетте, тәжірибеде қолдану кезінде өзіндік ұйымдастыру нейрон Кохонена тура алдарынан тағы да бір проблема. Бір жағынан, қандай да бір кластерлерде тым аз мысалдар болуы мүмкін, бұл кейіннен ақпаратты жалпылаудың күрделілігіне әкеледі. Екінші жағынан, кейбір кластерлер тым үлкен болуы мүмкін, яғни көптеген мысалдар болуы мүмкін. Бұл жағдайда кластер мөлшерін реттеу және оның толықтырылу проблемасын шешу үшін қосымша параметр ретінде кластерді қалыптастыратын мысалдардың шекті санын (Nпр) қоюға болады. Егер қандай да бір сәтте жаңа мысал мөлшері барынша жоғары кластерге жатқызылуы тиіс екендігі анықталса, орталығы осы кластердің орталығынан неғұрлым алыс орналасқан кластердің (жаңасын қоса алғанда) үлгілерінің бірінің (Nпр + 1) ауыспалы векторы болатын басқа кластер құру туралы шешім қабылданады.
Оқытылған нейрон желісіне кластерлік талдау рәсімі - оны қалыптастырған үлгілердің сандық және сапалық құрамын талдау негізінде кластер қасиеттерін сипаттау рәсімдері қолданылады. Кластерлерді сипаттау оқу үлгісінің кіріс айнымалы мәндеріне ғана емес, кластерлерді қалыптастыруға қатыспаған ауыспалы мәндерге де негізделуі мүмкін екенін ескеру қажет. Атап айтқанда, сипаттамаға кластерді қалыптастырған барлық мысалдар арасында осындай ауыспалы орташа мәндер туралы деректер кіруі мүмкін. Сонымен қатар, әрбір кластер үшін орташа квадраттық ауытқулар немесе әр айнымалы бойынша дисперсия туралы деректер болуы қажет.
Кохоненнің нейрондық желісін практикалық пайдалану кезінде жаңа мысал оның кіруіне беріледі және бар кластерлердің біріне жатады, немесе мұндай жатқызудың мүмкін еместігі туралы қорытынды жасалады жақын кластердің орталығына дейін алыс қашықтықта. Егер кластерді таңдау жүргізілсе, кластерлік талдау нәтижесінде алынған оның сипаттамасы және кластерге тиісті шешімдер оның ішінде берілген мысалға таратылуы тиіс.
Кохонен желісін іс жүзінде пайдалану кластерлеу нәтижелерін визуализациялау есебінен жеңілдетіледі. Өзін-өзі оқыту нәтижесінде кластерлер жиынтығы алынады, олардың әрқайсысы өзінің орталығымен тиісті нейронның салмақтық коэффициенттерінің мәндерімен және оны қалыптастырған оқыту мысалдарының санымен сипатталады. Кластерлердің барлық ықтимал жұптарының орталықтары арасындағы евклидтық қашықтықты анықтау және оларды Кохоненнің картасында - әрбір жеке алынған кластердің мөлшері мен жағдайы туралы ғана емес, сонымен қатар бір-біріне жақындық және жекелеген кластерлердің өзара орналасуы туралы да бағалауға мүмкіндік беретін екі өлшемді графикалық құрылым деп аталатын графикалық түрде бейнелеуге ешқандай қиындық тудырмайды.
Студенттердің оқу топтарының бірінің студенттердің үлгерімі туралы мәліметтерді кластеризациялау мәселесін шешу үшін Кохоненнің нейрондық желісінде өз-өзіне оқыту үлгісі көрсетілген.
Нейрон желісінің түрі - LVQ,Элман және Хопфилд - желілері.
Нейрон желісінің түрі LVQ (Learning Vector Quantization), немесе желі үшін кіріс векторының топталуы екі қабат ығысудан тұрады. Кіріс қабаты сызықтық берілу функциясының purelin болады да, кластер байланысы класс мақсатымен қамтамасыз етеді. Әр кластерге кіріс қабатынан бір нейрон берілуі керек, өйткені класс саны кластер санынан көп болмауы керек.
Алдын ала мәлімдеу арқылы бірінші қабаттағы кластер арнаулы кластың екінші қабаты мен байланысады. Онда алдын ала элемент матрица күші LW екінші қабатқа қоюға мүмкіндік береді. Бірақ дұрыс кластерді табу үшін әр векторға оқыту жиынын табу керек, оқыту желісінің процедурасын орындау керек.
LVQ-желісінің құру үшін функция newlog қолданылады, оның мынандай түрі бар:
net = newlvg(PR, S1, PC, LR, LF),
Онда PR - массив размері Rх2к іші және үлкен мәнінің R кіріс векторына;
S1 - нейрон саны кіріс қабатына;
PC - вектор размері 1хS2, әр кластың сан класынан S2 үлесін бөліп көрсету;
LR - қашықтық параметрінің құрылымы үндестік 0.01;
LF - құрылым параметрінің функциясы, үндестік learnlv2.
Функция newlog орындау нәтижесінде екі қабаттың желі құрылады. Бірінші қабат өлшеуіш функциясының dotprod,netsum қорын ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
1.1 Жобалау мәселелерін нейрондық желілер көмегімен шешу.
Нейрондық желінің көмегімен есептерді шешу керек. Нейрондық желіге ендіру және шығару арасында ассоциациялар құру арқылы оқытылады. Сондықтан, қажетті шығумен қажетті қауымдастықты құру үшін нейрондық желінің кіріс деректерін пайдалана отырып шешу керек.
Жобалау процесінің тағы бір маңызды бөлігі - әрбір нақты деректер арқылы жоба құру.Деректер таңбалар, суреттер немесе сандар болуы мүмкін. Алайда, нейрондық желілер тек сандарды түсіне алады.Болжау-кез келген табиғат объектілерінің дамуын болжаудың жалпы принциптері мен әдістерін, болжамдарды әзірлеу процесінің заңдылықтарын зерттейтін ғылыми пән. Болжам-объектінің болашақта ықтимал жай-күйі немесе баламалы жолдар және осы жай-күйлерге қол жеткізу мерзімдері туралы негізделген пікір.Болжамдау-болжамды әзірлеу процесі. Болжамдау кезеңі-өз міндеттерімен, әдістерімен және нәтижелерімен сипатталатын болжамдарды әзірлеу процесінің бір бөлігі. Кезеңдерге бөлу болжау объектісінің жүйеленген сипаттамасын құру ерекшелігімен, деректерді жинаумен, модельді құрумен, болжамның верификациясымен байланысты.Болжауды қабылдау - болжауды әзірлеу процесінде нақты нәтижені алуға бағытталған бір немесе бірнеше математикалық немесе логикалық операциялар. Қабылдау ретінде динамикалық қатарды тегістеу, сарапшының құзыреттілігін анықтау, сарапшылар бағасының орташа өлшенген мәнін есептеу және т.б. болуы мүмкін.Болжамдау моделі - зерттеу болашақта болжамдау объектісінің ықтимал жай-күйі және оларды жүзеге асыру жолдары мен мерзімдері туралы ақпарат алуға мүмкіндік беретін болжамдау объектісінің моделі. Болжамдық нұсқа - ықтимал болжамдар тобын құрайтын болжамдардың бірі.Болжамдау объектісі жай-күйі туралы болжам берілетін процесс, жүйе немесе құбылыс.Болжамдау объектісінің сипаттамасы-болжамдау объектісінің қандай да бір қасиетінің сапалық немесе сандық көрінісі.Болжаудың ауыспалы объектісі-болжамның алдын алу негізі және кезеңі ішінде өзгертілетін болып табылатын немесе қабылданатын болжамдау объектісінің сандық сипаттамасы.Болжамдау объектісінің күрделілігі - оның элементтерінің, қасиеттері мен қатынастарының әртүрлілігін айқындайтын болжамдау объектісінің сипаттамасы.
Алғаш рет нейрондық желі 1943 жылы Мак Каллок пен Питстың жұмысында қарастырылды. Жүйке жүйесінің қысқаша моделін құрды, ол - нейрон деп аталды. Мидың ішінде бір - бірімен байланысқан негізінен 1011 нейроннан тұрды. Нейронның қысқалау біткен тармақтары дендрит, ал ұзындары аксон деп аталды. Әр нейрон өз дендриттінен ақпарат алды,әрі қарай аксон арқылы жіберіп, кейін мыңдаған синапсонкаға айналып отырды.Нейронның құрылысы, көлемі,пішіні әр түрлі. Ең көлемдісі - үлкен ми сыңарлары қыртысы, мишық.Шеткі нейрондар көбінесе бір дендритті,бір аксонды болды,бұларды диполярлы нейрондар деп аталды. Нерв жүйесі әрекетінің әр түрлі қызметі мен оның күрделілігі нейрон санына байланысты болады. Нейрон теориясы - нерв жүйесі жеке-жеке, бірақ өзара жалғасқан нейрондардан тұратын деп санайтын ғылыми көзқарас. Нейрон теориясының дамуына испан ғалымы С.Рамон-и-Кахаль, А.А.Заварзин, Б.И.Лаврентьев тағы басқа нерв жүйесі құрылысын, оның эмбриональдық дамуын, сондай-ақ нейрондардың дегенерациясы мен регенерациясын микорскоп пен зерттеу жұмыстары нәтижелерінің маңызы зор болды.Қазіргі кезде электрофизиологиялық және электрондық микроскоп пен зерттеу әдістері, барлық организмдердің нерв жүйесі жекеленген, бірақ өзара жалғасқан жері күрделі құрылысты нейрондардан тұратынын анықтады.19 ғасырдың аяғы - 20 ғасырдың басында бір нейронның клеткалық заты екінші нейронға үздіксіз ауысып отырады, сондықтан нерв клеткалары бір тұтас тор құрады деп санаған нейрон теориясына қарсы континуитет теориясы шыққан.
Нейронның жүйелік теориясы жасанды интеллекттің аймағына шығып, қабілетті жүйке биологиялық жүйелерге оқыту және қатені түзеу, төмен деңгейдегі мидың құрылымын модельдеу.
Нейронның бірінші моделі 1943 жылы белгілі нейрофизиолог Уоренн Мак-Каллок және оның оқушысы студент Уолтера Питтс есептеу идеялар жүйке белсенділігін зерттеген.
У. Мак-Каллок У. Питтс
Мак Каллока-Питтс нейрон желісінің формуласы тәуелділікпен сипатталады.
Мұнда - нейронның шығуы ,- кіріс сигналдары, - синаптикалық салмақ , - шегі ығысу, - активтендірудің шекті функциясы:
1
1 - Сурет. Нейронның моделі
Кіріс сигналдары тиісті салмақтарға көбейтілетіндігін білдіреді.Ығысу салмағына көбейтілген жеке кіріс ретінде қарастырылады. Өлшенген салмаққа көбейтілген кіріс қосылады. Қосылымның нәтижесі сызықты емес түрлендіруге жатады. Жасанды нейрондық желілер біріктірілген және өзара әрекеттесетін қарапайым процессорлар.Жасанды нейрондық желілер - нейрондық желілер жұмыс істеу принципі бойынша құрылған математикалық модельдер, сондай-ақ олардың бағдарламалық немесе аппараттық іске асырылуы. Бұл ұғым мидағы процестерді зерттеу кезінде және осы процестерді модельдеу кезінде пайда болды. Нәтижесінде, оқыту алгоритмдерін әзірлегеннен кейін алынған модельдерді практикалық мақсаттарда:болжау міндеттерінде, бейнелерді тану үшін, басқару міндеттерінде және т. б. пайдалана бастады.
Мак-Каллока - Питтс идеясы мен Фрэнк Розенблатттың алдымен IBM-794 компьютеріне арналған бейне бағдарлама, содан кейін адам көзін модельдейтін әлемдегі алғашқы нейрокомпьютердің MARK 1 электрондық құрылғысы түрінде пайда түсіру болды.
а) б)
2-сурет. Ф. Розенблатт және персептрон
Бұл құрылғы Мак-Каллок - Питтс сызбасы бойынша салынған нейронның элементтік базасы ретінде болды, ол персептрон деп аталды (ағылш. perceptron лат. perceptio-қабылдау).Розенблаттаның Персептрон үш типті элементтерден тұрады: S элементтер, a элементтер және R элементтер.S элементтері-сенсорлардың немесе рецепторлардың қабаты. Физикалық сенсорлар камераның фоторезисторлары болып табылады.Әрбір сенсор екі күйдің бірінде болуы мүмкін - тыныштық немесе қозу. Тыныштық жағдайында сенсор ассоциативті элементтерге нөлдік сигнал береді, ал қозу жағдайында - дара. Әрбір ассоциативті элементке S элементтер жиынтығы сәйкес келеді. A элемент S элементтерінен сигналдардың саны оның кірісінде кейбір шамадан асып түскеннен кейін белсендіріледі. Физикалық A элементтер Мак-Каллок - Питтс нейрондары болып табылады, бұл ретте S -A байланыстарының салмағы {-1; 0; +1} мәндерін қабылдай алатын және A элементтерінің шектерінің мәні кездейсоқ түрде ең басында таңдап, содан кейін өзгертілмейді. A сигналдары Мак-Каллок - Питтс нейрондары болып табылатын R элементтеріне беріледі. Бірақ R элементтері қабатының салмағы Розенблаттпен әзірленген алгоритм бойынша оқытылады. Оқыту S қабатына сурет элементтерін беру және белгілі мәндермен персептрон шығуларын салыстыру кезінде R элементтердің қабатының таразысын баптау тұрады.
Розенблатт персептронды үш қабатты желі ретінде жіктеді. Қазіргі таңда сенсорлық қабат әдетте ескерілмейді. Содан кейін Розенблаттың персептронын екі қабатты желі ретінде қарастыру керек.Персептрон әдетте Розенблатт персептронының R элементтерінің қабатын білдіретін бір қабатты желі деп аталды.
3 - сурет.Үш шығу жолы бар персептронның схемасы
1969 жылы М. Минский және С. Пейперт Персептрон кітабын жариялады. Кітапта персептрон Розенблатттың шектеуі математикалық қатаң негізделген. Бұл кітаптың пайда болуы батыстық мамандардың нейрондық желілерге деген қызығушылығын және тиісінше жұмыстарды қаржыландыруды күрт төмендетті деп саналады. Нейрондық желілерге деген қызығушылықтың төмендеуінің шынайы себебі көп қабатты желілерді оқыту теориясы мен алгоритмдерінің жоқтығынан туындайды.
Алайда, 1965 ж. Ж. Нильсон персептрондардан кең мүмкіндіктерге ие көп қабатты желіні құруға болатынын көрсетті. Бірақ сол уақытта көп қабатты желілерді оқыту әдістері болған жоқ.
1.2 Жасанды нейрондық желілер
Жасанды нейрондық желілер - нейрондық желілер жұмыс істеу принципі бойынша құрылған математикалық модельдер, сондай-ақ олардың бағдарламалық немесе аппараттық іске асырылуы. Бұл ұғым мидағы процестерді зерттеу кезінде және осы процестерді модельдеу кезінде пайда болды. Нәтижесінде, оқыту алгоритмдерін әзірлегеннен кейін алынған модельдерді практикалық мақсаттарда:болжау міндеттерінде, бейнелерді тану үшін, басқару міндеттерінде және т. б. пайдалана бастады.
Жасанды нейрондық желілер біріктірілген және өзара әрекеттесетін қарапайым процессорлар.
Нейрондық желілер жасанды интеллект саласындағы зерттеулерден пайда болды, атап айтқанда, мидың төменгі деңгейлі құрылымын моделдей отырып, биологиялық жүйке жүйелерінің оқу және қателерді түзету қабілетін жаңғырту әрекеттерінен,60-80 жылдары жасанды интеллект бойынша зерттеулердің негізгі саласы сараптамалық жүйелер болды. Мұндай жүйелер ойлау процесін жоғары деңгейде моделдеуге негізделді,атап айтқанда біздің ойлау процесі символдармен манипуляцияларда құрылғаны туралы көріністе. Көп ұзамай мұндай жүйелер кейбір салаларда пайда әкелуі мүмкін болса да, адам интеллектінің кейбір негізгі аспектілерін жоғалтпайды. Бір көзқарасқа сәйкес, мұның себебі олар ми құрылымын ойнату мүмкін емес. Жасанды интеллект жасау үшін ұқсас архитектурасы бар жүйені құру қажет.
Жасанды нейрондық желі - бұл бір-бірімен қосылған нейрондар жиынтығы. Әдетте, нейрондық желіде барлық нейрондардың беріліс функциялары тіркелген, ал салмақ нейрондық желінің параметрлері болып табылады және өзгеруі мүмкін. Нейрондардың кейбір кірулері нейрондық желінің сыртқы кірістері ретінде, ал кейбір шығулар - нейрондық желінің сыртқы шығулары ретінде белгіленген. Нейрондық желі кірісінде кез келген сандарды басу арқылы біз нейрондық желі шығыстарында қандай да бір сандар жиынтығын аламыз. Сонымен, нейрондық желінің жұмысы кіріс векторын Шығыс векторына түрлендіруден тұрады, және де бұл түрлендіру нейрондық желінің таразыларымен беріледі.
Жасанды нейрондық желі - нейрондық элементтердің және олардың арасындағы байланыстардың жиынтығы.
Әрбір жасанды нейрондық желінің негізін салыстырмалы түрде қарапайым, көп жағдайда - бір типті, ми нейрондарының жұмысын имитациялайтын элементтер ұяшықтар,бұдан әрі нейрон деп жасанды нейрон, жасанды нейрондық желінің ұяшығы құрайды.
Жасанды нейрондық желі ретінде ақпарат өңдеу есептеуіш құрылғысы түсініледі. Ол байланыстар немесе синапстар деп аталатын ақпарат алмасу баулары мен өзара байланысқан параллельді жұмыс істеуші қарапайым процессорлық элементтердің үлкен сандары - нейрондардан тұрады. Нейрондық желіде сыртқы әлемнен хабар алатын байланыстардың тобы және нейрондық желінің берілетін сигналдарды алынатын шығыс байланыстардың тобы болады. Нейрондық желілер классификация мен жобалаудың әр түрлі есептерін шешу үшін қолданылады.
Жасанды нейрондық желілер тірі мидың жұмыс істеуі туралы білім негізінде пайда болды. Жасанды нейрондық желілер бойынша кез келген кітап ми жұмысының қысқаша сипаттамасынан басталады, ми жұмысы туралы біздің біліміміз соншалықты шектеулі, бұл өте өрескел ұқсастық туралы айтуға болады. Жасанды нейрондық желілерді әзірлеу кезінде ми жұмысы туралы заманауи биологиялық білім шегінен шығуға тура келеді. Көптеген жағдайларда бұл биологиялық ақиқаттан бас тарту қажеттігіне әкеледі, тірі материяда мүмкін емес немесе мидың анатомиясы мен жұмыс істеуі туралы қате үлкен жорамалдарды талап ететін желілер құрылады. Қандай да бір дәрежеде бұл ұшақтардың жағдайын еске түсіреді. Ұшақты құру құстардың ұшуын бақылауға түрткі болды. Бірақ авиацияны дамыту құстар мен қазіргі заманғы ұшу аппараттарының ұқсастығы туралы айтуға болмайды. Жасанды нейрондық желілер мен ми арасындағы ұқсастықтар миын зерттеуде жасанды нейрондық желілер түрінде, интеллект және ойлау процестерін зерттеуде белгілі бір шектерде сақталуы тиіс. Адамның жүйке жүйесін зерттеумен есептеу нейронаукасы ақпаратты өңдеу процестері тұрғысынан айналысады.Бірақ бұл біздің облыс емес. Біз нейрондық желілерді ғылымда, техникада, экономикада, медицинада және басқа да қолданбалы салаларда қолдануға бағдарланамыз. Сондықтан "нейрондық желі" термині біз жасанды нейрондық желіні түсінеміз және жасанды нейрондық желілерді математикалық модель ретінде қарастырамыз.Сигнал нейронның шығу сигналы аксонмен синапстарды қалыптастыра отырып, басқа нейрондардың сомасымен және дендриттерімен байланысатын оның көптеген жүйке ұштары арқылы шығарылады. Синапсы-екі Нейрон арасындағы интерфейстер. Торға басқа нейрондардың шығуын қосатын синапстар дендриттерде де, тордың денесінде де болуы мүмкін.
Нерв жүйесінің ішіндегі сигналдарды беру күрделі электрохимиялық процесс болып табылады. Екі жасушаның арасындағы жүйке импульсінің берілуі нейро медиаторамикоторлы деп аталатын ерекше химиялық субстанциялардың бөлінуіне негізделген, синапстардан түсетін тітіркендіргіштердің әсерінен қалыптасады.Нейромедиатор жасушалық мембранаға әсер етеді, оның электр өзгеруін туындатады, бұл өзгерістің шамасы мембранаға түсетін нейромедиатордың санына пропорционалды.
Синапстар бір-бірінен нейромедиатордың мөлшері мен концентрациясының мүмкіндіктерімен ерекшеленеді. Осы себепті әртүрлі синапстер арқылы жүйке жасушасының кіруіне түсетін бірдей шамадағы импульстер оны әртүрлі дәрежеде қоздыру мүмкін. Жасушаның қозу өлшемі-оның мембранасының поляризация деңгейі, барлық синапстарда бөлінген нейромедиатордың жиынтық санына байланысты.
Біз табиғи нейрондық желінің жұмысы туралы қарастырдық. Қазіргі заманғы зерттеулер синапстар арасындағы сигналдарды таратудың химиялық табиғатының маңызды рөлін көрсетті-баяу синаптикалық өзара іс-қимыл деп аталады.
Мидың құрылысы мен жұмысына деген заманауи көзқарастарды егжей-тегжейлі, бірақ танымал баяндаумен кітаппен танысуға болады. Ерекше кітап, негіздері қаланды Иерархиялық Уақытша Жад (HTM - Hierar chical temporal memory, HTM) - моделін ми әзірленген Джеффом Хокинсом және Джоржом.
Биологиялық Нейрон жұмысының қаралған сипаттамасынан нейронның жақындатылған математикалық моделінде кіріс сигналдары әрбір сигналдың нейронның жай-күйіне әсерін ескеретін коэффициенттерге көбейтілуі тиіс. Синаптикалық салмақтар оң және теріс мәндерді қабылдайтын табиғи сандар болуы тиіс. Бірінші жағдайда синапс қоздырғыш, ал екіншісінде - клетканың басқа сигналдармен қозуына кедергі келтіретін тежейтін әсер береді. Осылайша, қозғаушы синапстың әрекеті синаптикалық салмақтың оң мәнімен, ал тежеуші синапстың әрекеті - теріс мәнмен модельдеуі мүмкін.
Кіріс импульстерінің түсуі нәтижесінде жүйке жасушасының белгілі бір электрлік қозуы болады. Қозу процесі сызықты емес процесс болып табылады және кіріс сигналдарын сызықтық қосудың қарапайым операциясына сәйкес келмейді. Егер электр тепе-теңдігінің күйінен ауытқу үлкен болмаса немесе егер қозу мен тежелу балансы теріс болса, онда нейрон қозбайды. Бұл жағдайда жасушаның қозу деңгейі оның іске қосылу шегінен төмен болды деп саналады. Егер қозу мен тежелу сомасы жасушаның активтендіру шегінен асып кетсе, шығу сигналының мәні күрт өсе бастайды. Осы жасушамен қосылған басқа нейрондарға аксон жіберген жүйке импульсі бар. Сигналдың шамасы 100 mV құралы іс жүзінде шектен асып кету дәрежесіне байланысты емес.
Осылайша, нейронның қарапайым математикалық моделі синаптикалық салмақтарға көбейтілген кіріс сигналдарын жинақтауды және алынған соманы бастапқы элементпен өңдеуді қамтуы тиіс.
Жүйке импульсінің генерациясымен бір мезгілде жасушада рефракция процесі іске қосылады. Бұл процесс нәтижесінде жасушаны белсендіру шегі күрт артады және рефракция уақыты деп аталатын біраз уақыт бойы, жасуша тіпті күшті қозғаған кезде де сигнал жасай алмайды. Техникалық нейрондардың кейбір модельдерінде рефракция процесі ескеріледі.
Қазіргі уақытта жасанды нейрондардың көптеген модельдері әзірленді, олардың кейбірінің жұмыс істеуі сипатталған қарапайым биологиялық прототиптен айтарлықтай ерекшеленеді. Қолданбалы зерттеулерде жасанды нейрондық желілерді бірнеше ерекше ерекшеліктерге ие математикалық модельдердің кейбір класы ретінде қарастыруға болады, олардың арасында келесілерді ерекшелеуге болады.
Оқыту және жалпылау қабілеті - нейрондық желілердің көптеген типтері кәдімгі компьютерлер ретінде бағдарламанбайды, ал оқытады. Оқыту желі параметрлерін, бірінші кезекте, синаптикалық таразыларды теңшеуге негізделеді. Қорытынды желі оқылмаған жағдайларды тану мүмкіндігін білдіреді. Мысалы, функцияны аппроксимдеуге үйретілген желі аргументтер мен функциялардың көптеген мәндерінде оқытылады. Оқытылған желі оқылмаған аргументтер мәндерінде функцияның мәнін алуға мүмкіндік береді.
Сызықсыз - нейрондық желілердің көптеген модельдері күрделі сызықсыз модельдер болып табылады.
Нейрондардың параллель жұмыс сипаты, бұл жұмыстың жоғары жылдамдығы мен үлкен сенімділігін қамтамасыз етеді. Адамның миы шамамен байланыстарға қатысатын нейрондар бар.Бұл жағдайда ми нейрондары салыстырмалы түрде баяу жұмыс істейді: жүйке импульсінің таралу жылдамдығы шамамен 100 м с тең, бұл мыс сымы бойынша электр сигналының таралу жылдамдығына қарағанда миллион есе аз. Нейрондар мен байланыстардың көп санының, сондай-ақ мидың оқуға қабілеттілігінің арқасында дәстүрлі архитектуралық компьютерлерде қиын шешілетін көптеген міндеттерді шешудің жоғары жылдамдығы мен сенімділігі қамтамасыз етіледі.
4 - сурет. Нейрондық желіні оқыту процессі
1.3 Жасанды нейрондық желілер көмегімен моделдеу.
Жасанды нейрон жүйесі компьютердегі нейрон желілерінің моделін имитациялау арқылы жасалуы мүмкін. Нақты нейрондардың процестерін имитациялайтын алгоритмдерді пайдалана отырып, біз желіні "оқуға" мәжбүрлей аламыз, бұл көптеген түрлі мәселелерді шешуге көмектеседі. Нейрон моделі шекті шама ретінде ұсынылады. Модель басқа сыртқы көздерден деректерді алады, әрбір кіріс мәнін анықтайды және осы мәндерді қосады.
Жасанды нейрондарды шешу үшін жеке нейрондар және әр түрлі процедураларды оқыту керек, қиын есептерді тиімді пайдалану арқылы объектілерді бірдей және топтастыру арқылы синтездеу.Басқаруда үлкен нейрондық топтарды үйлестіру арқылы,олардан жасанды нейрондық жүйені ұйымдастырады.Жасанды нейрондық жүйеден көптеген үлгіні ұйымдастыруға болады,нейронның әр қабатын сақтайды.Нейрондар ішкі қабат пен ортадағы қабаттар арқылы бір-бірімен байланыста болады.Белгілер бағдарлы хабар беру арқылы нейрондар тура және кері бола алады.Нейрон қабаттарын мәліметтерді ішкі ортадан тікелей алу - ішке кіру қабаты,мәліметтің сыртқы қабатына жіберу - шығу қабаты болып есептелінеді. Ал басқа қабаттары егер де олар жүйеде болса аралық және жасырын деп аталады.Функционалдарды қабаттарға бөлу желісі жүргізілмейді өйткені кіріс пен шығыс барлық қабатқа қосыла алады.Жүйенің құрылымы мен сәулеті жасанды нейрондарға байланысты болады өйткені ол желіні есептеуі керек.Ол бір кабатты кері байланныссыз немесе байланысты болуы мүмкін,екі қабатты тікелей байланыс үш қабатты кері байланыс және т.б. Кері байланысты желі рекуррент деп аталады.Сырттай архитектураның жасанды нейронның желісі сандық қабаттан функция активацияның әрбір қабатында ығысу арқылы әр қабаттың кіріс пен шығыстың вектордың мақсаты мен белігіленеді.Мысалы:аппроксимация үшін функцияның соңғы сандық нүктесі түзу белгі мен қолданылады.Бұл желіде бірнеше қабат активацияның сигмондалдық функицясы бар.Шығыс қабаты активацияның сызықтық функциясында болады.Бұл желі кері байланысы жоқ сондықтан оны түзу байланыс белгісі деп атайды.Жасанды графикалық нейрондық желі функционалдық немесе құрылымдық сызба түрінді көрсетеді.Бөлік пен нұсқамада керекті параметрлер мен білгілер көрсетіледі.Желінің құрылым тізбегі бөліктің типтіктеру арқылы суреттеледі. Жүйенің құрылымдық сызбасы үлкендеу және бөліктен тұрса онда детализацияның дәрежесі пайда мен анықтайды.Жүйелердің бөліктерінің белгіленуі элемент пен параметр жүйесінен вектор - матрициасынан болады.Егер де белгіленуде екі индекс болса ереже бойынша бірнеше индекс оның мекен - жайын көрсетеді немесе бөлім белгіленуі, ал екінші индекс - желі құрылымының тізбегінің көзі құрылым сызбасы автоматикалық жүйе арқылы деп gensim командасымен құрылады.Вектор мен матрица құрылым сызбасында күрделі объект болса,онда ұяшық пен массивті ұяшықты пайдаланады.
Нейрондық желінінің белгілі бір түрін құру үшін арнайы конструктор пайдаланылады.
Нейрондық желілердің барлық түрлерінің өзіндік ерекшеліктері бар.Барлығы әр түрлі жұмыстар атқарады. Нейрондық желілер әртүрлі белгілері бойынша жіктеледі. Нейрондық желілердің негізгі түрлерін атап өтейік.
1. Өңделетін Ақпарат түрі бойынша желілер:
- аналогтық желілер-ақпаратты үздіксіз түрде пайдаланады, аналогтық схемалардың көмегімен аппараттық түрде іске асырылады;
- цифрлық желілер-цифрлық түрде берілген ақпаратпен жұмыс істейді, цифрлық схемалардың көмегімен аппараттық түрде іске асырылады.
Қазіргі заманғы аппараттық іске асыру және желілерді бағдарламалық модельдеу әрдайым дерлік сандық болып табылады.
2. Қабаттар саны бойынша бір қабатты және көп қабатты желілер бөлінеді.
Бір қабатты желі нейрондардың бір қабатынан тұрады.
Желі қабаттарының саны туралы айтатын болсақ, желінің бірінші қабаты деп есептеу қажет. Көптеген жұмыстарда мысалы бірінші қабат - ешқандай өңдеу өндірмейтін, тек кіріс сигналдарын өңдеу қабатына беретін тарату қабаты болып саналады. Мұндай тәсіл, мүмкін, персептрон Розенблатттан шыққан, онда бірінші қабат шын мәнінде белгілі бір функцияны орындаған. Бұл құралда өңдеу нейрондарының бірінші қабаты болып табылады деп есептейміз.
Бұл бөлімде біз іске қосудың шекті функциясы бар бір қабатты желі ретінде персептронды жиі жазады - перцептронды қарастырамыз. Мұндай желіні Розенблатт персептронымен шатастырмау керек, бұл көбінесе Интернетте жасалады. Персептрон Розенблатта бір қабатты желі болған жоқ.Ол екі қабатты қамтыды. Бірінші сенсорлық қабат екінші қабатпен оқымайтын, кездейсоқ жасалған таразылармен байланысқан. Екінші қабаттың салмағы қатені азайту арқылы оқыды.Сонымен қатар,Розенблатттың перцептронының аналитикалық әдістермен, мысалы,болжамдау міндеттеріндегі статистикалық әдістермен функционалдық артықшылығы жоқ екендігі дәлелденген. Сондай-ақ, персептрон кейбір мәселелерді шешу кезінде көп уақытты немесе үлкен жадты талап етуі мүмкін екендігі дәлелденді. Персептрон-Маккаллок Питс моделінің негізінде құрылған бір қабатты нейрондық желі.Персептрон нейрон кіріс сигналдарының кеңістігін екі класқа сызықты бөлуді жүзеге асырады және жіктеу есептерін шешу үшін пайдаланылуы мүмкін.Бұл персептрон әрбір кіріс векторларын екі сыныптың біріне жатқызады немесе кіріс векторы,егер персептронның шығуы тең болса.Жоғарыда көрсетілгендей,кіріс векторлары кеңістік нүктелері болып табылады.Нүктелер жиынының сызықтық бөлінуі екі өлшемді кеңістікте көптеген нүктелер сызықпен бөлінуі мүмкін дегенді білдіреді. Өлшеуіш кеңістік үшін екі көп нүкте сызықтық бөлінеді, егер олар өлшеуіш гиперплоскостпен бөлінген болса. Нақты әлемнің объектілерін объектілер сипаттамаларының кеңістігінде векторлармен сипаттауға болады,мысалы, ұшақтар компоненттері бар векторлармен сипатталуы мүмкін: жылдамдық, төбе, ұшу қашықтығы және т.б. сонда персептронның нейроны көптеген объектілерді екі класқа сызықты бөлуді жүргізе алады.
Персептронды құруға келесі функция шығарылады:
net=newp(PR, S, tf, lf),
мұндағы,net - объект классы network;
PR - массивтің өлшемі Rx2 минимальды және максимальды мағыналы R кіру векторы үшін;
S - персептрон нейрондарының саны;
Tf - берілген функция тізімінен {hardlim, hardlims} кейде hardlim деп беріледі ;
If - тізімдегі оқитын функция {learnp,learnpn},кейде learnp деп берілуі мүмкін.
Персептрон құруда, матрица салмағы және вектор ығысуы inetzero функциясы арқылы нөл мен сипатталады. Персептронды оқыту үшін адаптациясы adapt функциясы арқылы шығарылады,салмақ пен ығысуын өзгерту, шыққан нәтиже кіру және шығу мағынада жасалады.
adapt функциясын пайдаланылуына кепілдік береді,әрбір есеп классификациясы сызықтық бөлек вектор мен өткен циклдың соңғы сан мен жөнге келтіріледі.Train оқыту функциясы желі параметрі жөнделу кезінді, әрбір асудан өтпей барлық асулар нәтижесінде барлығын оқытуда кей жағдайларда өту құрылымы қамтамасыз етілмейді сондықтан персептрон оқытуда пайдаланылмайды.
Салмақ пен ығысу құрылымы learnp және learnpn функциялары мына төмендегі ережелер мен орындалады:
а) Кіру белгісі шығу мен есептелінеді;
б) Қателері анықталады түпкілікті шығу екеуінің айырмашылығы мен және шығу белгісімен бірге;
в) Салмақты түзету орындалады және ығысу ескі мағынасы мен әрқайсысы сәйкес келетін белгі мен нейронның қатесіне өлшемі дұрысталады.
Оқыту мерзімі мен сезілмейтіндей кішкентай және үлкен кіру векторының сыртқа шығарылуы нормалық жасалуда кіру мәліметі салмақтық және ығысуы есептелінеді:
pni=pisqrt1+p12+...+pr2
Бұндай нормалық learnp функциясы қамтамасыз етеді салмақ пен ығысуды қойылуында. Cонымен қатар автоматтандырылған net.adaptFcn қасиетінің мағынасы adaptwb беріледі. Adaptwb қасиеті салмақ пен ығысу настройкасында әртүрлі функцияларды пайдалануға рұқсат береді, net.adaptParam қасиеті - параметрі жинағы.
Персептрон адаптациясы adapt (net,P,T) функция әдісі мен шығарылады, ал P-кіру векторы,Т-тиісті мағына.Адаптация процесі жалғасады, критериялық сапасы орта есептегіш қатесі керекті мағынасы берілгенше mae есептегіш функциясы арқылы .
Сызықтық желі - ол бір қабатты S нейроны мен R кірісі әрқайсысы бірнеше элементтен тұрады.Әр қабаттағы нейрон purelin сызықтық функциясының қабатына келеді.
Бұл сызықтық желінің персептроннан бірде - бір айырмашылығы.Сызықтық беру функциясыны 0 мен 1 шектелген.
Сызықтық желі персептрон тәрізді классификацияның сызықты оңашаланған есепті шеше алады,бірақ онда Вудроу - Хоффа әдісінің оқыту ережесін пайдаланып,ең кіші квадараттың функциясын қолдану арқылы персептрон ережесіне қарағанда қуаттырақ болып келеді.
Бұдан бөлек сызықтық желінің нейрондық негізгі кірісі әрқашан ығысу кірісі болады,бірлікке тең.Кіріс пен ығысудың элементі dotprod скаляр функция көмегімен өлшенеді, netsum функция көмегімен жинақталады.
Сызықтық нейрон желісі келесі тәсілдерден тұрады:
net=newlin(PR, S, id, lr),
net=newlin(PR, S, 0, P),
net=newlind(P, T),
мұндағы, PR - массив размері R*2 минимальды және максимальды мәні R векторының кірісі;
S - нейрон саны;
іd - кідіріс сызығының кіріс желісін бейнелеу;
lr - параметр жылдамдығының икемдеу 0,01;
P - әр кездегі кіріс размерін R*Q тізбегі;
Q - мөлшер тізбегі ;
T - тізбектің мақсаты Р размері S*Q;
O - нөл.
Бірінші тәсіл қолданылады желіге кідіріс қосқанда динамикалық адаптикалық сызықтық нейрон желісін құру үшін ADALIN (ADApture Linear Neuron netwprks) кірістерді,күш пен ығысудың әрбір элементінің кірісін түсіреді.Мұндай желілер қеңінен қолданылады сигналдардың шешімін өңдеуде және басқару жүйелерінде.
Екінші тәсіл сызықтық қабаттағы параметрлерін жылдамдықты икемдеу үшін максималдық дәреженің орнықтылығын кіріс Р кепілдік етеді.Бұл кезде сызықтық кідіріс қолданылмайды және желі статикалық болады.
Бірінші және екінші тәсіл үшін инициализация желісі initzero функциясы арқылы құрылады.Бейімделу мен оқыту желісі adaptwb функция көмегімен іске асады,ол күш пен ығысуды жақсартады.Видроу - Хоффа hearnwh функциясын қолданады да, мәнінің критериясының оқыту сапасының орта квадраттық қатесінің есептеуіш функциясы mse керекті мағынасына жеткенше.
Үшінші тәсіл сызықтық статистикалық желіні сызықтық жүйенің алгебралық теңдеудің кіші квадратының тәсіліне қалыптастырады және икемдейді.Оны коэффициенттің функция жуықтамасы теңестіру арқылы динамикалық жүйені басқарады.
Матрицаның жазылу есептелінген жүйенің алгебралық теңдеуінің сызықтығы мынандай:
[W b]*[P;ones]=T,
бұл жағдайда мына шарт орындалады:
S*R+S=Q.
Learnwh функциясы күш кірісінің ығысуы келесі векторлық формуласы арқылы шешіледі:
pn = p(sqrt(1+P(1)^2)+... +P(R)^2);
dW = lr*e*pn;
db = lr*e.
Сызықтық желі моделінің жұмысында әртүрлі жағдай болуы мүмкін, барлық шартты орындау үшін сан параметрінің икемі жетіспесе,бұл жағдайда желі қайта анықталған деп есептелінеді.Егер де сан параметрі өте үлкен болса,онда желі анықталмаған болып есептелінеді.Бұл жағдайда басқа жағдайда да кіші квадрат тәсілі күйді өндіреді де,желінің қатесін орындауға ұмтылыс жасайды.Бір қабатты сызықтық желінің архитектурасы барлық есеп пен орындалады,сол есеп арқылы орындалуы қажет,егер де кіріс санының желісі мен сан нейроны қабатта анықталып,санның кірісі мен шығыс есебі мен сәйкестендірілсе.
Джордан желісі-көп қабатты перцептроннан алынатын нейрондық желілердің түрі, егер оның кіруіне кіріс векторынан басқа, бір немесе бірнеше тактіге кідірумен шығатын болса.Бірінші рекурренттік желілерде басты идея желі алдыңғы қадамда өзінің шығу бейнесін көруге мүмкіндік берді. Мұндай желіде тек рецепторлардың бір бөлігі ғана қоршаған әлем сигналдарын қабылдайды, басқа рецепторларға алдыңғы уақыт шығу бейнесі келеді. Желі арқылы сигналдардың кезектілігінің өтуін қарастырайық. Сигнал сыртқы әлеммен (INPUT) қосылған рецепторлар тобына түседі және жасырын қабатқа өтеді. Жасырын қабатпен түрлендірілген сигнал Шығыс қабатына (OUTPUT) барады және желіден шығады, ал оның көшірмесі кідіріске түседі. Одан әрі желіге сыртқы сигналдарды қабылдайтын рецепторларға екінші бейне, ал рецепторлардың контекстік тобына (CONTEXT) -- кідірістен алдыңғы қадамнан шығу бейнесі түседі. Содан кейін барлық рецепторлардың сигнал жасырын қабатқа, содан кейін демалыс. .Сонымен нейрондық желінің құрылу процедурасы келесі қадамдардан тұрады:
1.Бастапқы желінің кескін пішінін,бір қабатты нейрондар саны мен жартысына тең кіру және шығу ортақ саны мен таңдап алу.
2.Желіні оқытуы және оны тексеру жиынтығында тексеру,қажетті жағдайда қосымша нейрондар және қабат аралықты қосу.
3.Егер қайта оқыту нәтижесінің орны бар болса,онда желіні қайта пішімдеу қажет екендігін қамтамасыз ету керек,тексерудегі және тесттік жиынтықта.Шамаға қарай былай жасауға тырысып көрген жақсы әр түрлі бақылаудың түрлері теңдей етіп көрсетілгені дұрыс.Өте жақсы жоспарланған желі тарту қасиетіне ие болу қажет,ол кезде келешекте оқытылу,кейбір мәліметтер жиынтығында қабілеттілікке ие болып дұрыс нәтиже бере бастайды.
Қазіргі кезде функционалды қате минимализациясының көптеген тәсілдері жоспарланған,белгілі тәсілдердің негізінде,бірнеше ауыспалы экстрелеум функциясын анықтауда.
1.4 Кохонен нейрондық желісі.
Өздік ұйымдастырушы қабатындағы Кохонена - ол бірқабатты нейрон желісінің басқаруын берілу функциясының compet, шығыс мәнінің нейрон желісін талдайды және нәтиже ретінде оның үлкен мәнін береді.
Инициализациялау кіріс күші орташа мән функция арқылы өндіріледі.
W = midpoint (S,PR),
мұндағы S - Кохонен қабатындағы нейрон саны;
PR - матрица өлшемі Rx2, ауқымның берілуі [PminjPmaxj], өзгеруі R кіріс векторының элементі;
W - матрица күшінің өлшемі SxR кіріс қабаты үшін,бағананың мәні бар (Pminj+Pmaxj)2
Инициализациялау күш ығысуының қабат нейроны тең функциясының ығысуына өндіріледі
B = initcon(S,PR),
әр нейронға бір ығысу қояды,өйткені exp(1)*S тең.
Мысалы, S=5 бұл ығысу тең 5*2.71828=1.359740*10.
Теріс қашықтықтың әр жолы Wi матрицасының күші мен W және әр бағандағы Pj матрица күші P мен жүзеге асырылады,қашанда функция negdist(W,P) есептелінеді.Таразылау кірісі ығысу мен функция netsum қосындысын өндіріледі.
Өздік ұйымдастыру қабаты Кохонен
net = newc(PR,S,KLr,clr)
функциясы, мұндағы KLr - параметр функциясы икемдеу күші мәнінің өсуі қашанда 0.01 тең;
clr - параметр функциясын икемдеу ығысуы,мәнінің өшуі қашанда 0.001 тең.
Бұл функция бір қабатты желіні R нейроны мен R кірісін қалыптастырады.
Кохоненнің нейрондық желілері мұғалімсіз оқитын нейрожелілік сәулеттің типтік үлгісі. Осы жерден олар шешетін міндеттердің тізімі: деректерді кластерлеу немесе қасиеттерді болжау. Сонымен қатар, Кохонен желісі ақпаратты аз жоғалтумен деректердің өлшемін азайту мақсатында пайдаланылуы мүмкін.
Бұрын қаралған нейрондық желілердің архитектуралары мұғаліммен бірге кіріс және шығыс векторларының бір-біріне сәйкес келетін жұптарынан тұратын көптеген мысалдардан тұратын деректерді іріктеуде оқыды. Бұл ретте шығу мәндері салмақ коэффициенттерін баптауға тікелей қатысты.
Кохоненнің нейрондық желілерінде оқу үлгісінде шығу векторы болуы мүмкін, бірақ болмауы да мүмкін,және кез келген жағдайда олар оқу процесіне қатыспайды. Яғни, шығу синапстарды түзету кезінде бағдар ретінде пайдаланылмайды. Сондықтан нейрондық желіні баптау принципі өзін-өзі оқыту деп аталады.
Қарастырылып отырған сәулетте сигнал тікелей бағытта шығуларға кіруден таратылады. Нейрондық желінің құрылымы ығысу коэффициенттері жоқ нейрондардың жалғыз қабаты.Салмақ коэффициенттерінің жалпы саны туынды ретінде есептеледі:
Нейрондар саны кластерлер санына тең, олардың ішінде бастапқы бөлу және кейінгі оқыту мысалдарын қайта бөлу. Нейрондық желінің кіріс айнымалы саны зерттеу объектісін сипаттайтын және соның негізінде оны кластерлердің біріне жатқызу болатын белгілердің санына тең.
Ажырата білу қажет жеке-өзіндік Кохонен желісі. Қарапайым өзін-өзі оқыту кезінде желінің қатаң бекітілген құрылымы бар, яғни бүкіл өмір циклында өзгермейтін нейрондар саны. Өзін-өзі ұйымдастыру кезінде желі, керісінше, тұрақты құрылымы жоқ. Жеңімпаз нейронға дейін табылған қашықтыққа байланысты не бұл нейрон мысал кластеризациялау үшін пайдаланылады, не кіре берісте берілген мысал үшін оған сәйкес салмақ коэффициенттері бар жаңа кластер құрылады. Сонымен қатар, Кохонен желісінің құрылымын өзін-өзі ұйымдастыру процесінде жекелеген нейрондар одан алынып тасталуы мүмкін.
5 - cурет. Кохоненнің нейрондық желісінің жалпы құрылымы
Кіріс айнымалыларды қалпына келтіру [-1, 1] немесе [0, 1] шегінде орындалады.
Бұл архитектураның нейрондық желілерінің өмірлік циклі үшін өмірлік циклдің үш негізгі сатысы тән: оқыту, кластерлік талдау және практикалық пайдалану.
Кохонен желісін оқыту алгоритмі құрамы құрылым түріне байланысты кезеңдерді қамтиды: тұрақты өзін-өзі оқитын желі немесе айнымалы өздігінен ұйымдастырылған желі. Өзін-өзі оқыту үшін жүйелі түрде орындалады:
1.Желі құрылымын (Кохонен қабатының нейрондарының санын) (K) тапсырма.
2.Салмақ коэффициенттерін мынадай шектеулердің бірін қанағаттандыратын мәндермен кездейсоқ инициализациялау:
- бастапқы үлгіні қалпына келтіру кезінде [-1, 1]:
(1)
- бастапқы үлгіні қалпына келтіру кезінде [0, 1]:
, (2)
мұнда M - кіріс айнымалы желілерінің саны-зерттеу объектісінің сипаттамалық белгілері.
3. Оқытудың ағымдағы дәуірінің кездейсоқ оқыту мысалдары желісінің кіре берісіне беру және кіріс векторынан барлық кластерлердің орталықтарына дейінгі евклидтік қашықтықты есептеу:
. (3)
4. Rj мәндерінің ең азы бойынша нейрон-j жеңімпазы таңдалады, ең үлкен дәрежеде кіріс векторы бар мәндер бойынша жақын. Таңдалған Нейрон үшін (және тек ол үшін) салмақ коэффициенттері түзетіледі:
, (4)
5. Цикл 3-қадамнан бір немесе бірнеше аяқтау шарттарын орындауға дейін қайталанады:
- оқыту кезеңдерінің берілген шекті саны таусылды;
- оқытудың соңғы кезеңінде берілген дәлдік шегінде салмақ коэффициенттерінің елеулі өзгеруі болған жоқ;
- берілген Шекті физикалық оқу уақыты таусылды.
Оқыту жылдамдығының коэффициенті Тұрақты шектерден (0, 1] немесе дәуірден дәуірге қарай біртіндеп азаятын ауыспалы мәнмен берілуі мүмкін.
Кохонен желісінің өзін-өзі ұйымдастыруы жағдайында алгоритм белгілі бір өзгерістерге ұшырайды:
1. Мысал кірулері мен жеңімпаз Нейрон салмағы арасындағы ең жоғары мүмкін Евклидке сәйкес келетін rкр сыни қашықтығы беріледі. Бастапқы құрылым құрамында нейрондар жоқ. 2.6-к е с т е.желінің кіруіне оқыту үлгісінің ең бірінші мысалы берілгенде, берілген кіріс мәндеріне тең салмақ коэффициенттері бар бірінші нейрон құрылады.
2. Желі кіре берісіне ағымдағы оқу кезеңінің кездейсоқ таңдалған жаңа үлгісі беріледі, мысалдан (3) ара қатынасы бойынша әрбір кластердің орталығына дейінгі Евклид арақашықтығы есептеледі және олардың ең азы rmin жеңімпаз нейрон анықталады.
3. Егер Rmin = Rкр шарты орындалса, (4) қатынасы бойынша тиісті жеңімпаз нейронның салмақ коэффициенттерін түзету жүргізіледі, олай болмаған жағдайда желі құрылымына жаңа нейрон қосылады, оның салмақ коэффициенттері берілген үлгінің кіріс мәндеріне сандық тең қабылданады.
4. Процедура 2 п. қайталанады. Егер оқытудың соңғы кезеңінде қандай да бір кластерлер іске қосылмаған болса, тиісті нейрондар Кохонен желісінің құрылымынан шығарылады.
5. Егер тіркелген құрылым желісінің өзін-өзі оқыту алгоритмінде жазылған шарттардың бірі орындалса, есептеулер аяқталады.
Өзін-өзі оқыту және өзін-өзі ұйымдастыру алгоритмдерінің тағы бір модификациясы жеңімпаз нейронның ғана емес, басқа нейрондардың да салмақ коэффициенттерін түзетуді көздейді. Ол үшін RJ кластерінің орталығына дейінгі қашықтықты ұлғайтумен алып тастайтын оқу жылдамдығының коэффициентін пайдалану керек:
,
мұндағы Rкр - қашықтықтың сыни мәні: ол аз болған сайын, кластерлердің оқыту үлгілеріне ең жақын таразылардың түзетулері неғұрлым маңызды және іс жүзінде елеусіз - одан алыстағандардан артық-аз таразылар; жылдамдық коэффициентіне қашықтықтың әсер ету сызықсыз дәрежесін белгілейтін β - параметр; v0 - оқытудың ағымдағы дәуіріндегі жылдамдық коэффициентінің базалық барынша мүмкін болатын мәні.
Rкр мәні ретінде әрбір кластер үшін орташа қашықтықты ағымдағы оқу мысалын көрсеткенде есептеуге болады. Β параметрін 3,0 +- 0,5 тең таңдау ұсынылады.
Әдетте, тәжірибеде қолдану кезінде өзіндік ұйымдастыру нейрон Кохонена тура алдарынан тағы да бір проблема. Бір жағынан, қандай да бір кластерлерде тым аз мысалдар болуы мүмкін, бұл кейіннен ақпаратты жалпылаудың күрделілігіне әкеледі. Екінші жағынан, кейбір кластерлер тым үлкен болуы мүмкін, яғни көптеген мысалдар болуы мүмкін. Бұл жағдайда кластер мөлшерін реттеу және оның толықтырылу проблемасын шешу үшін қосымша параметр ретінде кластерді қалыптастыратын мысалдардың шекті санын (Nпр) қоюға болады. Егер қандай да бір сәтте жаңа мысал мөлшері барынша жоғары кластерге жатқызылуы тиіс екендігі анықталса, орталығы осы кластердің орталығынан неғұрлым алыс орналасқан кластердің (жаңасын қоса алғанда) үлгілерінің бірінің (Nпр + 1) ауыспалы векторы болатын басқа кластер құру туралы шешім қабылданады.
Оқытылған нейрон желісіне кластерлік талдау рәсімі - оны қалыптастырған үлгілердің сандық және сапалық құрамын талдау негізінде кластер қасиеттерін сипаттау рәсімдері қолданылады. Кластерлерді сипаттау оқу үлгісінің кіріс айнымалы мәндеріне ғана емес, кластерлерді қалыптастыруға қатыспаған ауыспалы мәндерге де негізделуі мүмкін екенін ескеру қажет. Атап айтқанда, сипаттамаға кластерді қалыптастырған барлық мысалдар арасында осындай ауыспалы орташа мәндер туралы деректер кіруі мүмкін. Сонымен қатар, әрбір кластер үшін орташа квадраттық ауытқулар немесе әр айнымалы бойынша дисперсия туралы деректер болуы қажет.
Кохоненнің нейрондық желісін практикалық пайдалану кезінде жаңа мысал оның кіруіне беріледі және бар кластерлердің біріне жатады, немесе мұндай жатқызудың мүмкін еместігі туралы қорытынды жасалады жақын кластердің орталығына дейін алыс қашықтықта. Егер кластерді таңдау жүргізілсе, кластерлік талдау нәтижесінде алынған оның сипаттамасы және кластерге тиісті шешімдер оның ішінде берілген мысалға таратылуы тиіс.
Кохонен желісін іс жүзінде пайдалану кластерлеу нәтижелерін визуализациялау есебінен жеңілдетіледі. Өзін-өзі оқыту нәтижесінде кластерлер жиынтығы алынады, олардың әрқайсысы өзінің орталығымен тиісті нейронның салмақтық коэффициенттерінің мәндерімен және оны қалыптастырған оқыту мысалдарының санымен сипатталады. Кластерлердің барлық ықтимал жұптарының орталықтары арасындағы евклидтық қашықтықты анықтау және оларды Кохоненнің картасында - әрбір жеке алынған кластердің мөлшері мен жағдайы туралы ғана емес, сонымен қатар бір-біріне жақындық және жекелеген кластерлердің өзара орналасуы туралы да бағалауға мүмкіндік беретін екі өлшемді графикалық құрылым деп аталатын графикалық түрде бейнелеуге ешқандай қиындық тудырмайды.
Студенттердің оқу топтарының бірінің студенттердің үлгерімі туралы мәліметтерді кластеризациялау мәселесін шешу үшін Кохоненнің нейрондық желісінде өз-өзіне оқыту үлгісі көрсетілген.
Нейрон желісінің түрі - LVQ,Элман және Хопфилд - желілері.
Нейрон желісінің түрі LVQ (Learning Vector Quantization), немесе желі үшін кіріс векторының топталуы екі қабат ығысудан тұрады. Кіріс қабаты сызықтық берілу функциясының purelin болады да, кластер байланысы класс мақсатымен қамтамасыз етеді. Әр кластерге кіріс қабатынан бір нейрон берілуі керек, өйткені класс саны кластер санынан көп болмауы керек.
Алдын ала мәлімдеу арқылы бірінші қабаттағы кластер арнаулы кластың екінші қабаты мен байланысады. Онда алдын ала элемент матрица күші LW екінші қабатқа қоюға мүмкіндік береді. Бірақ дұрыс кластерді табу үшін әр векторға оқыту жиынын табу керек, оқыту желісінің процедурасын орындау керек.
LVQ-желісінің құру үшін функция newlog қолданылады, оның мынандай түрі бар:
net = newlvg(PR, S1, PC, LR, LF),
Онда PR - массив размері Rх2к іші және үлкен мәнінің R кіріс векторына;
S1 - нейрон саны кіріс қабатына;
PC - вектор размері 1хS2, әр кластың сан класынан S2 үлесін бөліп көрсету;
LR - қашықтық параметрінің құрылымы үндестік 0.01;
LF - құрылым параметрінің функциясы, үндестік learnlv2.
Функция newlog орындау нәтижесінде екі қабаттың желі құрылады. Бірінші қабат өлшеуіш функциясының dotprod,netsum қорын ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
Ұқсас жұмыстар
Пәндер
- Іс жүргізу
- Автоматтандыру, Техника
- Алғашқы әскери дайындық
- Астрономия
- Ауыл шаруашылығы
- Банк ісі
- Бизнесті бағалау
- Биология
- Бухгалтерлік іс
- Валеология
- Ветеринария
- География
- Геология, Геофизика, Геодезия
- Дін
- Ет, сүт, шарап өнімдері
- Жалпы тарих
- Жер кадастрі, Жылжымайтын мүлік
- Журналистика
- Информатика
- Кеден ісі
- Маркетинг
- Математика, Геометрия
- Медицина
- Мемлекеттік басқару
- Менеджмент
- Мұнай, Газ
- Мұрағат ісі
- Мәдениеттану
- ОБЖ (Основы безопасности жизнедеятельности)
- Педагогика
- Полиграфия
- Психология
- Салық
- Саясаттану
- Сақтандыру
- Сертификаттау, стандарттау
- Социология, Демография
- Спорт
- Статистика
- Тілтану, Филология
- Тарихи тұлғалар
- Тау-кен ісі
- Транспорт
- Туризм
- Физика
- Философия
- Халықаралық қатынастар
- Химия
- Экология, Қоршаған ортаны қорғау
- Экономика
- Экономикалық география
- Электротехника
- Қазақстан тарихы
- Қаржы
- Құрылыс
- Құқық, Криминалистика
- Әдебиет
- Өнер, музыка
- Өнеркәсіп, Өндіріс
Қазақ тілінде жазылған рефераттар, курстық жұмыстар, дипломдық жұмыстар бойынша біздің қор #1 болып табылады.
Ақпарат
Қосымша
Email: info@stud.kz