Үш қабатты нейрондық торды c++ және matlab орталарында модельдеу

КІРІСПЕ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .5

1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ ... .6
1.1 Биологиялық нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 6
1.2 Жасанды нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 7
2 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІНІ ҚҰРУ ... ... ... ... ... ... ... ... ... ... ... ... ... ..12
2.1 Жасанды нейрондық желілердің архитектурасы ... ... ... ... ... ... ... ... ... ... ... .12
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалары мен ережелері ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 14
2.3 Радиалды базистік желілер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .25
2.4 Үлгіні тануға арналған Хопфилд нейрондық желісі ... ... ... ... ... ... ... ... ... ... 27
3 ЭКСПЕРИМЕНТАЛДЫ ҚҰРЫЛҒЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 31

3.1Есептеу жұмыстары жүргізілетін Qt Creater мен Matlab есептеу програмасы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .31
4 ТӘЖІРИБЕЛІК НӘТИЖЕСІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 33
ҚОРЫТЫНДЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...46
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...47
Ақпараттық – коммуникациялық жүйелердің әркелкілігі, қиындықтардың өсуінің үйлесімсіздігі ақпараттық қауіпсіздікті қамтамасыз етуге бағытталған басқа технологияларды, әдістерді, механизмдерді қарастыруды қажет етеді. Сондай бағыттардың бірі – нейрондық желілерді зерттеу. Жасанды нейрондық желілердің теориясы жасанды интеллект саласынан шыққан.
Мидың негізін құратын нейрон желісі ақпаратты өңдейтін, жоғары эффективті паралельді, комплексті жүйеге ие. Ол нейрондарды үлгілерді тануға, қиын мәселелерді шешетіндей етіп, жөндей алады. Адам миы кез-келген есептеуіш машиналардан да тез жұмыс істейді және осы факт, ғалымдардың арасында жасанды нейрондық торды ойлап табуына алып келді.
Жасанды нейрондық желі паралельді жұмыс жасайтын көптеген қарапайым элементтерден тұрады. Табиғаттағыдай, нейрондық желі қандай да бір дәрежеде элементтер арасындағы байланысқа ие. Нейрондық желіні нақты функцияны үйретуге қолданады
Жасанды нейрондық желіні ғылым мен техникада қолдану қазіргі кездегі өзекті мәселелердің бірі болып табылады. Мидың коммуникациялық жүйесі болып табылатын әрбір нейрон көптеген қасиетке ие, соның ішіндегі ерекше қасиеттерінің бірі сигналдарды қабылдау, өңдеу және сақтау болып табылады. Нейрондық желілер үлгіні тану, болжау мәселелерінде, басқаруларда, сонымен қатар үлгілерді, иденфикацияны, обьектілердің классификациясын, адам даусын анықтауда қолданылады. Оның себебі, дәстүрлі әдістер көмектесе алмайтын, нейрондық желі кең аумақты әр түрлі ақпараттармен жұмыс жасайды. Жасанды нейрондық желілер биологиялық нейрондық желінің прототипі болғандықтан, ойлау процесін зерттей алады. Жалпы, нейрондық желілердегі ерекше қасиеттердің бірі болып ол – үйрету механизмін қолдану. Нейрондық желіні қолданушы кіріс деректерін енгізеді, содан соң үйрету алгоритмі енгізіледі. Ол автоматты түрде желінің параметрлерін жөндейді. Қазіргі таңда, нейрондық желілер компьютер шеше алмайтын мәселерді шешумен айнлысып жүр.
Зерттеу жұмысының актуалдылығы болып көпқабатты нейрондық желілердің блок – схемасын құру және көпқабатты нейрондық желіні қолдана отырып, үлгіні тану. Сонымен қатар үлгіні тану үшін Хопфилд нейрондық желісін құру.
Дипломдық жұмыста, нейрондық желілердің құрылуының теориялық негіздері, көпқабатты перцептрон, нейрондық желілердің архитектурасы, және нейрондық желілермен байланысқан барлық мәселелер қарастырылған.
Дипломдық жұмыстың мақсаты – Matlab программалау ортасында көпқабатты нейрондық желілердің схемасын Simulink – қосалқы программасында құру. Көпқабатты нейрондық тор моделін құруда активация функцияларын қойып есептеу жұмыстарын жүргізу, алып салыстыру. Осы тұрғыда көпқабатты нейрондық желілер мен Хопфилдтің нейрондық желісін пайдалана отырып, үлгіні тану мәселелерін шешу ұсынылып отыр.
1. Круглов В.В.,Борисов.В.В., Искусственные нейронные сети. Теория и практика - 1- e – M.:Горячая линия.- Телеком,2002 . -11c.
2. Бодянский Е.В., Руденко О.Г.,Искусственные нейронные сети: архитектуры,обучение, применение. –М.: Харьков: Телетех, 2004.- 11-16c.
3. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев.С.А., Генетические алгоритмы ИНС и проблемы виртуальной реальности, Основа, 1997.- 29с.
4. The plasticity of multilayer neural networks,Dorogov A.M .,Alekseev A.A .,
Saint Petersburg State Electrotechnical University (SPGETU),Proceedings of the universities. "Instrument"t.41, 1998. №4 s.36-41.
5. Wili –Hans Steeb.,Yorick Hardy.,Ruedy Stoop., “The Nonlinear workbook”, World Scientific Publishing, 2005, - p 339.
6. И.В Заенцев,Нейронные сети:основные модели сети, для студентов 5 курса магистратуры, Воронеж, 1999.- 36с.
7. Jayanta Kumar Basu,Debnath Bhattachryya. Tay hoon Kim, Use of Artificial Neural Network in Pattern Recognition, Vol.4,No.2, April 2010.
8. Хайкин С. Нейронные сети:полный курс = Neural Networks:A Comprehensive Foundation. 2-у изд.- М.: Вильямс,2006.- 219 – 232c.
9. Медведев В.С.,Потемкин В.Г.,Нейронные сети Matlab6 – М.:Диалог – МИФИ; 2002, 69с.
10. Oganezov A. “Neuro-matrix object recognition model”, “Bulletin of the Georgian National Academy of Sciences”, 2006.
11. Салахутдинов М. Исследовательская работа «Моделирование нейронных сетей. Подсистема визуализации и отчетов»
12. Чавчанидзе В.В., Аналитическое решение задачи формирования понятий и распознавания образов, сборник докладов, т.61, №1, Тбилиси, 1971 год.
13. Чоговадзе Р.А. Синтез нейронных сетей для процессов распознавания образов. Труды грузинского технического университета, №4 (454), Тбилиси, 2004.
14. www.neuroproject.ru
15. Жексебай Д.М., Мәтқасым Н.Н., Медетхан А.Е., «Хопфилд нейрондық торының көмегімен үлгілерді тану». Студенттер мен жас ғалымдардың «ФАРАБИ ӘЛЕМІ» атты халықаралық ғылыми конференциясы, Алматы, 13 – 16 сәуір, 2015 ж. 444бет.
        
        Қaзaқcтaн Pecпубликacының білім жәнe ғылым миниcтpлігі
әл-Фapaби aтындaғы Қaзaқ ұлттық унивepcитeті
Физикa-тeхникaлық фaкультeті
Қaтты дeнe физикacы жәнe бeйcызық физикa кaфeдpacы

__________________ҚДФжБФ кaфeдpa мeңгepушіcі Пpихoдькo O.Ю.
ДИПЛOМДЫҚ ... ... ... ... ... жетекші
Бурисова Д.Ж.
Нopмa бaқылaушы
Исимова А ... ... - ... ... ... және бір-ақ ғана шығысы бар құрылғы. нейрон клетка ... және ... ... ... ... ... дендрит пен аксон деп те атайды. Нейронда дендриттер көп, және олар көп таралған, оның көмегімен нейрондар импульстарды көрші клеткалардан жинайды. Ал ... ... ... ... ... өтіп ... клеткаларға барады
Нейрондық желі - физиологиялық функция ... ... ... ... ... желі бір-бірімен химиялық және функцианалды байланысқан нейрондық топтар жиынтығынан ... ... ... желі - ... ... ... ... жасанды нейрондық желі деп атайды.Құрылымды түрде паралельді бөлінетін процессор болып табылады. Ол адам миымен екі аспектіде бірдей:білім және үйрету процесі ... ... ... ... ... сақталуы үшін нейрондық байланыстардың күштері синаптикалық салмақтар қолданады.
Көпқабатты нейрондық тор - ... ... ... (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші нейрон қабаттарынан және бір шығыс ... ... ... Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады.
Үшқабатты нейрондық желі - ... ... ... және ... ... тұрады. Кіріс нейрон кіріс мәліметтерді енгізу үшін арналған. Осы қабаттағы нейрондар келесі қабаттағы ... ... ... ... байланысқан. Жасырын қабаттағы элементтер шығыс қабаттағы элементтермен тығыз байланысқан.
Перцептрон - бір ғана ... ... ... - екі ... ... байланыс.
Активация функциясы - нейронның шығысындағы сигналды есептейтін функция болып табылады.
Аксон - жүйке ... ... ... ... басқа жүйке жасушаларына импуль таратады. Нейронда аксон біреу ғана.
Дендрит - ... ... ... ... ... ... ... таралған өсімшесі
Сигнал - берілген хабарды алып ... ... ... ... желі - нейрондық желідегі ақпаратты тура таратады.
Реккурентті желі - кері байланысы бар ... ... ... тану - ... ... ... бар, белгілі бір обьектінің қандай да бір классқа анықтау үшін арналған ғылымның бағыты болып табылады. Обьектілердің класстары алдын - ала ... ... ... ... ... ... анықталады.Үлгіні танудағы үлгі деп отырғанымыз - әр түрлі заттар, құбылыстар, процесстер, сигналдар және т.б.
МАЗМҰНЫ
КІРІСПЕ .....................................................................5
1 ... ... ... ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ.....6
1.1 Биологиялық нейрондық желі............................................................................6
1.2 Жасанды нейрондық желі....................................................................................7
2 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІНІ ... ... ... ... архитектурасы.............................................12
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалары мен ережелері....................................................................................................................14
2.3 ... ... ... Үлгіні тануға арналған Хопфилд нейрондық желісі........................................27
3 ... ... ... ... жүргізілетін Qt Creater мен Matlab есептеу програмасы.................................................................................................................31
4 ТӘЖІРИБЕЛІК НӘТИЖЕСІ................................................................................33
ҚОРЫТЫНДЫ ...........................................................................................................46 ... ... ... ... - ... ... ... қиындықтардың өсуінің үйлесімсіздігі ақпараттық қауіпсіздікті қамтамасыз етуге бағытталған басқа технологияларды, әдістерді, механизмдерді қарастыруды қажет етеді. Сондай бағыттардың бірі - ... ... ... ... ... ... теориясы жасанды интеллект саласынан шыққан.
Мидың негізін құратын нейрон желісі ақпаратты ... ... ... паралельді, комплексті жүйеге ие. Ол нейрондарды үлгілерді ... қиын ... ... ... ... ... Адам миы ... есептеуіш машиналардан да тез жұмыс істейді және осы факт, ғалымдардың арасында жасанды нейрондық торды ойлап табуына алып ... ... желі ... жұмыс жасайтын көптеген қарапайым элементтерден тұрады. Табиғаттағыдай, нейрондық желі қандай да бір дәрежеде элементтер арасындағы байланысқа ие. Нейрондық ... ... ... ... ... нейрондық желіні ғылым мен техникада қолдану қазіргі кездегі өзекті мәселелердің бірі болып табылады. Мидың коммуникациялық жүйесі болып табылатын әрбір ... ... ... ие, соның ішіндегі ерекше қасиеттерінің бірі сигналдарды қабылдау, өңдеу және сақтау болып табылады. Нейрондық желілер үлгіні тану, болжау ... ... ... ... ... ... обьектілердің классификациясын, адам даусын анықтауда қолданылады. Оның себебі, дәстүрлі әдістер көмектесе алмайтын, нейрондық желі кең ... әр ... ... ... ... ... нейрондық желілер биологиялық нейрондық желінің прототипі болғандықтан, ойлау процесін зерттей алады. Жалпы, нейрондық желілердегі ... ... бірі ... ол - ... механизмін қолдану. Нейрондық желіні қолданушы кіріс деректерін енгізеді, содан соң ... ... ... Ол ... ... ... параметрлерін жөндейді. Қазіргі таңда, нейрондық желілер компьютер шеше алмайтын мәселерді шешумен айнлысып жүр. ... ... ... ... ... ... ... блок - схемасын құру және көпқабатты нейрондық желіні қолдана отырып, үлгіні тану. Сонымен қатар ... тану үшін ... ... ... ... ... нейрондық желілердің құрылуының теориялық негіздері, көпқабатты перцептрон, нейрондық желілердің архитектурасы, және нейрондық желілермен байланысқан барлық мәселелер қарастырылған.
Дипломдық жұмыстың ... - Matlab ... ... көпқабатты нейрондық желілердің схемасын Simulink - ... ... ... ... ... тор ... құруда активация функцияларын қойып есептеу жұмыстарын жүргізу, алып салыстыру. Осы тұрғыда көпқабатты нейрондық ... мен ... ... ... ... отырып, үлгіні тану мәселелерін шешу ұсынылып отыр.
* ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ
1.1Биологиялық нейрондық ... ... - ... ... ... және ... ғана шығысы бар желі. Нейрон екі режимде жұмыс істейді: біріншісі үйрету режимі және екіншісі қолдану режимі. Адам ... ... ... ... ... ... ... нейрон бар. Бізге белгілі болғандай, нейрон - тор денесі және өсімшеден тұрады. ... - ... ... негізгі функционалды және құрылымдық элементі болып келеді (1.1 сурет). Оларды басқаша айтқанда, ... пен ... деп те ... ... ... көп, және олар көп ... оның ... нейрондар импульстарды көрші торлардан жинайды. Ал аксон біреу, ол арқылы нейроннан сигнал өтіп ... ... ... Ал ... ... ... ... байланысқан, сол арқылы ақпарат таралады. Нейрондардың атқаратын қызметі ақпаратты сақтау және өңдеу, сонымен қатыр өсімшелерді қоректендіріп ... ... ... ... жүйесінде жасушалар бір - бірімен синапс ретінде байланысқан. Синапс - екі ... ... ... түйіскен жер. Жалпы кәдімгі нейронның жұмысының негізіне химиялық процесстер кіреді [1].
Cурет 1.1. Биологиялық нейронның ... ... жағы ... ... жабылған - дендриттермен. Дентриттерге басқа нейрондардың аксонның аяқ жағы жалғасады. Олардың қосылған жерін синапс деп атайды. ... ... ... нейрон келіп түскен сигналға жауап қайтара алады және ... да бір ... ... ... ... ... ... нейрондық желі
Жасанды нейрон - биологиялық нейронға ұқсас болып келетін, жасанды нейрондық тордың бірлігі болып табылады (сурет 1.2). ... ... ... ... ... ... облысында шексіз болатын, бейсызық функция ретінде келетін, жалпы жағдайда кіріс ... ... ... ... Әдетте, бұл функция монотонды түрде өседі. Алынған нәтиже шығысына (біреу) жіберіледі. Жасанды нейрондар қандай да бір ... ... ... ... ... ... ... нейрон мидың жүйке торына ұқсас болғандықтан, олардың ... күйі дәл ... ... Не олар тоқтап калады, не олар қозады. Нейрон ... ... ие - ... ... шығысымен жалғанған кіріс байланыстар, мен шығыс байланысқа ие, бұл арқылы басқа нейронның синапсына сигнал келіп түседі. Әрбір синапс ... ... ... ... w сипатталады. Бұл биологиялық нейронның эквивалентті өткізгіштігін көрсетеді [2]. Нейронның ... күйі ... ... ... ... ... 1.2. ... нейрон моделі
(1.1)
бұл жерде, w0 - нейронның жылжуының коэфициенті (кірістерінің бірлік салмағы). Нейронның шығысы қазіргі күйінің функциясы ... ... ... ƒ - ... ... ... ... (сурет 1.3.) деп аталады. Активация функциясының бірнеше түрі белгілі. Ең көп тараған бейсызық функция ол - ... ... ... айтқанда, логистикалық функция немесе сигмоид (S тәріздес функция) болып табылады.
(1.3)
бұл жерде, α - ... ... ... ... ... ... α=0 кезде 0.5 деңгейінде горизантальды сызыққа шығады. α - ны көбейткен кезде бірлік секірмелі функцияға ... ... ... ... үшін ... ... мәні [0,1] диапазонында жатады. Сигмоидты функция осьтің абциссасында дифференциалдана алады. Бұл ... ... ... ... ... ... әлсіз сигналдарды күшейте алады, үлкен сигналдардың қанығуын ... ... 1.3. ... ... түрлері
а) бірлік секірмелі функция; б) сызықты табалдырық (гистерезис);в) сигмоид - гиперболалық тангенс; г) сигмоидты ... пен ... ... ... ... ... ... ұсынды. Бұл формалды нейрон n өлшенілген xi кіріс сигналдарды есептеп, шығысында бірлік сигнал шығаратын болған. Ары қарай бұл модель ... ... ... ... ... пен ... өлшенілген кіріс сигналдары бар бейсызық түрлендіргіш нейроны (сурет 1.4) деп ... 1.4. ... - ... ... ... ... ... блок схема көрсетілген. Бұл модельде 3 негізгі элементі бар: синапс пен байланыс жинағы салмағымен сипатталатын кіріс ... ... ... - ... ... сәйкес өлшенілген кіріс сигналдарды қосады. Активация функциясы - суммарлық сигналдың өлшенілген, сығылған көрінісі. Сондықтан шығыс сигнал ... ... ие, ... [0.1] және [-1.1] ... ... 1.5. ... моделі сипатталған қарапайым моделі
Математикалық тұрғыда k - шы нейронның функциялануы былай жазылады:
(1.5)
(1.6)
бұл жерде, x1, x2, ... , xm ... ... wk1 , wk2 ,... , wkm k - шы ... синаптикалық салмағы; vk - bk ... ... және ... ... ... комбинациясы; ƒ - активация функциясы; yk - ... ... ... ... ... ... болады, кіріс векторына тағы бір кіріс сигналын қосу x0 ... oнда ... wk0 ... береді. Осының блок-схемасы төменде көрсетілген (1.6.cурет ):
Сурет 1.6. Кіріс векторына тағы бір сигнал қосылғандағы блок- ... ... ... ... ... ... ... активация функцияларының формулалары көрсетілген.
1.Бірлік секірмелі функция (Хэвисайд функциясы):
(1.8)
Бұл модельді әдебиеттерде Мак каллок пен ... ... деп ... ... функция:
(1.9)
Күшейту коэфициенті 1-ге тең бейсызық күшейткіштің жуықталуы деп ... ... ... ... графигі S тәріздес әріпге ұқсайды. Жасанды нейрондық торда кең таралған функциялардың бірі. Бұндай функцияның мысалы ... ... ... айтуға болады.
(1.10)
бұл жерде, - сигмоидалды функцияның илуінің параметрі. Бұл функция мынандай мәнге ие [0,1]. ... ... ... мына ... [1,1] ... ... етіледі.Онда бұл жағдайда гиперболалық тангенс активация функциясы қолданылады.
(1.11)
Қарастырылған модель детерминистік болып келеді. Кейбір кезде стохасты нейрожелілік ... деп те ... Онда ... ... ... ескере отырып шешеді.
(1.12)
Ықтималдық P(ν) сигмойдалды функциямен сипатталады.
(1.13)
бұл жерде, Т - температураға ... ... ... ... ... ... НЕЙРОНДЫҚ ЖЕЛІ ҚҰРУ
2.1. Жасанды нейрондық желілердің архитектурасы
Нейрондық желі - ... ... ... жүйке жүйесінде нейрондардың жинақталуы. Нейрондық желі бір - ... ... және ... ... ... топтар жиынтығынан тұрады. Нейрондық желі туралы түсінік нейрондық желінің жасанды интеллект туралы түсінік тудырып, математикалық моделін ... ... ... ... ... ... жасанды нейрондық желі деп атайды .
Жасанды нейрондық желі - құрылымды түрде паралельді бөлінетін процессор болып табылады. Ол адам ... екі ... ... ... және ... процесі негізінде жүзеге асады. Оқытылған білімнің сақталуы үшін нейрондық байланыстардың күштері синаптикалық ... ... ... ХХ ... ... бола ... Ең ... бұл бағыт бойынша жасалған жұмыс Мак-Каллок пен Питтспен байланысты. 1943 жылы математикалық алгоритм негізіндегі нейрондық тордың компьютерлік моделі жобаланды. Олардың ... ... ... ... ... ... ... деп айтты. Бұл модельді табалдырықтық логика деп атады. Синаптикалық өткізгіштігін сипаттайтын Мак - каллок пен Питтстың нейрондары биологиялық нейронның ... ... ... нейрондары параметрлерін жөндеу арқылы үйретуге қабілетті.1949 жылы канадтық физиолог және психолог Хебб ... ... ... ... сөз ... Оның айтуынша, үйрету ең алдымен синаптикалық байланысқа ... деп ... ... ... өзін-өзі үйретуге негізделген, бұл жерде жүйе ешқандай ... ... ... қойылған тапсырманы орындау үшін тосын үйретілді.
1957 жылы Розенблантпен екі ... ... тор ... ақпараттың миды қалай қабылдайтына байланысты нейрондық тордың математикалық және компьютерлік моделі ойлап табылды.Розенблант ... ... ғана ... ... ... қосылуының схемасын да айтып кетті.1958 жылы адам ойлау қабілетінің процесстерін қайталай алатын электрондық құрылғылар ... ... екі ... соң ең ... ... тани ... машина ұсынылды. 1969 жылы Минский мен Пейперттің ... ... ... торға деген қызығушылық төмендеді.Себебі компьютерлер жоғары есептеушілік қабілетке жеткен кезде нейрондық ... ... ... Нейронның арасында ақпаратты қабылдап, жіберу 1982 жылы Хопфилд желісі іске асырылды. 2006 жылы ... ... ... бір ... ... қабаты бар нейрондық торды үйретудің терең алгоритмі ұсынылды.
3429089535Реккурентті желі
Нейрондық желілердің архитектурасы
Хопфилд желісі
Кохонен желісі
Жарыстыр-малы желі
Тура таралу желісі
Бірқабатты
Көпқабатты
00Реккурентті желі
Нейрондық желілердің ... ... ... ... ... ... 2.1. ... тор архитектурасы
Тура таралу желісі - сигнал тура бағытта ғана тарайды. Сигнал кірісіне кіріп, ... тура ... ... Кері ... ... ... желі тура ... желісінен айырмашылғы бар,себебі кері байланысы бар. Мысалы, реккурентті желі бір ... ... ... ... және желідегі әрбір шығыс сигнал басқа қабаттардағы нейронның ... ... 2.2. Тура ... және ... ... сызбасы
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалар мен ... ... желі ... сенсорлық элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші ... ... және бір ... қабатты нейроннан тұрады. Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады. Мұндай желі көпқабатты ... деп ... ... ... әр түрлі қиын мәселелерді шешу үшін қолданылады. Бұл жердегі мұғаліммен үйретуі белгілі алгоритммен қателердің кері ... ... ... іске ... ... ... қателердің коррекциясына негізделген. Қателердің кері таралу әдісімен үйретуі желі бойынша екі кезеңнен ... тура және ... Тура ... ... ... ... ... синаптикалық түйініне беріледі, содан соң бір қабаттан екінші қабатқа таралады. Нәтижесінде шығыс сигналдар жиынтығы, ... ... ... ... Тура өту ... барлық синаптикалық салмақтар фиксацияланады. Ал кері өту кезінде қателер коррекция ережесіне сай барлық синаптикалық салмақтар жөндетіледі. Әсіресе желінің фактылық ... ... ... есептеледі, нәтижесінде қате сигналы пайда болады. Бұл сигнал синаптикалық байланыстардың кері таралуымен таралады. Осы ... ... кері ... ... ... Статистикалық мағынада синаптикалық салмақтар бізге керекті шығыс сигналын алу үшін ... ... ... кері ... ... кейде кері таралу алгоритмі деп атайды. Көпқабатты перцептронды ... ... осы ... ... іске ... ... көпқабатты перцептрондар үш айырым белгісіне ие:
1.Әрбір желінің нейроны ... ... ... ие. ... ... жағдай, бұл бейсызық функция тегіс болып келеді. Розенбланттын перцептрондарында қолданылатын ... ... ... барлық жерде дифференциалданады. Ең танымал функция түрі болып осы шартты ... ... ... ... ... Ол ... ... анықталады
(2.1)
мұндағы, - нейронның j индукцияланған локальді өріс (б.а барлық синаптикалық өлшенілген қосындысы және табалдырық мағынасы). - ... ... ... ... - үлкен рөл атқарады, себебі, кері жағдайда желінің бір қабатты перцептронға ұқсас болып кетеді. Биологиялық түрде дәлелденген логистикалық функцияның ... ... ... ... ... келу ... байланысты.
2. Желі бір немесе бірнеше қабаттан тұрады жасырын ... олар ... ... не ... ... Бұл ... ... қиын есептерді шешуге үйретеді, нәтижесінде желі кіріс ... ... ... ... алады.
3. Желі жоғары байланыс дәрежесіне ие, ол орташа синаптикалық байланыспен іске асады. ... ... ... ... ... ... және көптеген синаптикалық байланыстың өзгерісін талап етеді. Үйрету ... ... ... ... ... күш береді. Алайда бұл қасиеттер заманауи білімнің жетіспеушілігінң кесірінен кемшілік болып та ... ... ... форма және жоғары жоғарғы желілердің байланысы теориялық түрде көпқабатты перцептрондардың анализіне кедергі болып табылады. Екіншіден, жасырын ... ... ... ... ... қиындатады. Әсіресе үйрету процесінде мына жағдайды ескеру керек, ... ... ... сигналдарының қасиеттерін білу шарт. Онда үйрету процесі одан әрі қиындай түседі себебі ... ... бар кең ... іске асу ... ал ... кіріс үлгілердің альтернативті ортада жасалуы керек [5].
ұғымы 1986 жылдан кейін белсенді түрде қолданыла бастады. Сол жылы ол ... ... ... ... Кері ... ... ... болуы нейрондық желіде қолданылды. Төмендегі суретте екі ... ... және бір ... ... ... ... ... графы көрсетілген. Бұл көпқабатты перцептронның сипаттамасына сай толық байланысқан болып келеді. Бұл дегеніміз кез - ... ... ... ... ... ... нейрондармен (түйіндермен) байланысқан. сигнал тура бағытта ғана таралады, солдан оңға қарай, қабаттан қабатқа қарай .
Сурет 2.3. Екі жасырын қабаты бар ... ... ... ... 2.4. ... перцептронның екі ең негізгі бағыты: функциолналды сигналдың тура таралуы, қате ... кері ... ... - көпқабатты перцептроннан бір үзінді көрсетілген. Мұндай типті желі үшін екі ... түрі ... ... ... ... ... бұл кіріс сигнал (ынталандырма) ары қарай желіде нейроннан нейронға қарай ... Бұл ... ... соңына шығыс сигнал болып барады. Бұл сигналды функционалды деп атауымыздың екі себебі бар: біріншіден, желінің соңында қандай да бір ... ... ... ... ... нейрон арқылы осы сигнал таралады жән осыдан салмақ ... бар ... да бір ... Қате ... ... басын желінің шығысынан алады, және кері бағытта таралады (бір ... ... ... Ол ... атын ... функциясы негізінде әрбір нейронмен саналатындығының арқасында алды.
Шығыс ... ... ... ... ... Қалған нейрондар жасырын қабатқа жатады. Осылайша, жасырын түйіндер желінің не кірісі, не ... бола ... ... ... ... қабат мәліметтерді кіріс қабаттан алады. Нәтижелі сигнал бірінші жасырын қабаттың өз кезегінде келесі жасырын қабатқа түседі, осылайша ол ... ... ... ... ... ... жасырын немесе шығыс нейроны екі типті есептеуді орындай алады.
1. Нейронның шығысындағы функцияналды ... ... ... бейсызық функция түрінде берілген кіріс сигналдан және синаптикалық ... ... ... ... ... бағалануының есептелуі бізге кері жүріс үшін қажет.
Көптеген көпқабатты нейрондық желі негізінен үш ... ... ... қабаттан, жасырын және шығыс қабаттан тұрады. Кіріс нейрон кіріс ... ... үшін ... Осы ... нейрондар келесі қабаттағы жасырын қабаттағы элементтермен тығыз байланысқан. Жасырын қабаттағы элементтер шығыс қабаттағы элементтермен ... ... ... ... ... ... ... ие. Бұл деп отырғанымыз, бір нейронның активтілігі екінші нейронның активтілігін күшейте алады және байланыстың күштілігіне үшінші нейронды әлсірете ... ... сөз. ... ... ... ... желіні үйретуге болады. Үш қабатты нейрондық желінің ... ... ... ... 2.5. Үш ... ... желінің моделі
Үш қабатты нейрондық желінің шығыс сигналы былай анықталады: ... ... - ... ... функциясыi мен j арасындағы салмақ байланысы. Бұндай жасанды нейрондық желі кез - ... ... - ... ... ... ... [6].Теориялық түрде желі қабаттың саны көп бола береді. Бірақ ... ... ... ... желі ... қиын мәселердеі шешуге, үлгіні анықтау, жуықтауда универсал ... ... ... ... 2.5). ... ... ... топтарға біріктіріледі: нөлдік, бірінші қабат, екінші қабат, үшінші қабат. Нөлдік қабаттың нейрондары ешқандай есептеулерге қатыспайды, тек ғана бірінші қабатқа кіріс ... ... желі ... ... элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір ... ... ... есептеуіші нейрон қабаттарынан және бір шығыс қабатты нейроннан ... Желі ... ... ... тура ... бір ... басқа қабатқа таралады. Мұндай желі көпқабатты перцептрон деп аталады.
Көпқабатты перцептрон әр түрлі қиын мәселелерді шешу үшін ... Бұл ... ... үйретуі белгілі алгоритммен қателердің кері таралу алгоритмі арқылы іске асады. Мұндай алгоритм қателердің коррекциясына негізделген.
Қателердің кері ... ... ... желі ... екі ... ... тура және ... Тура өткізу кезінде (кіріс вектор) желінің синаптикалық түйініне беріледі, содан соң бір ... ... ... ... ... ... ... жиынтығы генерацияланып, шығысында нәтижесін аламыз. Тура өту кезінде барлық синаптикалық салмақтар фиксацияланады. Ал кері өту кезінде қателер коррекция ережесіне сай ... ... ... ... ... желінің фактылық шығысы керекті жауаптан есептеледі, нәтижесінде қате сигналы пайда болады. Бұл сигнал синаптикалық байланыстардың кең ... ... Осы ... ... кері ... ... ... Статистикалық мағынада синаптикалық салмақтар бізге керекті шығыс сигналын алу үшін ... ... ... кері ... ... ... кері таралу алгоритмі деп атайды. Бұл үйрету процесі осы алгоритм негізінде іске асады [7,8,9].
n итерация негізіндегі j ... ... қате ... ... ... анықталады:
(2.3)
j нейронының қатесінің энергиясының қазіргі күйін былай анықтаймыз.
Сәйкесінше, жалпы энергияның E(n) қазіргі күйін барлық шығыс қабаттың барлық нейрондарымен ... қосу ... ... Бұл ... ... үшін ... қате сигналы осылайша анықталуы мүмкін.
(2.4)
мұндағы, С барлық шығыс қабаттағы нейрондардың көпмүшесі. Ал n - көп ... ... ... ... ... E(n) бұл ... n ... бойынша нормаланған болып келеді:
Сурет 2.6. Кейбір j нейронның төңірегіндегі сигналды жіберу графы
(2.5)
Қате E(n) энергиясының қазіргі күйі, демек қатенің орташа энергиясы ... ... ... ... болып келеді.
Енді (2.6. суретте) көрсетілгендей алдыңғы қабатта орналасқан нейрондардан келетін сигнал ағының j нейронға келіп түсуін ... ... ... ... бұл ... функциясының кірісінен алынған қазіргі нейронмен байланысы бар және ол мынаған тең.
(2.6)
бұл жерде, m- j нейронның жалпы кіріс ... ... ... wji ... кіріске сай келеді y0=+1) vj табалдырығына тең. j нейронының шығысындағы функцианалды сигнал yj(n) n итерациясы кезінде мынаған ... ... ... ... ... ... жақты бойынша дифференциалдаймыз:
(2.9)
Екі жақты бойынша дифференциалдаймыз:
(2.10)
Екі жақты ... ... ... штрих аргумент бойынша дифференциалдануы болып табылады.
(2.7) - ні ... ... ... ... мынандай түсініктемеге келеміз.
(2.12)
коррекциясы ,қолданатын дельта ережесі бойынша анықталады.
(2.13)
бұл жерде, - кері ... ... ... жылдамдығының параметрі. Бұл жердегі "-" белгісі салмақ кеңістігіндегі градиенттік түсумен байланысты.
Керекті жерлерге формулаларды қойып, мынандай теңдеу аламыз.
(2.14)
Бұл жерде локальді ... ... ... ... ... желі ... салмақтағы керекті өзгерістерді талап етеді. Жоғарыдағы өрнектерді қарайтын болсақ, салмақ коэфициентінің коррекциясының шамасын анықтауда қате сигналы және үлкен рөл ... ... болу ... жағдайларын қарастырсақ:
1 - жағдай. j нейроны- шығыс түйін.
Егер j нейроны шығыс қабатта ... ... оған ... бір ... ғана ... ... қате сигналын оңай анықтауға болады және оңай анықтауға болады.
2 - жағдай. j ... - ... ... j ... ... ... орналасса, керекті жауап оған белгісіз. Сәйкесінше, қате сигналы барлық нейрондардың қате сигналдарының негізінде есептелінеді. Осы жерде кері таралу алгоритмі ... тап ... ... жасырын j нейроны көрсетілген. Сәйкесінше, локальді градиентті былайша анықтауға болады.
бұл жерде j - ... ... Жеке ... табу үшін ... ... ... 2.7) көрсетілген.
(2.16)
(2.17)
бұл жерде k - шығыс нейрон, (2.17) қатынас (2.4.) қатынас болып табылады. j индексі k ... ... (2.17) - ні ... ... 2.7. ... жберу графы. Шығыс k нейронын жасырын j нейронмен байланысы
Енді осы жеке ... ... ... ... ... ... ... бойынша жазу керек:
(2.19)
Бірақ (2.7. суретте) шығыс k нейроны үшін көрініп тұрғандай.
(2.20)
Осы жерден,
(2.21)
k нейронының локальді индуцияланған ... ... ... ... m - ... ... кірістердің ортақ саны. Синаптикалық салмақ табалдырыққа сай келу керек.
Кері таралу алгоритмін қолдану кезінде есептеу ... ... екі жолы бар. ... жол - ... - ... өту кезінде барлық желіде синаптикалық салмақтар өзгертусіз қалады, ал функционалды сигналдар нейроннан нейронға ... ... ... j нейронының шығысындағы функционалды сигнал былай есептелінеді:
(2.23)
бұл жерде, - j нейронының локальді индуцияланған ... ... ... ... ... ... саны (j ... табалдырығын санамағанда).i және j нейрондарын қосатын синаптикалық салмақ. - j нейронының кіріс сигналы немесе і ... ... ... Егер j нейроны желінің жасырын қабатында орналасса, онда m=m0 , ал і ... ... і ... ... жатады, ол үшін келесі өрнекті жазуға болады:
(2.25)
мұндағы, - і элементінің кіріс векторы(үлгі). Басқа тұрғыдан қарасақ, егер j ... ... ... ... ... онда m = mL , ал j ... j ... шығыс терминал мәнін білдіреді, ол келесі өрнекпен өрнектеледі:
(2.26)
мұндағы, - j элементінің шығыс векторы. ... ... ... ... ... ... j шығыс нейроны үшін қате сигналы есептелінеді. Осылайша, тура фазалы есептелу желінің бірінші жасырын қабатынан ... және осы ... ... үшін ... ... бітеді.
Берілетін қате сигналдың шығыс қабатынан кері байланыс басталып, әрбір ... үшін ... ... градиентті есептеу оңнан солға қарай қабаттан қабатқа беріледі. Бұл рекурсивті процесс синаптикалық салмақтың өзгерісін дельта-ережесіне сәйкес болжайды. ... ... ... ... ... ... градиент қате сигналына сәйкес, бірінші ретті бейсызық активация функциясына көбейтіледі. Содан соң, ... ... ... ... ... ... есептеу үшін қолданылады. Нейронның шығыс қабаты үшін локальді градиентті біле отыра, нейрон қабаты үшін бастапқы локальді градиентті есептеуге болады, ... осы ... ... ... ... шамасын біле аламыз. Кері байланыс үшін осындай есептеулер қолданылады. Байқағанымыздай, әдеттегі үйрету үлгісінен ... желі тура және кері ... ... ... ... ... ... құрылуына көмектеседі. Жылдамдық параметрі η аз болған сайын, салмақтағы қате аз болады. Онда ... ... ... Ал ... параметрі η көбейтсек, үйрету процесі де тездетіледі, алайда жүйе тұрақсыздыққа ие болмай қалады. Тұрақсыздыққа тап ... ... ... болады. Оны дельта-ережені (2.14) өзгерту арқылы іске асыруға болады. Былайша айтқанда, инерция моментін ... ... ... оң ... болып табылады.(2.27)- ші теңдеу толық дельта теңдеу деп аталады. кезінде қарапайым дельта-теңдеу болады.
Үйретілген мысалдардың - ға ... ... ... ... үшін теңдеуді t индексі бар, уақытша қатар ретінде жазып шығамыз. t - ның мәні 0- ден n - ға ... ... Осы ... - ға ... шешсек, онда мынандай теңдеу аламыз.
(2.28)
(2.12) пен (2.15) теңдеуді қарайтын болсақ,.
Сәйкесінше, (2.27) - шы өрнекті ... ... ... ... ... ... ... үйреткен кезде, оған көптеген мысалдар тіркеледі. Айтылып кеткендей, толық мысалдарды ... ... ... деп ... ... процесі синаптикалық салмақ пен табалдырық деңгейі тұрақталмайынша, және орташаквадраттық қате минимал мәнге сай ... ... ... ... өту ... өтеді. Әр түрлі цикл үшін мысалдарды кездейсоқ ... ... ... ... ... ... салмақ кеңістігінде іздестіру стохасты қылып көрсетеді және тұйық циклдарды алдын алады. Осындай принціп кері ... ... екі ... ... ... ... ... кері таралу алгоитмін қолдану үшін, оған екі жолдың біреуіне жүгінуі тиіс.
Тізбекті режимі кері ... ... ... ... ді кейде стохасты немесе интерактивті деп те атайды. Бұр режимде салмақты өзгерту, әрбір мысалдан кейін болады. Мысалға, N үйретуші ... ... ... ... ... Желіге осы циклдағы (x(1),d(1)) мысалы көрсетілсін. Содан соң, тура және кері есептеулер жүргізілсін. Нәтижесінде, синаптикалық салмақтарды ... ... ... ... ... екінші жұп көрсетіледі (x(2),d(2)) тура және кері өтулер қайталанады және бұл келесі синаптикалық салмақтардың ... алып ... Бұл ... осы циклдағы соңғы мысалды (x(N),d(N)) аяқталмайынша көрсетіле береді.
Пакетті режимде синаптикалық салмақты өзгерту толық мысалдарды көрсеткен соң жүзеге ... ... цикл үшін баға ... ... квадраттық қате құрамдық түрде анықталады.
(2.30)
бұл жерде , n үйрету үлгісі үшін қате сигналы j нейронына сай ... және ол (2.3) ... ... Қате мен -нің ... тең. ... ... берілген кезде i мен j нейрондарын байланыстыратын синаптикалық салмаққа жасалатын ... ... ... ... алгоритмінде тізбекті режимнің кемшілігіне қарамастан, ол үлгіні тану тапсырмаларына жақсы қолданылады. Кері таралу алгоритмі қиын мәселелерді ... ... және ... ... өте ... болып табылады.
Жалпы қазіргі таңдағы мұғаліммен үйретудің парадигмасы қолайлы болып табылады. Схемалық суреті (сурет 2.8.) ... . Бұл ... ... орта ... ... белгілі. Ол x векторлар пакеті түрінде берілген. Сонымен қатар үйретуші d ... да бар. Егер қате ... ... ол e = d - y ... ... ... ... кезінде, жасанды нейрондық желілердегі параметрлерді Е(е) қате ... ... да бір ... ... ... ... жететіндей етіп жөндеу жүргізу керек. Сыртқы орта туралы ақпарат стационар емес болғандықтан , рекурентті желілер қолданылып, үйрету ... ... ... 2.8. Мұғаліммен үйретудің схемасы
Бұл парадигмаға кері парадигма ... ... ... ... ... үйретудің схемасы сипатталған ( сурет 2.9).
Cурет 2.9. Өзін-өзі үйрету ... ... ... ... ... ... ... сығу кезінде қолданылады.
2.3 Радиалды базистік желілер
Биологиялық ағзалардың жүйке жүйесінде нейронның шығыс сигналы немесе болып табылатын, қандай да бір ... ... ... ... ... ... келеді. Жасанды желіге құрылған, оқшауланған сипаттамаға ие көпқабатты нейрондық желінің баламасы болып табылатын ... ... - ... ... желі деп атайды. Көпқабатты желіге ұқсас болып келетін, бұл желі ... тура ... ... ... ... ... 2.10 - да бейсызық түрлендіруді жүзеге асыратын, n - ... және m - ... ... ... - ... желінің стандартты сызбасы көрсетілген.
(2.32)
бұл жерде, радиалды- базистік функция. Ол n - ... ... ... ... ... кеңістікке түрленуді айтады.
Cурет 2.10. Радиалды - ... ... ... ... ... ... - ... олар жасанды нейрондық желіні сыртқы ортамен байланыстырады. Ф - бір ғана ... ... Ол ... ... ... кеңістікке бейсызық түрлендіру арқылы жүзеге асырады. Шығыс қабат ол желінің кіріс сигналға үн қатуын жүзеге асырады ... ... ... ол көпқабатты желінің монотонды активация функциясына қарағанда, радиалды - базистік функция симметриялық болып келеді де, кіріс кеңістіктің тар ... . ... ... - ... желі ... ... ... ие және олар стандартты нейрондардың активация функциясының туындысы ретінде сипатталуы мүмкін. Ең көп тараған функция болып ... ... с ... пикке ие. ( 2.10. суретке ) қарағанда төмендегі сурет кең қолданысқа ие. Бұл ... бір ... бар ... қарастырылады.
Көп жағдайда, сi түйін орталықтары мен σi енінің ... ... тек ғана ... ... ғана жөнделеді. Ал күрделі мәселерде (үлгіні тану ,класстеризацияда және т.б) ... ... ... ... ... ... ... - базистік желі
Бұдан басқа гаусстық желіден басқа басқа ... ... ... - басзистік желілерде басқада функциялар қолданылады.
мысалы,
* Мультиквадратты
, ... ... т.б ... ... ... ... арналған Хопфилд нейрондық желісі.
Үлгіні тану - жүйелерді ... ... бар, ... бір ... қандай да бір классқа жататындығын анықтау үшін арналған ғылымның бағыты болып табылады. Обьектілердің класстары ... ала ... ... ... ... ... ... анықталады. Үлгіні танудағы үлгі деп отырғанымыз - әр түрлі ... ... ... сигналдар және т.б.
Көптеген нейрондық желілердің ішінде классификация кезінде, принціп бойынша не мұғаліммен оқуға, не мұғалімсіз ... ... бар. ... өңдеу негізінде, синапстардың салмақ коэфициенттері бір-ақ рет есептелінеді және сонымен ... ... ... осы ... ... Бір жағынан ақпараттың берілуі мұғаліммен оқытулуға жатады десек болады. Ал басқа жағынан алсақ нейрондық желілер ең ... ... ... ... да, ... ... нағыз үлгілерді кірісіне береді және бұл жерде кері байланыстың бар екенін айтып кетсек болады. Осындай логикамен жұмыс істейтін ... ... және ... ... ... болады.Хопфилдтің құрылымдық схемасы көрсетілген. Желі бір қабаттан ғана ... және ол ... ... де шығысы да болып табылады. Әрбір нейрон басқа бір ... ... ... ... және ... қатар бір синапстық кіріске ие [11].
Үлгіні тану - жүйелерді құрумен байланысы бар, белгілі бір обьектінің қандай да бір ... ... үшін ... ... ... болып табылады. Обьектілердің класстары алдын - ала белгілі болады немесе тапсырманы шешкен ... ... ... ... үлгі деп ... - әр түрлі заттар, құбылыстар, процесстер, сигналдар және т.б.
Көптеген нейрондық желілердің ішінде классификация кезінде, принціп ... не ... ... не ... ... ... бар. ... өңдеу негізінде, синапстардың салмақ коэфициенттері бір-ақ рет есептелінеді және сонымен қатар есептелулерді барлығы осы негізінде ... Бір ... ... ... ... ... жатады десек болады. Ал басқа жағынан алсақ нейрондық желілер ең алдымен үлгілерді танып алады да, ... ... ... ... ... ... және бұл жерде кері байланыстың бар екенін айтып кетсек болады. Осындай логикамен жұмыс істейтін желілерге Хопфилд және ... ... ... ... ... ... көрсетілген (сурет 2.12). Желі бір қабаттан ғана тұрады және ол желінің кірісі де шығысы да ... ... ... ... ... бір нейронмен синапс арқылы байланысады және сонымен қатар бір синапстық кіріске ие.
Сурет 2.12. Хопфилд желісінің құрылымдық схемасы
Осы арқылы сигнал ... ... ... ... пайда болады.Бізге белгілі бір сигналмен берілген (сурет, дбысты сандық мәлімет, немесе қандай да бір ақпаратты суреттейтін сипаттама) болсын ... Желі ... ... ... ұшыраған сигналдың ішінен алдында есіне сақталған үлгілерді тану керек болмаса кіріс мәліметтердің шығысқа сай келмейтінін айтып кету ... ... ... ... ... X = ... n- ... нейрондардың саны жіне кіріс,шығыс векторларының өлшемділігі болып табылады. Әрбір xi элементі +1 немесе-1 мәніне ие. k- шы ... ... ... xk ... ... ал оның ... , k = 0...m-1, m- үлгілер саны. Егер алдында үйретілген үлгілер бойынша үлгіні ... ... ... ол ... ... Y = Xk ,бұл жерде, Y - желінің шығыс векторлары болып табылады: Y = { yi: i=0,...n - 1}. Кері ... ... ... ... үлгімен сай келмейді. Егер, мысалы желіге сурет түріндегі сигнал берсек, ... ... ... ... ... және сол ... үлгі сай ... тұр ма келмей тұр ма көреміз [12,13].
(2.36)
бұл жерде, i мен j индекстар болып табылады.
Желінің функциялану алгоритмі келесідеу: (p - ... ... ... ... белгісіз сигнал беріледі. Кірісіне мін беру аксонға мән беру арқылы жүзеге асады:
, ... ... ... ... ... ... ие және жақшадағы нөл нөлдік итерацияны білдіреді.
* Нейрондардың жаңа күйі есептелінеді.
, ... ... жаңа ... ... ... ƒ секірме түріндегі активациялық функция (2.13. ... ... ... шығыс мәндері өзгерсе, егер ия болса екінші пунктке өтеміз. Болмаса аяқталады.
Кейде желі үлгіні тани алмай, шығысына басқа үлгі шығарады. Бұл ... ... ... болу ... ... Хопфилд желісі үшін жаттап қалу үлгілері m 0.15*n-нан аспау керек. Егер, мысалы А және Б ... ... ... ұқсас болып қалса, онда үлгіні тану қиын болып табылады.
Cурет 2.13. ... ... 2.13. - те ... және ... ... көрсетілген. Суреттер 5х6 нүктелі өлшеммен болып табылады. Желі нақты үлгілерді жаттай отырып, үйренеді. Одан кейін желінің кірісіне 8/30 ... бар үлгі ... ... ... ... ... ... жүргізілетін Qt Creater мен Matlab есептеу ортасы
Qt Creater - C және C++ ... ... ... IDE ... Бұл ... ... графикалық интерфейс пен интерфейс құруға арналған визуалы құру ортасы болады. ... ... ... ... әр түрлі плаформаларда қосымшалардың жұмысын жеңілдету үшін арналған. Qt Creater qmake,cmake,autotools, жинау жүйелерінде жұыс жасай ... ... С++ - тегі ... ... ... ... келесідей жөндеу жүргізу режимдары көрсетілген:
- локальді жіберілген қосымшалар үшін арналған қарапайым ... ... ... ... жөндеу жүргізу үшін арналған терминал;
- Qt Creater-дан бөлек ашылған локальді процесстерге жөндеу жүргізу үшін арналған ... ... ... ... ... ... жөндеу жүргізу үшін өшірілген режимі;
v Unix - та апат ... ... ... ... ... үшін арналған ядро;
- Windows-та апат түрінде аяқталған процесстерге ... ... үшін ... ... Symbian құрылғысында болған процесстерге жөндеу жүргізу үшін арналған TRK режимі.
Qt Creater программасының архитектурасына ... main ... ... ... үшін ... ... ... компоненттер бір - бірімен тығыз байланыс.
Qt Creater программасының интерфейсына келсек:
ExtensionSystem интерфейсі ... ... ... ... ... пен плагинді жүктеуге арналған. Aggregation барлық компоненттерді бірге жинауға арналған компонент. Utils плагиндарды шақыру үшін ... ... ... QmIJS- QML мен ... қосымшаларын қолдауға арналған.
Matlab-(ағыл.Matrix Laboratory) - ... ... ... Ол ... ... және осы пакетте қолданылатын программалау тілі.Matlab 1000000 инженерлі және ғылыми жұмыскерлерді қолданады. Ол көптеген заманауи ... ... ... ... Matlab программалау тілі 1970 - жылдың аяғында Клив Моулермен ойлап табылған.
Matlab бүкіл адамзат ... ... ... ... ... ... ... және күшті есептеу жүйесі болып табылады. Бұл жүйенің артықшылығы, яғни ... ... ... ... ... жазылған М-файлдар және С түрінде жазылған бағдарламалар арқылы) өзгертуге, қосымшалар енгізуге болады. Сондай-ақ сандық есептеулерден басқа графикалық функциялармен (екі өлшемді, үш ... ... ... ... мүмкіндіктері өте үлкен және оларды толық сипаттап жазу қиынға түседі. Сол себепті олардың тек негізгі, көп ... ... ... ... ... ... ... векторлық, логикалық операциялар; элементарлық және арнаулы функциялар.
* Сандық ... ... ... ... ... ... ... сызықтық емес алгебралық теңдеулер түбірін табу; бірнеше айнымалы функцияның минумымын табу; бір немесе көп өлшемдік интерполяция.
* Бағдарламалау ... 500 - ден ... ... ... ... және мәтіндік файлды ендіру және шығару; С және Фортран тілінде жазылған бағдарламаларды пайдалану; Matlab тілінде жазылған ... С және С++ ... ... ... ... ... және графика саласында; екі және үш өлшемдік графиктер сызу; мәліметтерді визуалдық сараптама жасау және анимация.
* Matlab мүмкіндіктерін ... ... ... Simulink - ... приборларды пайдаланып процестерді модельдеу; математикалық есептеу пакеттері; сигналдар мен ... ... ... ... есептеулерді шешу; карталар мен географиялық мәліметтермен жұмыс істеу. Бұл қосымша пакеттері.
Matlab әртүрлі пайдаланушыларға әртүрлі облыстарда математика, машина жасауда және ... ... ... стандартты аспап ұсынады. Matlab-та toolboxes деп аталатын бағдарламалардың мамандандырылған топтары маңызды рөл ... Олар ... ... ... үшін өте ... Олар ... ... оқу және қолдануға рұқсат етеді. Toolboxes - бұл Matlab (М-файлдар) функциясының жан-жақты ... Олар ... жеке ... ... ... етеді.
MathCAD математикалық пакеті.
Математикалық және ғылыми - техникалық есептеулер дербес компьютерді қолданудың маңызды сферасы болып ... ... олар ... ... ... ... Бейсик немесе Паскаль тіліндегі программалардың көмегімен орындалады. Бүгінгі уақытта бұл ... ... ... ... кез ... адам әр ... ... алмайды. Ол үшін ол адам программалау тілін және қазіргі кезде өте күрделі математиткалық есептеулердің сандық әдістерін үйренуге мәжбүр болады. Кей ... ... ... ... ... немесе инженер мамандарының қолынан шындықтан алыс программалар келіп шығады.
+ Тәжірибелер нәтижесі
1. Тура тарататын көпқабатты нейрондық желі ... ... ... ... ... ... дифференциалданатын функциялар бола алады, мысалы: tansig, logsig, purelin.Үйрету функция ретінде кез-келген кері таралу әдісін іске асыратын ... бола ... trainlm, ... trainrp, ... функциясы шапшаңдықты қамтамасыз етеді, бірақ үлкен жады керек.
Р кіріс жүйелілігі және Т ... ... бар ... ... ... = [0 1 2 3 4 5 6 7 8 9 ... = [0 1 2 3 4 3 2 1 2 3 ... желінің архитектурасы: сигналдар тура таралатын екі ... ... ... ... бес ... ... tansig ... функциясы бар; екінші қабат бір нейроннан тұратын purelin активация функциясы бар; кірістердің өзгеру диапазоны [0 10]
net = newff([0 10],[5 ... ... 4.1. ... ... ... Simulink - тағы ... 4.2. Екі қабатты нейрондық желінің архитектурасы
Желіні модельдеп, шығыс сигналдарының және графигін (4.8 ... ... = ... ... 4.3. ... ... ... 50 цикл ішінде үйретеміз.
net.trainParam.epochs = 50;
net = train(net,P,T);
Сурет 4.4 Нейрондық желінің 50 цикл ішінде үйретілу процесі
Y = ... ... ... ... пайдалана отырып, екі қабатты желіні жобалаймыз.
Сурет 4.5. Кіріс сигналдың шығыс сигналға ... ... ... каскадты желі құру.
Ең бірінші, жүйелік кірісі Р және жүйелік ... бар Т ... ... ... ... архитектурасы мынандай болуы қажет: сигналды тура таратанын, желіде екі қаббатты желі болуы тиіс. Бірінші қабат- tansig активация ... бар 5 ... ... ... қабат-purelin активация функциясы ба, 1 нейроннан тұрады. Кірістердің өзгеру диапазоны [0 10].
P = [0 1 2 3 4 5 6 7 8 9 ... = [0 1 2 3 4 3 2 1 2 3 ... = newcf([0 10],[5 ... ... ... төменгі суреттерде көрсетілген
Сурет 4.6. Тура каскадты нейрондық желінің архитектурасы
Желіні 50 цикл ішінде үйретеміз
net.trainParam.epochs = 50;
net = train(net,P,T);
Сурет 4.7. ... ... ... ... ... екі ... ... модельдеп, үйретілетін кірістерді қолданамыз.
Y = sim(net,P);
plot(P,T,P,Y,'o')
Нәтижесі төменде көрсетілген ( сурет 4.8.).
Сурет 4.8. Нейрондық желіні модельдеу нәтижесі
3. ... ... желі ... аргументтер: Р- Q кіріс векторындағы RxQ өлшем массиві. R - ... ... ... ... Q ... векторларындығы SxQ өлшем массиві;goal- 0.0 бойынша орташа квадраттық қате;spread-1.0 бойынша ықпал ету ... ... ... базистік желінің network object класс обьектісі.Орташа квадраттық қателігі бар 0.1 радиалды ... ... ... құр. ... радиалды басзистік желі radbas активация функциясы бар 3 нейроннан тұрады.
P = 0:3;
T = [0.0 2.0 4.1 ... = ... = 4; ... ... 4.9. ... базистік желі архитектурасы
Жаңа кірістер үшін желіні модельдеу ( ... 4.10). ... ... ... ... ... ... нейрон болмайды. Содан соң, желі модельденіп,ең көп қатесі бар кіріс вектор анықталып radbas активация функциясы бар нейрон бірінші ... ... on
V = ... ... ...
P1 = 0.5:2.5;
Y = sim(net,P1)
plot(P1,Y,'+k','Markersize',10,'Linewidth',2) %
Сурет 4.10. Жаңа кірістерді енгізу үшін желінің ... ... ... ... ... ... модельдеу.
Екі қабатты желіні құрып аламыз да, содан ... екі ... ... рет ... ... ... қоя отырып, тиімдісін алу.
* tansig пен purelin активация функциялары;
* tansig пен tansig ... ... purelin пен purelin ... ... logsig пен purelin ... функциялары;
* tansig пен logsig активация функцилары;
* logsig пен tansig ... ... ... ... осы алты рет әр түрлі активация функцияларының орнын ауыстырып,шығысындағы нәтижелер төменде көрсетілген.
Сурет 4.11. tansig пен purelin ... ... ... кездегі
үйрету графигі
Сурет 4.12. tansig пен tansig активация ... ... ... ... ... 4.13. purelin пен purelin ... фукнциялары қолданылған кездегі үйрету графигі
Сурет 4.14. logsig пен purelin активация функциялары қолданылған кездегі үйрету графигі
Сурет 4.15. tansig пен logsig ... ... ... ... ... ... 4.15. logsig пен tansig ... функциялары қолданылған кездегі үйрету графигі
Суреттен қарап отырсақ, бірінші мен төртінші графиктер нейрондық ... ... ... ... табылады.
Сурет 4.16. Екі қабатты нейрондық желі
5.Көпқабатты нейрондық желіні үлгіні тануда қолдану
NNT програмалық пакетінде appcr1 кері ... ... ... тану ... іске ... ... Мысалы, 26 латын әріпін тану үшін үлгіні тану жүйесі екі қабаттан тұратын желіні құрады, ... ... ... ... ... n(10) ... және ... қабатта p (26)нейронмен , әрбір әріпке бір нейроннан сай келеді. Әр шаблонның өлшемділігі 7x5 әріптің градация ... ... ... табылады. Кіріс векторға белгілер жиынтығы сай келсе, шығыс векторға үлгілер жиынтығы сай келеді, ал жасырын ... ... ... ... ... жүйесі тұрақты емес, сондықтан әріптердің жеке элементтері кейде дұрыс емес болуы мүмкін. Жобаланып отырған нейрондық желі ... ... ... тиіс және жоғары дәлдікпен шуылы бар векторларды дыбыстауы тиіс. рrprob ... 26 ... ... және оның ... 35 элементтен тұратын алфавитті құрайды. Ол шығыс айнымалыларды alphabet құрады және targets ол мақсатты вектор мен ... ... ... Targets ... ... ... ... ретінде беріледі eye (26). i - шы әріптің шаблонын орнына келтіру үшін келесі операторларды ... ... ... 5, ... [ 0 1 0 1 0 ... 0 0 0 ... 0 0 0 ... 0 0 0 ... 0 0 0 ... 0 0 0 ... 0 0 1 ... 5, ... 1], [1 1],{'logsig' 'logsig'},'traingdx');
% gensim(net)
net = init(net);
net.trainParam.epochs = ... ... 5, ... С - ға ... сан ... ол ... 100 цикл ішінде үйретіп, нейрондық желіні С үлгісін ... ... ... бар жер. ... жоқ ... 1 0 1 0
1 0 0 0 1
1 0 0 0 0
1 0 0 0 0
1 0 0 0 0
1 0 0 0 1
0 0 0 1 0 ... 4.17. Көпқабатты желінің кірісіне беретін үлгі ... ... ... ... ... соң ... нейрондық желі үлгіні тани бастайды
0 1 1 1 0
1 0 0 0 1
1 0 0 0 0
1 0 0 0 0
1 0 0 0 0
1 0 0 0 1
0 1 1 1 ... 4.18. ... ... ... үлгіні танудағы көрінісі ... ... 35 ... ... әріп ... түседі. Шығыс векторы 26 элементке сай келеді, тек соның біреусі бірге сай ... ... ... желі 1 деп ... қату ... Бұдан басқа желі шуыл әсер еткен кезде де үлгіні тани алу ... Бұл ... шуыл - ... кедергі болып табылатын, математикалық күтімі бар кездейсоқ шама ретіндегі орташа квадраттық ауытқуы 0.2 - ке ... одан аз ... ие. ... ... ... ... есептеледі, бұл жерде қосындылау амалы болмайды. Жасырын қабат пен шығыс қабаттаға активация функциясы ретінде логистикалық функцияны таңдадық. Бұл активация ... ... ... оның жату ... ... ... ... және шығыс вектордың мәнін анықтауға көмектеседі.
рrprob функциясы кіріс векторының массивін анықтайды 35x26 өлшемділікпен.
[alphabet,targets] = ... ... size ... ... ... желі newff ... ... асады.
net=newff(PR,[S1,S2,...SN],{TF1,TF2,....TFN},btf,blf,pf);
Кіріс аргументтер:
PR- R кіріс векторы үшін арналған Rx2 ... және ... ... өлшемінің массиві.
Si- і қабатындағы нейрондар саны.
TFi- tansig бойынша і қабатындағы активация функциясы.
btf- бойынша кері ... ... ... ... үйретуші функция.
blf- learngdm бойынша кері таралу әдісін жүзеге асыратын жөндеуші функция.
pf- mse бойынша үйрету сапасының критерийі.
Кіріс ... ... ... желідегі network object-тың класс обьектісі.
[net,TR]= train ... ... - ... желінің аты;
P - кіріс массиві;
T - ... ... - ... ... бастапқы шарттар;
Pi, - кешіктіру қабаттарындағы бастапқы шарттар;
TR - ... ... ... пакетінде нейрондық желіні моделдьдеу sim командасы арқылы ... ... ... ... ]sm( net, ... нейрондық желінің көмегімен үлгілерді тану.
Үлгіні тану мақсатында зерттеу жұмыстары Matlab пен C++ ... ... ... ... ... 1-9 ... қарастырылды. Ол үшін Хопфилд нейрондық желісі алынды. Нейрондық желінің ... ... тани ... анықталды. Әдетте, үлгілерді фотошоп программасы арқылы енгізетінбіз,алайда зерттеу жұмысы барысында сандар есептеу программасы арқылы енгізілді. ... ... ... ... ... ұсынылған.
Сурет 4.19. Хопфилд нейрондық желісінің алгоритмі
Бірінші хопфилд нейрондық желісін үйретіп аламыз да, ... ... да бір ... ... ... кірісіне беріп, тексереміз. Төменде 1 мен 4 сандарының тану үлгісі көрсетілген
Сурет 4.20. Хопфилд нейрожелісінің көмегімен ... ... 4.21. ... нейрожелісінің көмегімен санын тануы
Желі үйренбейінше үйретуден жалықпайды. Сөйтіп, желі 1-9 ... ... ... үлгіні тануды үйренеді.
ҚОРЫТЫНДЫ
Жасанды нейрондық желіні ғылым мен техникада қолдану қазіргі кездегі өзекті мәселелердің бірі болып табылады. Мидың ... ... ... ... әрбір нейрон көптеген қасиетке ие, соның ішіндегі ерекше қасиеттерінің бірі сигналдарды қабылдау, өңдеу және сақтау ... ... ... ... ... ... болжау мәселелерінде, басқаруларда, сонымен қатар үлгілерді, иденфикацияны, обьектілердің классификациясын, адам даусын анықтауда қолданылады.
Дипломдық жұмыста, Matlab ... ... ... ... желінің блок схемасы құрылды. Сонымен қатар, көпқабатты әр түрлі активация функциялары қарастырылып, салыстырылды. Соның ішінде tansig пен logsig ... ... ... ... ... үшін ... болып есептелді. Осы тұрғыда, Хопфилд нейрожелісін қолдана отырып, санды тануға үйреттік және екі ... ... желі ... ... ... ... ... Осы үлгілерді тану кезінде логистикалық активация функциясы қолданылды. Зерттеу жұмысының жүргізілу нәтижесінде көпқабатты ... желі ... ... ... ... ... келдік.
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ.
* Круглов В.В.,Борисов.В.В., Искусственные нейронные сети. Теория и практика - 1- e - ... ... ... . ... ... Е.В., ... О.Г.,Искусственные нейронные сети: архитектуры,обучение, применение. - М.: Харьков: Телетех, 2004.- 11-16c.
* Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев.С.А., Генетические ... ИНС и ... ... ... Основа, 1997.- 29с.
* The plasticity of multilayer neural networks,Dorogov A.M .,Alekseev A.A .,
Saint Petersburg State Electrotechnical ... ... of the ... ... 1998. №4 s.36-41.
* Wili - Hans Steeb.,Yorick Hardy.,Ruedy Stoop., "The ... ... World ... Publishing, 2005, - p 339.
* И.В Заенцев,Нейронные сети:основные модели сети, для студентов 5 ... ... ... 1999.- 36с.
* Jayanta Kumar ... ... Tay hoon Kim, Use of Artificial Neural Network in Pattern Recognition, Vol.4,No.2, April 2010.
* ... С. ... ... курс = Neural Networks:A Comprehensive Foundation. 2-у изд.- М.: ... 219 - ... ... ... ... сети Matlab6 - ... - ... 2002, 69с.
* Oganezov A. "Neuro-matrix object recognition model", "Bulletin of the Georgian National Academy of ... ... ... М. ... ...
* ... В.В., ... решение задачи формирования понятий и распознавания образов, сборник докладов, т.61, №1, Тбилиси, 1971 год.
* Чоговадзе Р.А. Синтез нейронных ... для ... ... ... ... ... ... университета, №4 (454), Тбилиси, 2004.
* www.neuroproject.ru
* Жексебай Д.М., Мәтқасым Н.Н., Медетхан А.Е., . Студенттер мен жас ғалымдардың атты ... ... ... ... 13 - 16 ... 2015 ж. ... 1
QtCreator ортасында санды тану программасы:
// hopfield.cpp
#include
using namespace ... ... the weight matrix W with the ... ... W,int* x0,int* x1,int* x2,int ... j=0;i

Пән: Автоматтандыру, Техника
Жұмыс түрі: Дипломдық жұмыс
Көлемі: 54 бет
Бұл жұмыстың бағасы: 1 300 теңге









Ұқсас жұмыстар
Тақырыб Бет саны
Нейрожүйе9 бет
1. қ.р. және тағам өнімдерінің ғылыми мекемелері 2. тағам өнімдерін модельдеудің математикалық әдістерін қолдану5 бет
12 қабатты тұрғын үй құрылысы54 бет
12-қабатты және екі қабатты авто паркингті тұрғын үй комплексі47 бет
3d max, Объектілерді модельдеу20 бет
3D studio MAX көмегімен объектілерді модельдеу21 бет
4 қабатты 20 патерлі тұрғын үй19 бет
MATLAB бағдарламасы.Simulink пакеті. Ляпунов функциясына жалпы анықтама.13 бет
Matlab жүйесі22 бет
Matlab жүйесі. Үш өлшемді графика10 бет


Исходниктер
Пәндер
Көмек / Помощь
Арайлым
Біз міндетті түрде жауап береміз!
Мы обязательно ответим!
Жіберу / Отправить


Зарабатывайте вместе с нами

Рахмет!
Хабарлама жіберілді. / Сообщение отправлено.

Сіз үшін аптасына 5 күн жұмыс істейміз.
Жұмыс уақыты 09:00 - 18:00

Мы работаем для Вас 5 дней в неделю.
Время работы 09:00 - 18:00

Email: info@stud.kz

Phone: 777 614 50 20
Жабу / Закрыть

Көмек / Помощь