Үш қабатты нейрондық торды c++ және matlab орталарында модельдеу
КІРІСПЕ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .5
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ ... .6
1.1 Биологиялық нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 6
1.2 Жасанды нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 7
2 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІНІ ҚҰРУ ... ... ... ... ... ... ... ... ... ... ... ... ... ..12
2.1 Жасанды нейрондық желілердің архитектурасы ... ... ... ... ... ... ... ... ... ... ... .12
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалары мен ережелері ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 14
2.3 Радиалды базистік желілер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .25
2.4 Үлгіні тануға арналған Хопфилд нейрондық желісі ... ... ... ... ... ... ... ... ... ... 27
3 ЭКСПЕРИМЕНТАЛДЫ ҚҰРЫЛҒЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 31
3.1Есептеу жұмыстары жүргізілетін Qt Creater мен Matlab есептеу програмасы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .31
4 ТӘЖІРИБЕЛІК НӘТИЖЕСІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 33
ҚОРЫТЫНДЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...46
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...47
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ ... .6
1.1 Биологиялық нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 6
1.2 Жасанды нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 7
2 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІНІ ҚҰРУ ... ... ... ... ... ... ... ... ... ... ... ... ... ..12
2.1 Жасанды нейрондық желілердің архитектурасы ... ... ... ... ... ... ... ... ... ... ... .12
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалары мен ережелері ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 14
2.3 Радиалды базистік желілер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .25
2.4 Үлгіні тануға арналған Хопфилд нейрондық желісі ... ... ... ... ... ... ... ... ... ... 27
3 ЭКСПЕРИМЕНТАЛДЫ ҚҰРЫЛҒЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 31
3.1Есептеу жұмыстары жүргізілетін Qt Creater мен Matlab есептеу програмасы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .31
4 ТӘЖІРИБЕЛІК НӘТИЖЕСІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 33
ҚОРЫТЫНДЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...46
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...47
Ақпараттық – коммуникациялық жүйелердің әркелкілігі, қиындықтардың өсуінің үйлесімсіздігі ақпараттық қауіпсіздікті қамтамасыз етуге бағытталған басқа технологияларды, әдістерді, механизмдерді қарастыруды қажет етеді. Сондай бағыттардың бірі – нейрондық желілерді зерттеу. Жасанды нейрондық желілердің теориясы жасанды интеллект саласынан шыққан.
Мидың негізін құратын нейрон желісі ақпаратты өңдейтін, жоғары эффективті паралельді, комплексті жүйеге ие. Ол нейрондарды үлгілерді тануға, қиын мәселелерді шешетіндей етіп, жөндей алады. Адам миы кез-келген есептеуіш машиналардан да тез жұмыс істейді және осы факт, ғалымдардың арасында жасанды нейрондық торды ойлап табуына алып келді.
Жасанды нейрондық желі паралельді жұмыс жасайтын көптеген қарапайым элементтерден тұрады. Табиғаттағыдай, нейрондық желі қандай да бір дәрежеде элементтер арасындағы байланысқа ие. Нейрондық желіні нақты функцияны үйретуге қолданады
Жасанды нейрондық желіні ғылым мен техникада қолдану қазіргі кездегі өзекті мәселелердің бірі болып табылады. Мидың коммуникациялық жүйесі болып табылатын әрбір нейрон көптеген қасиетке ие, соның ішіндегі ерекше қасиеттерінің бірі сигналдарды қабылдау, өңдеу және сақтау болып табылады. Нейрондық желілер үлгіні тану, болжау мәселелерінде, басқаруларда, сонымен қатар үлгілерді, иденфикацияны, обьектілердің классификациясын, адам даусын анықтауда қолданылады. Оның себебі, дәстүрлі әдістер көмектесе алмайтын, нейрондық желі кең аумақты әр түрлі ақпараттармен жұмыс жасайды. Жасанды нейрондық желілер биологиялық нейрондық желінің прототипі болғандықтан, ойлау процесін зерттей алады. Жалпы, нейрондық желілердегі ерекше қасиеттердің бірі болып ол – үйрету механизмін қолдану. Нейрондық желіні қолданушы кіріс деректерін енгізеді, содан соң үйрету алгоритмі енгізіледі. Ол автоматты түрде желінің параметрлерін жөндейді. Қазіргі таңда, нейрондық желілер компьютер шеше алмайтын мәселерді шешумен айнлысып жүр.
Зерттеу жұмысының актуалдылығы болып көпқабатты нейрондық желілердің блок – схемасын құру және көпқабатты нейрондық желіні қолдана отырып, үлгіні тану. Сонымен қатар үлгіні тану үшін Хопфилд нейрондық желісін құру.
Дипломдық жұмыста, нейрондық желілердің құрылуының теориялық негіздері, көпқабатты перцептрон, нейрондық желілердің архитектурасы, және нейрондық желілермен байланысқан барлық мәселелер қарастырылған.
Дипломдық жұмыстың мақсаты – Matlab программалау ортасында көпқабатты нейрондық желілердің схемасын Simulink – қосалқы программасында құру. Көпқабатты нейрондық тор моделін құруда активация функцияларын қойып есептеу жұмыстарын жүргізу, алып салыстыру. Осы тұрғыда көпқабатты нейрондық желілер мен Хопфилдтің нейрондық желісін пайдалана отырып, үлгіні тану мәселелерін шешу ұсынылып отыр.
Мидың негізін құратын нейрон желісі ақпаратты өңдейтін, жоғары эффективті паралельді, комплексті жүйеге ие. Ол нейрондарды үлгілерді тануға, қиын мәселелерді шешетіндей етіп, жөндей алады. Адам миы кез-келген есептеуіш машиналардан да тез жұмыс істейді және осы факт, ғалымдардың арасында жасанды нейрондық торды ойлап табуына алып келді.
Жасанды нейрондық желі паралельді жұмыс жасайтын көптеген қарапайым элементтерден тұрады. Табиғаттағыдай, нейрондық желі қандай да бір дәрежеде элементтер арасындағы байланысқа ие. Нейрондық желіні нақты функцияны үйретуге қолданады
Жасанды нейрондық желіні ғылым мен техникада қолдану қазіргі кездегі өзекті мәселелердің бірі болып табылады. Мидың коммуникациялық жүйесі болып табылатын әрбір нейрон көптеген қасиетке ие, соның ішіндегі ерекше қасиеттерінің бірі сигналдарды қабылдау, өңдеу және сақтау болып табылады. Нейрондық желілер үлгіні тану, болжау мәселелерінде, басқаруларда, сонымен қатар үлгілерді, иденфикацияны, обьектілердің классификациясын, адам даусын анықтауда қолданылады. Оның себебі, дәстүрлі әдістер көмектесе алмайтын, нейрондық желі кең аумақты әр түрлі ақпараттармен жұмыс жасайды. Жасанды нейрондық желілер биологиялық нейрондық желінің прототипі болғандықтан, ойлау процесін зерттей алады. Жалпы, нейрондық желілердегі ерекше қасиеттердің бірі болып ол – үйрету механизмін қолдану. Нейрондық желіні қолданушы кіріс деректерін енгізеді, содан соң үйрету алгоритмі енгізіледі. Ол автоматты түрде желінің параметрлерін жөндейді. Қазіргі таңда, нейрондық желілер компьютер шеше алмайтын мәселерді шешумен айнлысып жүр.
Зерттеу жұмысының актуалдылығы болып көпқабатты нейрондық желілердің блок – схемасын құру және көпқабатты нейрондық желіні қолдана отырып, үлгіні тану. Сонымен қатар үлгіні тану үшін Хопфилд нейрондық желісін құру.
Дипломдық жұмыста, нейрондық желілердің құрылуының теориялық негіздері, көпқабатты перцептрон, нейрондық желілердің архитектурасы, және нейрондық желілермен байланысқан барлық мәселелер қарастырылған.
Дипломдық жұмыстың мақсаты – Matlab программалау ортасында көпқабатты нейрондық желілердің схемасын Simulink – қосалқы программасында құру. Көпқабатты нейрондық тор моделін құруда активация функцияларын қойып есептеу жұмыстарын жүргізу, алып салыстыру. Осы тұрғыда көпқабатты нейрондық желілер мен Хопфилдтің нейрондық желісін пайдалана отырып, үлгіні тану мәселелерін шешу ұсынылып отыр.
1. Круглов В.В.,Борисов.В.В., Искусственные нейронные сети. Теория и практика - 1- e – M.:Горячая линия.- Телеком,2002 . -11c.
2. Бодянский Е.В., Руденко О.Г.,Искусственные нейронные сети: архитектуры,обучение, применение. –М.: Харьков: Телетех, 2004.- 11-16c.
3. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев.С.А., Генетические алгоритмы ИНС и проблемы виртуальной реальности, Основа, 1997.- 29с.
4. The plasticity of multilayer neural networks,Dorogov A.M .,Alekseev A.A .,
Saint Petersburg State Electrotechnical University (SPGETU),Proceedings of the universities. "Instrument"t.41, 1998. №4 s.36-41.
5. Wili –Hans Steeb.,Yorick Hardy.,Ruedy Stoop., “The Nonlinear workbook”, World Scientific Publishing, 2005, - p 339.
6. И.В Заенцев,Нейронные сети:основные модели сети, для студентов 5 курса магистратуры, Воронеж, 1999.- 36с.
7. Jayanta Kumar Basu,Debnath Bhattachryya. Tay hoon Kim, Use of Artificial Neural Network in Pattern Recognition, Vol.4,No.2, April 2010.
8. Хайкин С. Нейронные сети:полный курс = Neural Networks:A Comprehensive Foundation. 2-у изд.- М.: Вильямс,2006.- 219 – 232c.
9. Медведев В.С.,Потемкин В.Г.,Нейронные сети Matlab6 – М.:Диалог – МИФИ; 2002, 69с.
10. Oganezov A. “Neuro-matrix object recognition model”, “Bulletin of the Georgian National Academy of Sciences”, 2006.
11. Салахутдинов М. Исследовательская работа «Моделирование нейронных сетей. Подсистема визуализации и отчетов»
12. Чавчанидзе В.В., Аналитическое решение задачи формирования понятий и распознавания образов, сборник докладов, т.61, №1, Тбилиси, 1971 год.
13. Чоговадзе Р.А. Синтез нейронных сетей для процессов распознавания образов. Труды грузинского технического университета, №4 (454), Тбилиси, 2004.
14. www.neuroproject.ru
15. Жексебай Д.М., Мәтқасым Н.Н., Медетхан А.Е., «Хопфилд нейрондық торының көмегімен үлгілерді тану». Студенттер мен жас ғалымдардың «ФАРАБИ ӘЛЕМІ» атты халықаралық ғылыми конференциясы, Алматы, 13 – 16 сәуір, 2015 ж. 444бет.
2. Бодянский Е.В., Руденко О.Г.,Искусственные нейронные сети: архитектуры,обучение, применение. –М.: Харьков: Телетех, 2004.- 11-16c.
3. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев.С.А., Генетические алгоритмы ИНС и проблемы виртуальной реальности, Основа, 1997.- 29с.
4. The plasticity of multilayer neural networks,Dorogov A.M .,Alekseev A.A .,
Saint Petersburg State Electrotechnical University (SPGETU),Proceedings of the universities. "Instrument"t.41, 1998. №4 s.36-41.
5. Wili –Hans Steeb.,Yorick Hardy.,Ruedy Stoop., “The Nonlinear workbook”, World Scientific Publishing, 2005, - p 339.
6. И.В Заенцев,Нейронные сети:основные модели сети, для студентов 5 курса магистратуры, Воронеж, 1999.- 36с.
7. Jayanta Kumar Basu,Debnath Bhattachryya. Tay hoon Kim, Use of Artificial Neural Network in Pattern Recognition, Vol.4,No.2, April 2010.
8. Хайкин С. Нейронные сети:полный курс = Neural Networks:A Comprehensive Foundation. 2-у изд.- М.: Вильямс,2006.- 219 – 232c.
9. Медведев В.С.,Потемкин В.Г.,Нейронные сети Matlab6 – М.:Диалог – МИФИ; 2002, 69с.
10. Oganezov A. “Neuro-matrix object recognition model”, “Bulletin of the Georgian National Academy of Sciences”, 2006.
11. Салахутдинов М. Исследовательская работа «Моделирование нейронных сетей. Подсистема визуализации и отчетов»
12. Чавчанидзе В.В., Аналитическое решение задачи формирования понятий и распознавания образов, сборник докладов, т.61, №1, Тбилиси, 1971 год.
13. Чоговадзе Р.А. Синтез нейронных сетей для процессов распознавания образов. Труды грузинского технического университета, №4 (454), Тбилиси, 2004.
14. www.neuroproject.ru
15. Жексебай Д.М., Мәтқасым Н.Н., Медетхан А.Е., «Хопфилд нейрондық торының көмегімен үлгілерді тану». Студенттер мен жас ғалымдардың «ФАРАБИ ӘЛЕМІ» атты халықаралық ғылыми конференциясы, Алматы, 13 – 16 сәуір, 2015 ж. 444бет.
Пән: Автоматтандыру, Техника
Жұмыс түрі: Дипломдық жұмыс
Тегін: Антиплагиат
Көлемі: 55 бет
Таңдаулыға:
Жұмыс түрі: Дипломдық жұмыс
Тегін: Антиплагиат
Көлемі: 55 бет
Таңдаулыға:
Қaзaқcтaн Pecпубликacының білім жәнe ғылым миниcтpлігі
әл-Фapaби aтындaғы Қaзaқ ұлттық унивepcитeті
Физикa-тeхникaлық фaкультeті
Қaтты дeнe физикacы жәнe бeйcызық физикa кaфeдpacы
Қopғaуғa жібepілді
__________________ҚДФжБФ кaфeдpa мeңгepушіcі Пpихoдькo O.Ю.
ДИПЛOМДЫҚ ЖҰМЫC
Тaқыpыбы: ҮШ ҚАБАТТЫ НЕЙРОНДЫҚ ТОРДЫ C++ ЖӘНЕ MATLAB ОРТАЛАРЫНДА МОДЕЛЬДЕУ
5B071900 Радиотехника, электроника және телекоммуникациялар мaмaндығы бoйыншa
Opындaғaн
Медетхан А.Е.
Диплом жетекші
Бурисова Д.Ж.
Нopмa бaқылaушы
Исимова А
Aлмaты 2015
РЕФЕРАТ
Анықтамалар
Нейрон - құрамында бірнеше кірісі және бір-ақ ғана шығысы бар құрылғы. нейрон клетка денесі және өсімшеден тұрады. Оларды басқаша айтқанда, дендрит пен аксон деп те атайды. Нейронда дендриттер көп, және олар көп таралған, оның көмегімен нейрондар импульстарды көрші клеткалардан жинайды. Ал аксон біреу,ол арқылы нейроннан сигнал өтіп көрші клеткаларға барады
Нейрондық желі - физиологиялық функция атқаратын,жүйке жүйесінде нейрондардың жинақталуы. Нейрондық желі бір-бірімен химиялық және функцианалды байланысқан нейрондық топтар жиынтығынан тұрады. Жасанды нейрондық желі - нейрондық желінің математикалық моделін жасанды нейрондық желі деп атайды.Құрылымды түрде паралельді бөлінетін процессор болып табылады. Ол адам миымен екі аспектіде бірдей:білім және үйрету процесі негізінде жүзеге асады. Оқытылған білімнің сақталуы үшін нейрондық байланыстардың күштері синаптикалық салмақтар қолданады.
Көпқабатты нейрондық тор - көптеген сенсорлық элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші нейрон қабаттарынан және бір шығыс қабатты нейроннан тұрады. Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады.
Үшқабатты нейрондық желі - кіріс қабаттан, жасырын және шығыс қабаттан тұрады. Кіріс нейрон кіріс мәліметтерді енгізу үшін арналған. Осы қабаттағы нейрондар келесі қабаттағы жасырын қабаттағы элементтермен тығыз байланысқан. Жасырын қабаттағы элементтер шығыс қабаттағы элементтермен тығыз байланысқан.
Перцептрон - бір ғана қабаттан тұратын желі.
Синапс - екі нейрон арасындағы байланыс.
Активация функциясы - нейронның шығысындағы сигналды есептейтін функция болып табылады.
Аксон - жүйке жүйесінің өсімшесі болып табылатын, басқа жүйке жасушаларына импуль таратады. Нейронда аксон біреу ғана.
Дендрит - аксонның химиялық синапсы арқылы ақпарат алатын нейронның таралған өсімшесі
Сигнал - берілген хабарды алып жүретін физикалық процесс.
Тура таралатын желі - нейрондық желідегі ақпаратты тура таратады.
Реккурентті желі - кері байланысы бар нейрондық желілерді айтады.
Үлгіні тану - жүйелерді құрумен байланысы бар, белгілі бір обьектінің қандай да бір классқа анықтау үшін арналған ғылымның бағыты болып табылады. Обьектілердің класстары алдын - ала белгілі болады немесе тапсырманы шешкен кезде анықталады.Үлгіні танудағы үлгі деп отырғанымыз - әр түрлі заттар, құбылыстар, процесстер, сигналдар және т.б.
МАЗМҰНЫ
КІРІСПЕ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...5
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ ... .6
1.1 Биологиялық нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..6
1.2 Жасанды нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..7
2 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІНІ ҚҰРУ ... ... ... ... ... ... ... ... ... ... ... ... ... ...12
2.1 Жасанды нейрондық желілердің архитектурасы ... ... ... ... ... .. ... ... ... ... ... ...12
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалары мен ережелері ... ... ... ... ... ... .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 14
2.3 Радиалды базистік желілер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..25
2.4 Үлгіні тануға арналған Хопфилд нейрондық желісі ... ... ... ... ... ... ... . ... ... ...27
3 ЭКСПЕРИМЕНТАЛДЫ ҚҰРЫЛҒЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .31
3.1Есептеу жұмыстары жүргізілетін Qt Creater мен Matlab есептеу програмасы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .31
4 ТӘЖІРИБЕЛІК НӘТИЖЕСІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..33
ҚОРЫТЫНДЫ ... ... ... ... ... ... . ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 46
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 47
Кіріспе
Ақпараттық - коммуникациялық жүйелердің әркелкілігі, қиындықтардың өсуінің үйлесімсіздігі ақпараттық қауіпсіздікті қамтамасыз етуге бағытталған басқа технологияларды, әдістерді, механизмдерді қарастыруды қажет етеді. Сондай бағыттардың бірі - нейрондық желілерді зерттеу. Жасанды нейрондық желілердің теориясы жасанды интеллект саласынан шыққан.
Мидың негізін құратын нейрон желісі ақпаратты өңдейтін, жоғары эффективті паралельді, комплексті жүйеге ие. Ол нейрондарды үлгілерді тануға, қиын мәселелерді шешетіндей етіп, жөндей алады. Адам миы кез-келген есептеуіш машиналардан да тез жұмыс істейді және осы факт, ғалымдардың арасында жасанды нейрондық торды ойлап табуына алып келді.
Жасанды нейрондық желі паралельді жұмыс жасайтын көптеген қарапайым элементтерден тұрады. Табиғаттағыдай, нейрондық желі қандай да бір дәрежеде элементтер арасындағы байланысқа ие. Нейрондық желіні нақты функцияны үйретуге қолданады
Жасанды нейрондық желіні ғылым мен техникада қолдану қазіргі кездегі өзекті мәселелердің бірі болып табылады. Мидың коммуникациялық жүйесі болып табылатын әрбір нейрон көптеген қасиетке ие, соның ішіндегі ерекше қасиеттерінің бірі сигналдарды қабылдау, өңдеу және сақтау болып табылады. Нейрондық желілер үлгіні тану, болжау мәселелерінде, басқаруларда, сонымен қатар үлгілерді, иденфикацияны, обьектілердің классификациясын, адам даусын анықтауда қолданылады. Оның себебі, дәстүрлі әдістер көмектесе алмайтын, нейрондық желі кең аумақты әр түрлі ақпараттармен жұмыс жасайды. Жасанды нейрондық желілер биологиялық нейрондық желінің прототипі болғандықтан, ойлау процесін зерттей алады. Жалпы, нейрондық желілердегі ерекше қасиеттердің бірі болып ол - үйрету механизмін қолдану. Нейрондық желіні қолданушы кіріс деректерін енгізеді, содан соң үйрету алгоритмі енгізіледі. Ол автоматты түрде желінің параметрлерін жөндейді. Қазіргі таңда, нейрондық желілер компьютер шеше алмайтын мәселерді шешумен айнлысып жүр.
Зерттеу жұмысының актуалдылығы болып көпқабатты нейрондық желілердің блок - схемасын құру және көпқабатты нейрондық желіні қолдана отырып, үлгіні тану. Сонымен қатар үлгіні тану үшін Хопфилд нейрондық желісін құру.
Дипломдық жұмыста, нейрондық желілердің құрылуының теориялық негіздері, көпқабатты перцептрон, нейрондық желілердің архитектурасы, және нейрондық желілермен байланысқан барлық мәселелер қарастырылған.
Дипломдық жұмыстың мақсаты - Matlab программалау ортасында көпқабатты нейрондық желілердің схемасын Simulink - қосалқы программасында құру. Көпқабатты нейрондық тор моделін құруда активация функцияларын қойып есептеу жұмыстарын жүргізу, алып салыстыру. Осы тұрғыда көпқабатты нейрондық желілер мен Хопфилдтің нейрондық желісін пайдалана отырып, үлгіні тану мәселелерін шешу ұсынылып отыр.
1. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ
1.1Биологиялық нейрондық желі
Нейрон дегеніміз - құрамында бірнеше кірісі және бір-ақ ғана шығысы бар желі. Нейрон екі режимде жұмыс істейді: біріншісі үйрету режимі және екіншісі қолдану режимі. Адам миында орташа статистикалық мөлшермен алғанда жиырма миллиард нейрон бар. Бізге белгілі болғандай, нейрон - тор денесі және өсімшеден тұрады. Нейрон - жүйке жүйесінің негізгі функционалды және құрылымдық элементі болып келеді (1.1 сурет). Оларды басқаша айтқанда, дендрит пен аксон деп те атайды. Нейронда дендриттер көп, және олар көп таралған, оның көмегімен нейрондар импульстарды көрші торлардан жинайды. Ал аксон біреу, ол арқылы нейроннан сигнал өтіп көрші торларға барады. Ал нейрондық торларда нейрондар бір-бірімен байланысқан, сол арқылы ақпарат таралады. Нейрондардың атқаратын қызметі ақпаратты сақтау және өңдеу, сонымен қатыр өсімшелерді қоректендіріп отыру. Негізінен, орталық жүйке жүйесінде жасушалар бір - бірімен синапс ретінде байланысқан. Синапс - екі нейрон арасындағы байланысқан түйіскен жер. Жалпы кәдімгі нейронның жұмысының негізіне химиялық процесстер кіреді [1].
Cурет 1.1. Биологиялық нейронның моделі
Нейронның беткі жағы таралған өсімшемен жабылған - дендриттермен. Дентриттерге басқа нейрондардың аксонның аяқ жағы жалғасады. Олардың қосылған жерін синапс деп атайды. Синапстық байланыстың арқасында нейрон келіп түскен сигналға жауап қайтара алады және қандай да бір жағдайда өзінің импульсін генерациялай алады.
1.2 Жасанды нейрондық желі
Жасанды нейрон - биологиялық нейронға ұқсас болып келетін, жасанды нейрондық тордың бірлігі болып табылады (сурет 1.2). Математикалық тұрғыдан қарасақ, жасанды нейрон анықталу облысында шексіз болатын, бейсызық функция ретінде келетін, жалпы жағдайда кіріс сигналдарының сумматоры түрінде қарастырылады. Әдетте, бұл функция монотонды түрде өседі. Алынған нәтиже шығысына (біреу) жіберіледі. Жасанды нейрондар қандай да бір жолмен қосылып, жасанды нейрондық торды құрады. Әрбір нейрон мидың жүйке торына ұқсас болғандықтан, олардың қазіргі күйі дәл солай сипатталады. Не олар тоқтап калады, не олар қозады. Нейрон синапстық топқа ие - басқа нейронның шығысымен жалғанған кіріс байланыстар, мен шығыс байланысқа ие, бұл арқылы басқа нейронның синапсына сигнал келіп түседі. Әрбір синапс синаптикалық байланыспен немесе салмағымен w сипатталады. Бұл биологиялық нейронның эквивалентті өткізгіштігін көрсетеді [2]. Нейронның қазіргі күйі кірістерінің өлшенілген қосындысы былай анықталады.
Cурет 1.2. Жасанды нейрон моделі
(1.1)
бұл жерде, w0 - нейронның жылжуының коэфициенті (кірістерінің бірлік салмағы). Нейронның шығысы қазіргі күйінің функциясы осылайша анықталады:
(1.2)
бұл жерде, ƒ - бейсызық функциясы активациялық функция (сурет 1.3.) деп аталады. Активация функциясының бірнеше түрі белгілі. Ең көп тараған бейсызық функция ол - қандырылған функция, басқаша айтқанда, логистикалық функция немесе сигмоид (S тәріздес функция) болып табылады.
(1.3)
бұл жерде, α - азайған кезде сигмоид еңістеу болып келеді, α=0 кезде 0.5 деңгейінде горизантальды сызыққа шығады. α - ны көбейткен кезде бірлік секірмелі функцияға ұқсас болып келеді. Сигмоид үшін нейронның шығыс мәні [0,1] диапазонында жатады. Сигмоидты функция осьтің абциссасында дифференциалдана алады. Бұл функция үйрету алгоритмдерінде қолданылады. Бұдан басқа, әлсіз сигналдарды күшейте алады, үлкен сигналдардың қанығуын алдын алады.
Сурет 1.3. Aктивация функцияларының түрлері
а) бірлік секірмелі функция; б) сызықты табалдырық (гистерезис);
в) сигмоид - гиперболалық тангенс; г) сигмоидты функция
----------------------------------- ----------------------------------- ----------
Маккалох пен Питтс жасанды нейрон ретінде бинарлы элементі ұсынды. Бұл формалды нейрон n өлшенілген xi кіріс сигналдарды есептеп, шығысында бірлік сигнал шығаратын болған. Ары қарай бұл модель толығымен зерттеліп, қазіргі таңда Маккалох пен Питтстің өлшенілген кіріс сигналдары бар бейсызық түрлендіргіш нейроны (сурет 1.4) деп аталады.
(1.4)
Cурет 1.4. Маккалох - Питтстің моделі
Төменде нейронның моделі сипатталатын блок схема көрсетілген. Бұл модельде 3 негізгі элементі бар: синапс пен байланыс жинағы салмағымен сипатталатын кіріс сигналдарға көбейтіледі. Сумматор - нейронның синапсына сәйкес өлшенілген кіріс сигналдарды қосады. Активация функциясы - суммарлық сигналдың өлшенілген, сығылған көрінісі. Сондықтан шығыс сигнал шектеулі диапазонға ие, әдетте [0.1] және [-1.1] жатады [2].
Сурет 1.5. Нейрон моделі сипатталған қарапайым моделі
Математикалық тұрғыда k - шы нейронның функциялануы былай жазылады:
(1.5)
(1.6)
бұл жерде, x1, x2, ... , xm кіріс сигналдар; wk1 , wk2 ,... , wkm k - шы нейронның синаптикалық салмағы; vk - bk табалдырық элементінің және сыртқы әсерлердің сызықтық комбинациясы; ƒ - активация функциясы; yk - нейронның шығыс сигналы. Табалдырықты басқаша енгізсе болады, кіріс векторына тағы бір кіріс сигналын қосу x0 арқылы, oнда табалдырыққа wk0 жауап береді. Осының блок-схемасы төменде көрсетілген (1.6.cурет ):
Сурет 1.6. Кіріс векторына тағы бір сигнал қосылғандағы блок- схема
Бұл жағдайда активация функциясының аргументі былай анықталады:
(1.7)
Төменде активация функцияларының формулалары көрсетілген.
1.Бірлік секірмелі функция (Хэвисайд функциясы):
(1.8)
Бұл модельді әдебиеттерде Мак каллок пен Питтстің моделі деп атайды
2.Бөлшекті сызықты функция:
(1.9)
Күшейту коэфициенті 1-ге тең бейсызық күшейткіштің жуықталуы деп қарастырсақ болады.
3.Сигмоидты функция. Бұның графигі S тәріздес әріпге ұқсайды. Жасанды нейрондық торда кең таралған функциялардың бірі. Бұндай функцияның мысалы ретінде логистикалық функцияны айтуға болады.
(1.10)
бұл жерде, - сигмоидалды функцияның илуінің параметрі. Бұл функция мынандай мәнге ие [0,1]. Кейде активация функциясы мына аралықта [1,1] жатқанын талап етіледі.Онда бұл жағдайда гиперболалық тангенс активация функциясы қолданылады.
(1.11)
Қарастырылған модель детерминистік болып келеді. Кейбір кезде стохасты нейрожелілік модель деп те атайды. Онда нейронның ауысуы ықтималдықты ескере отырып шешеді.
(1.12)
Ықтималдық P(ν) сигмойдалды функциямен сипатталады.
(1.13)
бұл жерде, Т - температураға ұқсас, синаптикалық шуылдың деңгейін сипаттайды.
1. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІ ҚҰРУ
2.1. Жасанды нейрондық желілердің архитектурасы
Нейрондық желі - физиологиялық функция атқаратын, жүйке жүйесінде нейрондардың жинақталуы. Нейрондық желі бір - бірімен химиялық және функцианалды байланысқан нейрондық топтар жиынтығынан тұрады. Нейрондық желі туралы түсінік нейрондық желінің жасанды интеллект туралы түсінік тудырып, математикалық моделін жасауға талпындырды. Нейрондық желінің математикалық моделін жасанды нейрондық желі деп атайды .
Жасанды нейрондық желі - құрылымды түрде паралельді бөлінетін процессор болып табылады. Ол адам миымен екі аспектіде бірдей: білім және үйрету процесі негізінде жүзеге асады. Оқытылған білімнің сақталуы үшін нейрондық байланыстардың күштері синаптикалық салмақтар қолданылады. Жалпы нейрондық тор термині ХХ ғасырда пайда бола бастады. Ең бірінші бұл бағыт бойынша жасалған жұмыс Мак-Каллок пен Питтспен байланысты. 1943 жылы математикалық алгоритм негізіндегі нейрондық тордың компьютерлік моделі жобаланды. Олардың болжауынша, нейрондық торды екілік сандарды қолданатын құрылғы деп айтты. Бұл модельді табалдырықтық логика деп атады. Синаптикалық өткізгіштігін сипаттайтын Мак - каллок пен Питтстың нейрондары биологиялық нейронның прототипі болғаннан кейін, нейрондары параметрлерін жөндеу арқылы үйретуге қабілетті.1949 жылы канадтық физиолог және психолог Хебб мидың нейрондарының байланысы жайлы сөз қозғады. Оның айтуынша, үйрету ең алдымен синаптикалық байланысқа байланысты деп айтты. Хеббтің теориясы өзін-өзі үйретуге негізделген, бұл жерде жүйе ешқандай көмексіз өзінің алдына қойылған тапсырманы орындау үшін тосын үйретілді.
1957 жылы Розенблантпен екі қабатты нейрондық тор негізінде ақпараттың миды қалай қабылдайтына байланысты нейрондық тордың математикалық және компьютерлік моделі ойлап табылды.Розенблант негізгі перцептронды ғана сипаттап қоймай, логикалық қосылуының схемасын да айтып кетті.1958 жылы адам ойлау қабілетінің процесстерін қайталай алатын электрондық құрылғылар ұсыныла бастады, екі жылдан соң ең бірінші әріптерді тани алатын машина ұсынылды. 1969 жылы Минский мен Пейперттің жұмыстарынан кейін нейрондық торға деген қызығушылық төмендеді.Себебі компьютерлер жоғары есептеушілік қабілетке жеткен кезде нейрондық торды зерттеу тоқтады. Нейронның арасында ақпаратты қабылдап, жіберу 1982 жылы Хопфилд желісі іске асырылды. 2006 жылы бақыланбайтын процедуралар ұсынылған бір немесе бірнеше қабаты бар нейрондық торды үйретудің терең алгоритмі ұсынылды.
Реккурентті желі
Нейрондық желілердің архитектурасы
Хопфилд желісі
Кохонен желісі
Жарыстыр-малы желі
Тура таралу желісі
Бірқабатты
Көпқабатты
Реккурентті желі
Нейрондық желілердің архитектурасы
Хопфилд желісі
Кохонен желісі
Жарыстыр-малы желі
Тура таралу желісі
Бірқабатты
Көпқабатты
Cурет 2.1. Нейрондық тор архитектурасы
Тура таралу желісі - сигнал тура бағытта ғана тарайды. Сигнал кірісіне кіріп, шығысынан тура бағытта шығады. Кері байланыс болмайды.
Реккурентті нейрондық желі тура таралу желісінен айырмашылғы бар,себебі кері байланысы бар. Мысалы, реккурентті желі бір қабаттан нейроннан тұруы мүмкін және желідегі әрбір шығыс сигнал басқа қабаттардағы нейронның кірісіне жібереді.
Сурет 2.2. Тура таралу және рекурентті желінің сызбасы
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалар мен үйрету ержелері
Көпқабатты желі көптеген сенсорлық элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші нейрон қабаттарынан және бір шығыс қабатты нейроннан тұрады. Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады. Мұндай желі көпқабатты перцептрон деп аталады [4]. Көпқабатты перцептрон әр түрлі қиын мәселелерді шешу үшін қолданылады. Бұл жердегі мұғаліммен үйретуі белгілі алгоритммен қателердің кері таралу алгоритмі арқылы іске асады. Мұндай алгоритм қателердің коррекциясына негізделген. Қателердің кері таралу әдісімен үйретуі желі бойынша екі кезеңнен тұрады: тура және кері. Тура өткізу кезінде (кіріс вектор) желінің синаптикалық түйініне беріледі, содан соң бір қабаттан екінші қабатқа таралады. Нәтижесінде шығыс сигналдар жиынтығы, генерацияланып, шығысында нәтижесін аламыз. Тура өту кезінде барлық синаптикалық салмақтар фиксацияланады. Ал кері өту кезінде қателер коррекция ережесіне сай барлық синаптикалық салмақтар жөндетіледі. Әсіресе желінің фактылық шығысы керекті жауаптан есептеледі, нәтижесінде қате сигналы пайда болады. Бұл сигнал синаптикалық байланыстардың кері таралуымен таралады. Осы жерден қателердің кері таралуының алгоритмі шығады. Статистикалық мағынада синаптикалық салмақтар бізге керекті шығыс сигналын алу үшін жөндетіледі. Әдебиеттерде қателердің кері таралу алгоритмін кейде кері таралу алгоритмі деп атайды. Көпқабатты перцептронды үйрету процесі осы алгоритм негізінде іске асады .
Жалпы көпқабатты перцептрондар үш айырым белгісіне ие:
1.Әрбір желінің нейроны бейсызық активация функциясына ие. Айтып кететін жағдай, бұл бейсызық функция тегіс болып келеді. Розенбланттын перцептрондарында қолданылатын табалдырық функцияға қарағанда барлық жерде дифференциалданады. Ең танымал функция түрі болып осы шартты қанағаттандыратын сигмоидалдық функция болып табылады. Ол логистикалық функциямен анықталады
(2.1)
мұндағы, - нейронның j индукцияланған локальді өріс (б.а барлық синаптикалық өлшенілген қосындысы және табалдырық мағынасы). - нейронның шығысы. Негізінде бейсызықтық - үлкен рөл атқарады, себебі, кері жағдайда желінің кіріс - шығыс бір қабатты перцептронға ұқсас болып кетеді. Биологиялық түрде дәлелденген логистикалық функцияның қолданылуы кәдімгі нейронның ішіндегі қалпына келу фазасына байланысты.
2. Желі бір немесе бірнеше қабаттан тұрады жасырын нейрондар, олар желінің кірісіне не шығысына жатпайды. Бұл нейрондар желіге қиын есептерді шешуге үйретеді, нәтижесінде желі кіріс үлгіден(вектордан) маңызды белгілерді өзіне алады.
3. Желі жоғары байланыс дәрежесіне ие, ол орташа синаптикалық байланыспен іске асады. Желінің байланысының деңгейінің өзгерісі салмақ коэфициентін және көптеген синаптикалық байланыстың өзгерісін талап етеді. Үйрету қасиеттерінің жиынтығы көпқабатты перцептронға есептеуіш күш береді. Алайда бұл қасиеттер заманауи білімнің жетіспеушілігінң кесірінен кемшілік болып та келеді. Біріншіден, бейсызық форма және жоғары жоғарғы желілердің байланысы теориялық түрде көпқабатты перцептрондардың анализіне кедергі болып табылады. Екіншіден, жасырын нейрон қабаттарының болуы үйрету процесін қиындатады. Әсіресе үйрету процесінде мына жағдайды ескеру керек, жасырын нейрондарға кіріс сигналдарының қасиеттерін білу шарт. Онда үйрету процесі одан әрі қиындай түседі себебі мүмкін функциясы бар кең аумақта іске асу керек, ал таңдау кіріс үлгілердің альтернативті ортада жасалуы керек [5].
Кері таралу ұғымы 1986 жылдан кейін белсенді түрде қолданыла бастады. Сол жылы ол атақты кітапта жарық көрді. Кері таралу алгоритмінің пайда болуы нейрондық желіде қолданылды. Төмендегі суретте екі жасырын қабатты және бір шығыс қабатты көпқабатты перцептронның архитектуралық графы көрсетілген. Бұл көпқабатты перцептронның сипаттамасына сай толық байланысқан болып келеді. Бұл дегеніміз кез - келген желінің қабатындағы нейрон алдыңғы қабаттаға нейрондармен (түйіндермен) байланысқан. сигнал тура бағытта ғана таралады, солдан оңға қарай, қабаттан қабатқа қарай .
Сурет 2.3. Екі жасырын қабаты бар көпқабатты перцептронның архитектуралық графы
Cурет 2.4. Көпқабатты перцептронның екі ең негізгі бағыты: функциолналды сигналдың тура таралуы, қате сигналының кері таралуы
2.4. суретте - көпқабатты перцептроннан бір үзінді көрсетілген. Мұндай типті желі үшін екі сигналдың түрі көрсетілген.
1.Функционалды сигнал. Желіге келіп түсетін бұл кіріс сигнал (ынталандырма) ары қарай желіде нейроннан нейронға қарай таралады. Бұл сигнал желінің соңына шығыс сигнал болып барады. Бұл сигналды функционалды деп атауымыздың екі себебі бар: біріншіден, желінің соңында қандай да бір функцияның қызметін атқарады, екіншіден, әрбір нейрон арқылы осы сигнал таралады жән осыдан салмақ коэфициенті бар қандай да бір функция.
2. Қате сигналы өзінің басын желінің шығысынан алады, және кері бағытта таралады (бір қабаттан екінші қабатқа). Ол өзінің атын қателік функциясы негізінде әрбір нейронмен саналатындығының арқасында алды.
Шығыс нейрондар желінің шығыс қабатын құрайды. Қалған нейрондар жасырын қабатқа жатады. Осылайша, жасырын түйіндер желінің не кірісі, не шығысы бола алмайды Сондықтан, бірінші жасырын қабат мәліметтерді кіріс қабаттан алады. Нәтижелі сигнал бірінші жасырын қабаттың өз кезегінде келесі жасырын қабатқа түседі, осылайша ол желінің аяғына дейін барады.
Кез-келген көпқабатты перцептронның жасырын немесе шығыс нейроны екі типті есептеуді орындай алады.
1. Нейронның шығысындағы функцияналды сигналдың есептелуі шексіз бейсызық функция түрінде берілген кіріс сигналдан және синаптикалық салмақтардың нейронымен байланысты.
2. Вектор градиентінің бағалануының есептелуі бізге кері жүріс үшін қажет.
Көптеген көпқабатты нейрондық желі негізінен үш қабаттан тұрады: кіріс қабаттан, жасырын және шығыс қабаттан тұрады. Кіріс нейрон кіріс мәліметтерді енгізу үшін арналған. Осы қабаттағы нейрондар келесі қабаттағы жасырын қабаттағы элементтермен тығыз байланысқан. Жасырын қабаттағы элементтер шығыс қабаттағы элементтермен тығыз байланысқан. Нейрондар арасындағы байланыстар ауыспалы салмаққа ие. Бұл деп отырғанымыз, бір нейронның активтілігі екінші нейронның активтілігін күшейте алады және байланыстың күштілігіне үшінші нейронды әлсірете алады. деген сөз. Байланыстың салмағын өзгерте отырып желіні үйретуге болады. Үш қабатты нейрондық желінің шығыс сигналы мынаған тең:
Сурет 2.5. Үш қабатты нейрондық желінің моделі
Үш қабатты нейрондық желінің шығыс сигналы былай анықталады:
(2.2)
бұл жерде, - нейронның активация функциясыi мен j арасындағы салмақ байланысы. Бұндай жасанды нейрондық желі кез - келген бөлшекті - жұмсақ функцияны модельдей алады [6].Теориялық түрде желі қабаттың саны көп бола береді. Бірақ ғалымдардың пайымдауынша, үшқабатты нейрондық желі (перцептрон) қиын мәселердеі шешуге, үлгіні анықтау, жуықтауда универсал апроксиматор болып табылады (сурет 2.5). Үшқабатты перцептронда нейрондар топтарға біріктіріледі: нөлдік, бірінші қабат, екінші қабат, үшінші қабат. Нөлдік қабаттың нейрондары ешқандай есептеулерге қатыспайды, тек ғана бірінші қабатқа кіріс сигналдардың Әдетте желі көптеген сенсорлық элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші нейрон қабаттарынан және бір шығыс қабатты нейроннан тұрады. Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады. Мұндай желі көпқабатты перцептрон деп аталады.
Көпқабатты перцептрон әр түрлі қиын мәселелерді шешу үшін қолданылады. Бұл жердегі мұғаліммен үйретуі белгілі алгоритммен қателердің кері таралу алгоритмі арқылы іске асады. Мұндай алгоритм қателердің коррекциясына негізделген.
Қателердің кері таралу әдісімен үйретуі желі бойынша екі кезеңнен тұрады: тура және кері. Тура өткізу кезінде (кіріс вектор) желінің синаптикалық түйініне беріледі, содан соң бір қабаттан екінші қабатқа таралады. Нәтижесінде шығыс сигналдар жиынтығы генерацияланып, шығысында нәтижесін аламыз. Тура өту кезінде барлық синаптикалық салмақтар фиксацияланады. Ал кері өту кезінде қателер коррекция ережесіне сай барлық синаптикалық салмағы жөндетіледі. Әсіресе желінің фактылық шығысы керекті жауаптан есептеледі, нәтижесінде қате сигналы пайда болады. Бұл сигнал синаптикалық байланыстардың кең таралуымен таралады. Осы жерден қателердің кері таралуының алгоритмі шықты. Статистикалық мағынада синаптикалық салмақтар бізге керекті шығыс сигналын алу үшін жөндетіледі. Әдебиеттерде қателердің кері таралу алгоритмін кейде кері таралу алгоритмі деп атайды. Бұл үйрету процесі осы алгоритм негізінде іске асады [7,8,9].
n итерация негізіндегі j шығыс нейронының қате сигналы мынандай қатынаспен анықталады:
(2.3)
j нейронының қатесінің энергиясының қазіргі күйін былай анықтаймыз.
Сәйкесінше, жалпы энергияның E(n) қазіргі күйін барлық шығыс қабаттың барлық нейрондарымен шамасын қосу арқылы есептелінеді. Бұл көрінетін нейрондар үшін есептелінетін қате сигналы осылайша анықталуы мүмкін.
(2.4)
мұндағы, С барлық шығыс қабаттағы нейрондардың көпмүшесі. Ал n - көп мүшенің қуаты. Орташаквадраттық қатенің энергиясы E(n) бұл жағдайда n сумма бойынша нормаланған болып келеді:
Сурет 2.6. Кейбір j нейронның төңірегіндегі сигналды жіберу графы
(2.5)
Қате E(n) энергиясының қазіргі күйі, демек қатенің орташа энергиясы барлық еркін параметрлердің функциясы болып келеді.
Енді (2.6. суретте) көрсетілгендей алдыңғы қабатта орналасқан нейрондардан келетін сигнал ағының j нейронға келіп түсуін қарастырайық. индукцияланған локальды өріс, бұл активация функциясының кірісінен алынған қазіргі нейронмен байланысы бар және ол мынаған тең.
(2.6)
бұл жерде, m- j нейронның жалпы кіріс саны. Синаптикалық салмақ wji (фиксацияланған кіріске сай келеді y0=+1) vj табалдырығына тең. j нейронының шығысындағы функцианалды сигнал yj(n) n итерациясы кезінде мынаған тең:
(2.7)
Тізбек ережесіне сәйкес градиент былай есептелінеді:
(2.8)
Екі жақты бойынша дифференциалдаймыз:
(2.9)
Екі жақты бойынша дифференциалдаймыз:
(2.10)
Екі жақты бойынша дифференциалдаймыз.
(2.11)
Оң жақтаға штрих аргумент бойынша дифференциалдануы болып табылады.
(2.7) - ні бойынша дифференциалдаймыз.Нәтижелерді орнына қойып, мынандай түсініктемеге келеміз.
(2.12)
коррекциясы ,қолданатын дельта ережесі бойынша анықталады.
(2.13)
бұл жерде, - кері таралу алгоритмінің үйрету жылдамдығының параметрі. Бұл жердегі "-" белгісі салмақ кеңістігіндегі градиенттік түсумен байланысты.
Керекті жерлерге формулаларды қойып, мынандай теңдеу аламыз.
(2.14)
Бұл жерде локальді градиент мынандай анықтамамен анықталады:
(2.15)
Локальді градиентті желі синаптикалық салмақтағы керекті өзгерістерді талап етеді. Жоғарыдағы өрнектерді қарайтын болсақ, салмақ коэфициентінің коррекциясының шамасын анықтауда қате сигналы және үлкен рөл атқарады.
j нейронының болу мүмкін жағдайларын қарастырсақ:
1 - жағдай. j нейроны- шығыс түйін.
Егер j нейроны шығыс қабатта орналасқан болса, оған белгілі бір үндеу ғана белгілі. Демек, қате сигналын оңай анықтауға болады және оңай анықтауға болады.
2 - жағдай. j нейроны - жасырын түйін.
Егер j нейроны жасырын қабатта орналасса, керекті жауап оған белгісіз. Сәйкесінше, қате сигналы барлық нейрондардың қате сигналдарының негізінде есептелінеді. Осы жерде кері таралу алгоритмі қиындыққа тап болады. көрсетілгендей жасырын j нейроны көрсетілген. Сәйкесінше, локальді градиентті былайша анықтауға болады.
бұл жерде j - жасырын нейрон. Жеке туындыны табу үшін түрлендіру жүргіземіз. (сурет 2.7) көрсетілген.
(2.16)
(2.17)
бұл жерде k - шығыс нейрон, (2.17) қатынас (2.4.) қатынас болып табылады. j индексі k индексқа өзгертілген. (2.17) - ні бойынша дифференциалдасақ:
(2.18)
Cурет 2.7. Сигналды жберу графы. Шығыс k нейронын жасырын j нейронмен байланысы
Енді осы жеке туындыға тізбек ережесі бойынша өзгертіп, эквивалентті форма бойынша жазу керек:
(2.19)
Бірақ (2.7. суретте) шығыс k нейроны үшін көрініп тұрғандай.
(2.20)
Осы жерден,
(2.21)
k нейронының локальді индуцияланған өрісі мынаған сәйкес:
(2.22)
бұл жерде, m - (табалдырықты санмағанда) кірістердің ортақ саны. Синаптикалық салмақ табалдырыққа сай келу керек.
Кері таралу алгоритмін қолдану кезінде есептеу кезінде, есептеудің екі жолы бар. Бірінші жол - тура,екіншісі - кері.
Тура өту кезінде барлық желіде синаптикалық салмақтар өзгертусіз қалады, ал функционалды сигналдар нейроннан нейронға қарай тізбектей есептелінеді. j нейронының шығысындағы функционалды сигнал былай есептелінеді:
(2.23)
бұл жерде, - j нейронының локальді индуцияланған өрісінің анықталуы мынандай:
(2.24)
бұл жерде, m-кірістердің жалпы саны (j нейронның табалдырығын санамағанда).i және j нейрондарын қосатын синаптикалық салмақ. - j нейронының кіріс сигналы немесе і нейронының шығыс сигналы. Егер j нейроны желінің жасырын қабатында орналасса, онда m=m0 , ал і индексі желінің і кіріс терминалына жатады, ол үшін келесі өрнекті жазуға болады:
(2.25)
мұндағы, - і элементінің кіріс векторы(үлгі). Басқа тұрғыдан қарасақ, егер j нейроны желінің шығыс қабатында орналасса, онда m = mL , ал j индексі j желінің шығыс терминал мәнін білдіреді, ол келесі өрнекпен өрнектеледі:
(2.26)
мұндағы, - j элементінің шығыс векторы. Шығыс сигнал қажетті сигналмен салыстырылады, нәтижесінде j шығыс нейроны үшін қате сигналы есептелінеді. Осылайша, тура фазалы есептелу желінің бірінші жасырын қабатынан басталып, және осы әрбір қабаты үшін соңғы қабатпен бітеді.
Берілетін қате сигналдың шығыс қабатынан кері байланыс басталып, әрбір нейрон үшін локальді паралельді градиентті есептеу оңнан солға қарай қабаттан қабатқа беріледі. Бұл рекурсивті процесс синаптикалық салмақтың өзгерісін дельта-ережесіне сәйкес болжайды. Нейрон үшін, шығыс қабатта орналасқан локальді градиент қате сигналына сәйкес, бірінші ретті бейсызық активация функциясына көбейтіледі. Содан соң, нейронның шығыс қабатымен байланысатын, салмақтың өзгерісін есептеу үшін қолданылады. Нейронның шығыс қабаты үшін локальді градиентті біле отыра, нейрон қабаты үшін бастапқы локальді градиентті есептеуге болады, яғни, осы қабатпен байланысты корекция салмағының шамасын біле аламыз. Кері байланыс үшін осындай есептеулер қолданылады. Байқағанымыздай, әдеттегі үйрету үлгісінен кейін желі тура және кері бағытта фиксацияланады.
Кері таралу алгоритмі кеңістікте салмақтың құрылуына көмектеседі. Жылдамдық параметрі η аз болған сайын, салмақтағы қате аз болады. Онда үйрету процесі ақырындайды. Ал жылдамдық параметрі η көбейтсек, үйрету процесі де тездетіледі, алайда жүйе тұрақсыздыққа ие болмай қалады. Тұрақсыздыққа тап болмай, жылдамдықты арттыруға болады. Оны дельта-ережені (2.14) өзгерту арқылы іске асыруға болады. Былайша айтқанда, инерция моментін қосу.
(2.27)
бұл жерде, тұрақты оң момент болып табылады.(2.27)- ші теңдеу толық дельта теңдеу деп аталады. кезінде қарапайым дельта-теңдеу болады.
Үйретілген мысалдардың - ға байланысты қалай өзгеретінін бақылау үшін теңдеуді t индексі бар, уақытша қатар ретінде жазып шығамыз. t - ның мәні 0- ден n - ға дейін өзгереді. Осы теңдеуді - ға қатысты шешсек, онда мынандай теңдеу аламыз.
(2.28)
(2.12) пен (2.15) теңдеуді қарайтын болсақ,.
Сәйкесінше, (2.27) - шы өрнекті эквивалентті формада жазса болады
(2.29)
Практикалық қосымшаларда көпқабатты желіні үйреткен кезде, оған көптеген мысалдар тіркеледі. Айтылып кеткендей, толық мысалдарды көрсету циклін дәуір(цикл) деп атайды. Үйрету процесі синаптикалық салмақ пен табалдырық деңгейі тұрақталмайынша, және орташаквадраттық қате минимал мәнге сай келмегенше, циклдан циклға қарай өту арқылы өтеді. Әр түрлі цикл үшін мысалдарды кездейсоқ түрде көрсетеді. Үлгілерді мұндай принцип бойынша салмақ кеңістігінде іздестіру стохасты қылып көрсетеді және тұйық циклдарды алдын алады. Осындай принціп кері таралу алгоритмін екі әдіспен көрсетуге болады.
Үйретіліп отырған көпмүшеге кері таралу алгоитмін қолдану үшін, оған екі жолдың біреуіне жүгінуі тиіс.
Тізбекті режимі кері таралу алгоритмі бойынша үйрету ді кейде стохасты немесе интерактивті деп те атайды. Бұр режимде салмақты өзгерту, әрбір мысалдан кейін болады. Мысалға, N үйретуші үлгілерден тұратын циклды қарастырайық: (x(1),d(1)),...,(x(N),d(N)). Желіге осы циклдағы (x(1),d(1)) мысалы көрсетілсін. Содан соң, тура және кері есептеулер жүргізілсін. Нәтижесінде, синаптикалық салмақтарды түзету жүзеге асады. Осыдан кейін, екінші жұп көрсетіледі (x(2),d(2)) тура және кері өтулер қайталанады және бұл келесі синаптикалық салмақтардың өзгеруіне алып келеді. Бұл процесс осы циклдағы соңғы мысалды (x(N),d(N)) аяқталмайынша көрсетіле береді.
Пакетті режимде синаптикалық салмақты өзгерту толық мысалдарды көрсеткен соң жүзеге асады. Нақты цикл үшін баға функциясы орташа квадраттық қате құрамдық түрде анықталады.
(2.30)
бұл жерде , n үйрету үлгісі үшін қате сигналы j нейронына сай келеді және ол (2.3) формуласымен есептелінеді. Қате мен -нің айырмасына тең. Жылдамдық параметрі берілген кезде i мен j нейрондарын байланыстыратын синаптикалық салмаққа жасалатын өзгерістер дельта-ережесімен анықталады.
(2.31)
Кері таралу алгоритмінде тізбекті режимнің кемшілігіне қарамастан, ол үлгіні тану тапсырмаларына жақсы қолданылады. Кері таралу алгоритмі қиын мәселелерді қолдануға жақсы және сонымен қатар өте қарапайым болып табылады.
Жалпы қазіргі таңдағы мұғаліммен үйретудің парадигмасы қолайлы болып табылады. Схемалық суреті (сурет 2.8.) көрсетілген . Бұл схемада сыртқы орта туралы ақпарат белгілі. Ол x векторлар ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
әл-Фapaби aтындaғы Қaзaқ ұлттық унивepcитeті
Физикa-тeхникaлық фaкультeті
Қaтты дeнe физикacы жәнe бeйcызық физикa кaфeдpacы
Қopғaуғa жібepілді
__________________ҚДФжБФ кaфeдpa мeңгepушіcі Пpихoдькo O.Ю.
ДИПЛOМДЫҚ ЖҰМЫC
Тaқыpыбы: ҮШ ҚАБАТТЫ НЕЙРОНДЫҚ ТОРДЫ C++ ЖӘНЕ MATLAB ОРТАЛАРЫНДА МОДЕЛЬДЕУ
5B071900 Радиотехника, электроника және телекоммуникациялар мaмaндығы бoйыншa
Opындaғaн
Медетхан А.Е.
Диплом жетекші
Бурисова Д.Ж.
Нopмa бaқылaушы
Исимова А
Aлмaты 2015
РЕФЕРАТ
Анықтамалар
Нейрон - құрамында бірнеше кірісі және бір-ақ ғана шығысы бар құрылғы. нейрон клетка денесі және өсімшеден тұрады. Оларды басқаша айтқанда, дендрит пен аксон деп те атайды. Нейронда дендриттер көп, және олар көп таралған, оның көмегімен нейрондар импульстарды көрші клеткалардан жинайды. Ал аксон біреу,ол арқылы нейроннан сигнал өтіп көрші клеткаларға барады
Нейрондық желі - физиологиялық функция атқаратын,жүйке жүйесінде нейрондардың жинақталуы. Нейрондық желі бір-бірімен химиялық және функцианалды байланысқан нейрондық топтар жиынтығынан тұрады. Жасанды нейрондық желі - нейрондық желінің математикалық моделін жасанды нейрондық желі деп атайды.Құрылымды түрде паралельді бөлінетін процессор болып табылады. Ол адам миымен екі аспектіде бірдей:білім және үйрету процесі негізінде жүзеге асады. Оқытылған білімнің сақталуы үшін нейрондық байланыстардың күштері синаптикалық салмақтар қолданады.
Көпқабатты нейрондық тор - көптеген сенсорлық элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші нейрон қабаттарынан және бір шығыс қабатты нейроннан тұрады. Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады.
Үшқабатты нейрондық желі - кіріс қабаттан, жасырын және шығыс қабаттан тұрады. Кіріс нейрон кіріс мәліметтерді енгізу үшін арналған. Осы қабаттағы нейрондар келесі қабаттағы жасырын қабаттағы элементтермен тығыз байланысқан. Жасырын қабаттағы элементтер шығыс қабаттағы элементтермен тығыз байланысқан.
Перцептрон - бір ғана қабаттан тұратын желі.
Синапс - екі нейрон арасындағы байланыс.
Активация функциясы - нейронның шығысындағы сигналды есептейтін функция болып табылады.
Аксон - жүйке жүйесінің өсімшесі болып табылатын, басқа жүйке жасушаларына импуль таратады. Нейронда аксон біреу ғана.
Дендрит - аксонның химиялық синапсы арқылы ақпарат алатын нейронның таралған өсімшесі
Сигнал - берілген хабарды алып жүретін физикалық процесс.
Тура таралатын желі - нейрондық желідегі ақпаратты тура таратады.
Реккурентті желі - кері байланысы бар нейрондық желілерді айтады.
Үлгіні тану - жүйелерді құрумен байланысы бар, белгілі бір обьектінің қандай да бір классқа анықтау үшін арналған ғылымның бағыты болып табылады. Обьектілердің класстары алдын - ала белгілі болады немесе тапсырманы шешкен кезде анықталады.Үлгіні танудағы үлгі деп отырғанымыз - әр түрлі заттар, құбылыстар, процесстер, сигналдар және т.б.
МАЗМҰНЫ
КІРІСПЕ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...5
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ ... .6
1.1 Биологиялық нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..6
1.2 Жасанды нейрондық желі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..7
2 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІНІ ҚҰРУ ... ... ... ... ... ... ... ... ... ... ... ... ... ...12
2.1 Жасанды нейрондық желілердің архитектурасы ... ... ... ... ... .. ... ... ... ... ... ...12
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалары мен ережелері ... ... ... ... ... ... .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 14
2.3 Радиалды базистік желілер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..25
2.4 Үлгіні тануға арналған Хопфилд нейрондық желісі ... ... ... ... ... ... ... . ... ... ...27
3 ЭКСПЕРИМЕНТАЛДЫ ҚҰРЫЛҒЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .31
3.1Есептеу жұмыстары жүргізілетін Qt Creater мен Matlab есептеу програмасы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .31
4 ТӘЖІРИБЕЛІК НӘТИЖЕСІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..33
ҚОРЫТЫНДЫ ... ... ... ... ... ... . ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 46
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 47
Кіріспе
Ақпараттық - коммуникациялық жүйелердің әркелкілігі, қиындықтардың өсуінің үйлесімсіздігі ақпараттық қауіпсіздікті қамтамасыз етуге бағытталған басқа технологияларды, әдістерді, механизмдерді қарастыруды қажет етеді. Сондай бағыттардың бірі - нейрондық желілерді зерттеу. Жасанды нейрондық желілердің теориясы жасанды интеллект саласынан шыққан.
Мидың негізін құратын нейрон желісі ақпаратты өңдейтін, жоғары эффективті паралельді, комплексті жүйеге ие. Ол нейрондарды үлгілерді тануға, қиын мәселелерді шешетіндей етіп, жөндей алады. Адам миы кез-келген есептеуіш машиналардан да тез жұмыс істейді және осы факт, ғалымдардың арасында жасанды нейрондық торды ойлап табуына алып келді.
Жасанды нейрондық желі паралельді жұмыс жасайтын көптеген қарапайым элементтерден тұрады. Табиғаттағыдай, нейрондық желі қандай да бір дәрежеде элементтер арасындағы байланысқа ие. Нейрондық желіні нақты функцияны үйретуге қолданады
Жасанды нейрондық желіні ғылым мен техникада қолдану қазіргі кездегі өзекті мәселелердің бірі болып табылады. Мидың коммуникациялық жүйесі болып табылатын әрбір нейрон көптеген қасиетке ие, соның ішіндегі ерекше қасиеттерінің бірі сигналдарды қабылдау, өңдеу және сақтау болып табылады. Нейрондық желілер үлгіні тану, болжау мәселелерінде, басқаруларда, сонымен қатар үлгілерді, иденфикацияны, обьектілердің классификациясын, адам даусын анықтауда қолданылады. Оның себебі, дәстүрлі әдістер көмектесе алмайтын, нейрондық желі кең аумақты әр түрлі ақпараттармен жұмыс жасайды. Жасанды нейрондық желілер биологиялық нейрондық желінің прототипі болғандықтан, ойлау процесін зерттей алады. Жалпы, нейрондық желілердегі ерекше қасиеттердің бірі болып ол - үйрету механизмін қолдану. Нейрондық желіні қолданушы кіріс деректерін енгізеді, содан соң үйрету алгоритмі енгізіледі. Ол автоматты түрде желінің параметрлерін жөндейді. Қазіргі таңда, нейрондық желілер компьютер шеше алмайтын мәселерді шешумен айнлысып жүр.
Зерттеу жұмысының актуалдылығы болып көпқабатты нейрондық желілердің блок - схемасын құру және көпқабатты нейрондық желіні қолдана отырып, үлгіні тану. Сонымен қатар үлгіні тану үшін Хопфилд нейрондық желісін құру.
Дипломдық жұмыста, нейрондық желілердің құрылуының теориялық негіздері, көпқабатты перцептрон, нейрондық желілердің архитектурасы, және нейрондық желілермен байланысқан барлық мәселелер қарастырылған.
Дипломдық жұмыстың мақсаты - Matlab программалау ортасында көпқабатты нейрондық желілердің схемасын Simulink - қосалқы программасында құру. Көпқабатты нейрондық тор моделін құруда активация функцияларын қойып есептеу жұмыстарын жүргізу, алып салыстыру. Осы тұрғыда көпқабатты нейрондық желілер мен Хопфилдтің нейрондық желісін пайдалана отырып, үлгіні тану мәселелерін шешу ұсынылып отыр.
1. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР ЖӘНЕ ОЛАРДЫҢ ҚҰРЫЛЫМЫ
1.1Биологиялық нейрондық желі
Нейрон дегеніміз - құрамында бірнеше кірісі және бір-ақ ғана шығысы бар желі. Нейрон екі режимде жұмыс істейді: біріншісі үйрету режимі және екіншісі қолдану режимі. Адам миында орташа статистикалық мөлшермен алғанда жиырма миллиард нейрон бар. Бізге белгілі болғандай, нейрон - тор денесі және өсімшеден тұрады. Нейрон - жүйке жүйесінің негізгі функционалды және құрылымдық элементі болып келеді (1.1 сурет). Оларды басқаша айтқанда, дендрит пен аксон деп те атайды. Нейронда дендриттер көп, және олар көп таралған, оның көмегімен нейрондар импульстарды көрші торлардан жинайды. Ал аксон біреу, ол арқылы нейроннан сигнал өтіп көрші торларға барады. Ал нейрондық торларда нейрондар бір-бірімен байланысқан, сол арқылы ақпарат таралады. Нейрондардың атқаратын қызметі ақпаратты сақтау және өңдеу, сонымен қатыр өсімшелерді қоректендіріп отыру. Негізінен, орталық жүйке жүйесінде жасушалар бір - бірімен синапс ретінде байланысқан. Синапс - екі нейрон арасындағы байланысқан түйіскен жер. Жалпы кәдімгі нейронның жұмысының негізіне химиялық процесстер кіреді [1].
Cурет 1.1. Биологиялық нейронның моделі
Нейронның беткі жағы таралған өсімшемен жабылған - дендриттермен. Дентриттерге басқа нейрондардың аксонның аяқ жағы жалғасады. Олардың қосылған жерін синапс деп атайды. Синапстық байланыстың арқасында нейрон келіп түскен сигналға жауап қайтара алады және қандай да бір жағдайда өзінің импульсін генерациялай алады.
1.2 Жасанды нейрондық желі
Жасанды нейрон - биологиялық нейронға ұқсас болып келетін, жасанды нейрондық тордың бірлігі болып табылады (сурет 1.2). Математикалық тұрғыдан қарасақ, жасанды нейрон анықталу облысында шексіз болатын, бейсызық функция ретінде келетін, жалпы жағдайда кіріс сигналдарының сумматоры түрінде қарастырылады. Әдетте, бұл функция монотонды түрде өседі. Алынған нәтиже шығысына (біреу) жіберіледі. Жасанды нейрондар қандай да бір жолмен қосылып, жасанды нейрондық торды құрады. Әрбір нейрон мидың жүйке торына ұқсас болғандықтан, олардың қазіргі күйі дәл солай сипатталады. Не олар тоқтап калады, не олар қозады. Нейрон синапстық топқа ие - басқа нейронның шығысымен жалғанған кіріс байланыстар, мен шығыс байланысқа ие, бұл арқылы басқа нейронның синапсына сигнал келіп түседі. Әрбір синапс синаптикалық байланыспен немесе салмағымен w сипатталады. Бұл биологиялық нейронның эквивалентті өткізгіштігін көрсетеді [2]. Нейронның қазіргі күйі кірістерінің өлшенілген қосындысы былай анықталады.
Cурет 1.2. Жасанды нейрон моделі
(1.1)
бұл жерде, w0 - нейронның жылжуының коэфициенті (кірістерінің бірлік салмағы). Нейронның шығысы қазіргі күйінің функциясы осылайша анықталады:
(1.2)
бұл жерде, ƒ - бейсызық функциясы активациялық функция (сурет 1.3.) деп аталады. Активация функциясының бірнеше түрі белгілі. Ең көп тараған бейсызық функция ол - қандырылған функция, басқаша айтқанда, логистикалық функция немесе сигмоид (S тәріздес функция) болып табылады.
(1.3)
бұл жерде, α - азайған кезде сигмоид еңістеу болып келеді, α=0 кезде 0.5 деңгейінде горизантальды сызыққа шығады. α - ны көбейткен кезде бірлік секірмелі функцияға ұқсас болып келеді. Сигмоид үшін нейронның шығыс мәні [0,1] диапазонында жатады. Сигмоидты функция осьтің абциссасында дифференциалдана алады. Бұл функция үйрету алгоритмдерінде қолданылады. Бұдан басқа, әлсіз сигналдарды күшейте алады, үлкен сигналдардың қанығуын алдын алады.
Сурет 1.3. Aктивация функцияларының түрлері
а) бірлік секірмелі функция; б) сызықты табалдырық (гистерезис);
в) сигмоид - гиперболалық тангенс; г) сигмоидты функция
----------------------------------- ----------------------------------- ----------
Маккалох пен Питтс жасанды нейрон ретінде бинарлы элементі ұсынды. Бұл формалды нейрон n өлшенілген xi кіріс сигналдарды есептеп, шығысында бірлік сигнал шығаратын болған. Ары қарай бұл модель толығымен зерттеліп, қазіргі таңда Маккалох пен Питтстің өлшенілген кіріс сигналдары бар бейсызық түрлендіргіш нейроны (сурет 1.4) деп аталады.
(1.4)
Cурет 1.4. Маккалох - Питтстің моделі
Төменде нейронның моделі сипатталатын блок схема көрсетілген. Бұл модельде 3 негізгі элементі бар: синапс пен байланыс жинағы салмағымен сипатталатын кіріс сигналдарға көбейтіледі. Сумматор - нейронның синапсына сәйкес өлшенілген кіріс сигналдарды қосады. Активация функциясы - суммарлық сигналдың өлшенілген, сығылған көрінісі. Сондықтан шығыс сигнал шектеулі диапазонға ие, әдетте [0.1] және [-1.1] жатады [2].
Сурет 1.5. Нейрон моделі сипатталған қарапайым моделі
Математикалық тұрғыда k - шы нейронның функциялануы былай жазылады:
(1.5)
(1.6)
бұл жерде, x1, x2, ... , xm кіріс сигналдар; wk1 , wk2 ,... , wkm k - шы нейронның синаптикалық салмағы; vk - bk табалдырық элементінің және сыртқы әсерлердің сызықтық комбинациясы; ƒ - активация функциясы; yk - нейронның шығыс сигналы. Табалдырықты басқаша енгізсе болады, кіріс векторына тағы бір кіріс сигналын қосу x0 арқылы, oнда табалдырыққа wk0 жауап береді. Осының блок-схемасы төменде көрсетілген (1.6.cурет ):
Сурет 1.6. Кіріс векторына тағы бір сигнал қосылғандағы блок- схема
Бұл жағдайда активация функциясының аргументі былай анықталады:
(1.7)
Төменде активация функцияларының формулалары көрсетілген.
1.Бірлік секірмелі функция (Хэвисайд функциясы):
(1.8)
Бұл модельді әдебиеттерде Мак каллок пен Питтстің моделі деп атайды
2.Бөлшекті сызықты функция:
(1.9)
Күшейту коэфициенті 1-ге тең бейсызық күшейткіштің жуықталуы деп қарастырсақ болады.
3.Сигмоидты функция. Бұның графигі S тәріздес әріпге ұқсайды. Жасанды нейрондық торда кең таралған функциялардың бірі. Бұндай функцияның мысалы ретінде логистикалық функцияны айтуға болады.
(1.10)
бұл жерде, - сигмоидалды функцияның илуінің параметрі. Бұл функция мынандай мәнге ие [0,1]. Кейде активация функциясы мына аралықта [1,1] жатқанын талап етіледі.Онда бұл жағдайда гиперболалық тангенс активация функциясы қолданылады.
(1.11)
Қарастырылған модель детерминистік болып келеді. Кейбір кезде стохасты нейрожелілік модель деп те атайды. Онда нейронның ауысуы ықтималдықты ескере отырып шешеді.
(1.12)
Ықтималдық P(ν) сигмойдалды функциямен сипатталады.
(1.13)
бұл жерде, Т - температураға ұқсас, синаптикалық шуылдың деңгейін сипаттайды.
1. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІ ҚҰРУ
2.1. Жасанды нейрондық желілердің архитектурасы
Нейрондық желі - физиологиялық функция атқаратын, жүйке жүйесінде нейрондардың жинақталуы. Нейрондық желі бір - бірімен химиялық және функцианалды байланысқан нейрондық топтар жиынтығынан тұрады. Нейрондық желі туралы түсінік нейрондық желінің жасанды интеллект туралы түсінік тудырып, математикалық моделін жасауға талпындырды. Нейрондық желінің математикалық моделін жасанды нейрондық желі деп атайды .
Жасанды нейрондық желі - құрылымды түрде паралельді бөлінетін процессор болып табылады. Ол адам миымен екі аспектіде бірдей: білім және үйрету процесі негізінде жүзеге асады. Оқытылған білімнің сақталуы үшін нейрондық байланыстардың күштері синаптикалық салмақтар қолданылады. Жалпы нейрондық тор термині ХХ ғасырда пайда бола бастады. Ең бірінші бұл бағыт бойынша жасалған жұмыс Мак-Каллок пен Питтспен байланысты. 1943 жылы математикалық алгоритм негізіндегі нейрондық тордың компьютерлік моделі жобаланды. Олардың болжауынша, нейрондық торды екілік сандарды қолданатын құрылғы деп айтты. Бұл модельді табалдырықтық логика деп атады. Синаптикалық өткізгіштігін сипаттайтын Мак - каллок пен Питтстың нейрондары биологиялық нейронның прототипі болғаннан кейін, нейрондары параметрлерін жөндеу арқылы үйретуге қабілетті.1949 жылы канадтық физиолог және психолог Хебб мидың нейрондарының байланысы жайлы сөз қозғады. Оның айтуынша, үйрету ең алдымен синаптикалық байланысқа байланысты деп айтты. Хеббтің теориясы өзін-өзі үйретуге негізделген, бұл жерде жүйе ешқандай көмексіз өзінің алдына қойылған тапсырманы орындау үшін тосын үйретілді.
1957 жылы Розенблантпен екі қабатты нейрондық тор негізінде ақпараттың миды қалай қабылдайтына байланысты нейрондық тордың математикалық және компьютерлік моделі ойлап табылды.Розенблант негізгі перцептронды ғана сипаттап қоймай, логикалық қосылуының схемасын да айтып кетті.1958 жылы адам ойлау қабілетінің процесстерін қайталай алатын электрондық құрылғылар ұсыныла бастады, екі жылдан соң ең бірінші әріптерді тани алатын машина ұсынылды. 1969 жылы Минский мен Пейперттің жұмыстарынан кейін нейрондық торға деген қызығушылық төмендеді.Себебі компьютерлер жоғары есептеушілік қабілетке жеткен кезде нейрондық торды зерттеу тоқтады. Нейронның арасында ақпаратты қабылдап, жіберу 1982 жылы Хопфилд желісі іске асырылды. 2006 жылы бақыланбайтын процедуралар ұсынылған бір немесе бірнеше қабаты бар нейрондық торды үйретудің терең алгоритмі ұсынылды.
Реккурентті желі
Нейрондық желілердің архитектурасы
Хопфилд желісі
Кохонен желісі
Жарыстыр-малы желі
Тура таралу желісі
Бірқабатты
Көпқабатты
Реккурентті желі
Нейрондық желілердің архитектурасы
Хопфилд желісі
Кохонен желісі
Жарыстыр-малы желі
Тура таралу желісі
Бірқабатты
Көпқабатты
Cурет 2.1. Нейрондық тор архитектурасы
Тура таралу желісі - сигнал тура бағытта ғана тарайды. Сигнал кірісіне кіріп, шығысынан тура бағытта шығады. Кері байланыс болмайды.
Реккурентті нейрондық желі тура таралу желісінен айырмашылғы бар,себебі кері байланысы бар. Мысалы, реккурентті желі бір қабаттан нейроннан тұруы мүмкін және желідегі әрбір шығыс сигнал басқа қабаттардағы нейронның кірісіне жібереді.
Сурет 2.2. Тура таралу және рекурентті желінің сызбасы
2.2 Көпқабатты нейрондық желі құру және негізгі парадигмалар мен үйрету ержелері
Көпқабатты желі көптеген сенсорлық элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші нейрон қабаттарынан және бір шығыс қабатты нейроннан тұрады. Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады. Мұндай желі көпқабатты перцептрон деп аталады [4]. Көпқабатты перцептрон әр түрлі қиын мәселелерді шешу үшін қолданылады. Бұл жердегі мұғаліммен үйретуі белгілі алгоритммен қателердің кері таралу алгоритмі арқылы іске асады. Мұндай алгоритм қателердің коррекциясына негізделген. Қателердің кері таралу әдісімен үйретуі желі бойынша екі кезеңнен тұрады: тура және кері. Тура өткізу кезінде (кіріс вектор) желінің синаптикалық түйініне беріледі, содан соң бір қабаттан екінші қабатқа таралады. Нәтижесінде шығыс сигналдар жиынтығы, генерацияланып, шығысында нәтижесін аламыз. Тура өту кезінде барлық синаптикалық салмақтар фиксацияланады. Ал кері өту кезінде қателер коррекция ережесіне сай барлық синаптикалық салмақтар жөндетіледі. Әсіресе желінің фактылық шығысы керекті жауаптан есептеледі, нәтижесінде қате сигналы пайда болады. Бұл сигнал синаптикалық байланыстардың кері таралуымен таралады. Осы жерден қателердің кері таралуының алгоритмі шығады. Статистикалық мағынада синаптикалық салмақтар бізге керекті шығыс сигналын алу үшін жөндетіледі. Әдебиеттерде қателердің кері таралу алгоритмін кейде кері таралу алгоритмі деп атайды. Көпқабатты перцептронды үйрету процесі осы алгоритм негізінде іске асады .
Жалпы көпқабатты перцептрондар үш айырым белгісіне ие:
1.Әрбір желінің нейроны бейсызық активация функциясына ие. Айтып кететін жағдай, бұл бейсызық функция тегіс болып келеді. Розенбланттын перцептрондарында қолданылатын табалдырық функцияға қарағанда барлық жерде дифференциалданады. Ең танымал функция түрі болып осы шартты қанағаттандыратын сигмоидалдық функция болып табылады. Ол логистикалық функциямен анықталады
(2.1)
мұндағы, - нейронның j индукцияланған локальді өріс (б.а барлық синаптикалық өлшенілген қосындысы және табалдырық мағынасы). - нейронның шығысы. Негізінде бейсызықтық - үлкен рөл атқарады, себебі, кері жағдайда желінің кіріс - шығыс бір қабатты перцептронға ұқсас болып кетеді. Биологиялық түрде дәлелденген логистикалық функцияның қолданылуы кәдімгі нейронның ішіндегі қалпына келу фазасына байланысты.
2. Желі бір немесе бірнеше қабаттан тұрады жасырын нейрондар, олар желінің кірісіне не шығысына жатпайды. Бұл нейрондар желіге қиын есептерді шешуге үйретеді, нәтижесінде желі кіріс үлгіден(вектордан) маңызды белгілерді өзіне алады.
3. Желі жоғары байланыс дәрежесіне ие, ол орташа синаптикалық байланыспен іске асады. Желінің байланысының деңгейінің өзгерісі салмақ коэфициентін және көптеген синаптикалық байланыстың өзгерісін талап етеді. Үйрету қасиеттерінің жиынтығы көпқабатты перцептронға есептеуіш күш береді. Алайда бұл қасиеттер заманауи білімнің жетіспеушілігінң кесірінен кемшілік болып та келеді. Біріншіден, бейсызық форма және жоғары жоғарғы желілердің байланысы теориялық түрде көпқабатты перцептрондардың анализіне кедергі болып табылады. Екіншіден, жасырын нейрон қабаттарының болуы үйрету процесін қиындатады. Әсіресе үйрету процесінде мына жағдайды ескеру керек, жасырын нейрондарға кіріс сигналдарының қасиеттерін білу шарт. Онда үйрету процесі одан әрі қиындай түседі себебі мүмкін функциясы бар кең аумақта іске асу керек, ал таңдау кіріс үлгілердің альтернативті ортада жасалуы керек [5].
Кері таралу ұғымы 1986 жылдан кейін белсенді түрде қолданыла бастады. Сол жылы ол атақты кітапта жарық көрді. Кері таралу алгоритмінің пайда болуы нейрондық желіде қолданылды. Төмендегі суретте екі жасырын қабатты және бір шығыс қабатты көпқабатты перцептронның архитектуралық графы көрсетілген. Бұл көпқабатты перцептронның сипаттамасына сай толық байланысқан болып келеді. Бұл дегеніміз кез - келген желінің қабатындағы нейрон алдыңғы қабаттаға нейрондармен (түйіндермен) байланысқан. сигнал тура бағытта ғана таралады, солдан оңға қарай, қабаттан қабатқа қарай .
Сурет 2.3. Екі жасырын қабаты бар көпқабатты перцептронның архитектуралық графы
Cурет 2.4. Көпқабатты перцептронның екі ең негізгі бағыты: функциолналды сигналдың тура таралуы, қате сигналының кері таралуы
2.4. суретте - көпқабатты перцептроннан бір үзінді көрсетілген. Мұндай типті желі үшін екі сигналдың түрі көрсетілген.
1.Функционалды сигнал. Желіге келіп түсетін бұл кіріс сигнал (ынталандырма) ары қарай желіде нейроннан нейронға қарай таралады. Бұл сигнал желінің соңына шығыс сигнал болып барады. Бұл сигналды функционалды деп атауымыздың екі себебі бар: біріншіден, желінің соңында қандай да бір функцияның қызметін атқарады, екіншіден, әрбір нейрон арқылы осы сигнал таралады жән осыдан салмақ коэфициенті бар қандай да бір функция.
2. Қате сигналы өзінің басын желінің шығысынан алады, және кері бағытта таралады (бір қабаттан екінші қабатқа). Ол өзінің атын қателік функциясы негізінде әрбір нейронмен саналатындығының арқасында алды.
Шығыс нейрондар желінің шығыс қабатын құрайды. Қалған нейрондар жасырын қабатқа жатады. Осылайша, жасырын түйіндер желінің не кірісі, не шығысы бола алмайды Сондықтан, бірінші жасырын қабат мәліметтерді кіріс қабаттан алады. Нәтижелі сигнал бірінші жасырын қабаттың өз кезегінде келесі жасырын қабатқа түседі, осылайша ол желінің аяғына дейін барады.
Кез-келген көпқабатты перцептронның жасырын немесе шығыс нейроны екі типті есептеуді орындай алады.
1. Нейронның шығысындағы функцияналды сигналдың есептелуі шексіз бейсызық функция түрінде берілген кіріс сигналдан және синаптикалық салмақтардың нейронымен байланысты.
2. Вектор градиентінің бағалануының есептелуі бізге кері жүріс үшін қажет.
Көптеген көпқабатты нейрондық желі негізінен үш қабаттан тұрады: кіріс қабаттан, жасырын және шығыс қабаттан тұрады. Кіріс нейрон кіріс мәліметтерді енгізу үшін арналған. Осы қабаттағы нейрондар келесі қабаттағы жасырын қабаттағы элементтермен тығыз байланысқан. Жасырын қабаттағы элементтер шығыс қабаттағы элементтермен тығыз байланысқан. Нейрондар арасындағы байланыстар ауыспалы салмаққа ие. Бұл деп отырғанымыз, бір нейронның активтілігі екінші нейронның активтілігін күшейте алады және байланыстың күштілігіне үшінші нейронды әлсірете алады. деген сөз. Байланыстың салмағын өзгерте отырып желіні үйретуге болады. Үш қабатты нейрондық желінің шығыс сигналы мынаған тең:
Сурет 2.5. Үш қабатты нейрондық желінің моделі
Үш қабатты нейрондық желінің шығыс сигналы былай анықталады:
(2.2)
бұл жерде, - нейронның активация функциясыi мен j арасындағы салмақ байланысы. Бұндай жасанды нейрондық желі кез - келген бөлшекті - жұмсақ функцияны модельдей алады [6].Теориялық түрде желі қабаттың саны көп бола береді. Бірақ ғалымдардың пайымдауынша, үшқабатты нейрондық желі (перцептрон) қиын мәселердеі шешуге, үлгіні анықтау, жуықтауда универсал апроксиматор болып табылады (сурет 2.5). Үшқабатты перцептронда нейрондар топтарға біріктіріледі: нөлдік, бірінші қабат, екінші қабат, үшінші қабат. Нөлдік қабаттың нейрондары ешқандай есептеулерге қатыспайды, тек ғана бірінші қабатқа кіріс сигналдардың Әдетте желі көптеген сенсорлық элементтен (кіріс түйін немесе негізгі түйіннен) тұрады, бұл кіріс қабатты құрайды, бір немесе бірнеше жасырын есептеуіші нейрон қабаттарынан және бір шығыс қабатты нейроннан тұрады. Желі бойынша кіріс сигнал тура бағытта, бір қабаттан басқа қабатқа таралады. Мұндай желі көпқабатты перцептрон деп аталады.
Көпқабатты перцептрон әр түрлі қиын мәселелерді шешу үшін қолданылады. Бұл жердегі мұғаліммен үйретуі белгілі алгоритммен қателердің кері таралу алгоритмі арқылы іске асады. Мұндай алгоритм қателердің коррекциясына негізделген.
Қателердің кері таралу әдісімен үйретуі желі бойынша екі кезеңнен тұрады: тура және кері. Тура өткізу кезінде (кіріс вектор) желінің синаптикалық түйініне беріледі, содан соң бір қабаттан екінші қабатқа таралады. Нәтижесінде шығыс сигналдар жиынтығы генерацияланып, шығысында нәтижесін аламыз. Тура өту кезінде барлық синаптикалық салмақтар фиксацияланады. Ал кері өту кезінде қателер коррекция ережесіне сай барлық синаптикалық салмағы жөндетіледі. Әсіресе желінің фактылық шығысы керекті жауаптан есептеледі, нәтижесінде қате сигналы пайда болады. Бұл сигнал синаптикалық байланыстардың кең таралуымен таралады. Осы жерден қателердің кері таралуының алгоритмі шықты. Статистикалық мағынада синаптикалық салмақтар бізге керекті шығыс сигналын алу үшін жөндетіледі. Әдебиеттерде қателердің кері таралу алгоритмін кейде кері таралу алгоритмі деп атайды. Бұл үйрету процесі осы алгоритм негізінде іске асады [7,8,9].
n итерация негізіндегі j шығыс нейронының қате сигналы мынандай қатынаспен анықталады:
(2.3)
j нейронының қатесінің энергиясының қазіргі күйін былай анықтаймыз.
Сәйкесінше, жалпы энергияның E(n) қазіргі күйін барлық шығыс қабаттың барлық нейрондарымен шамасын қосу арқылы есептелінеді. Бұл көрінетін нейрондар үшін есептелінетін қате сигналы осылайша анықталуы мүмкін.
(2.4)
мұндағы, С барлық шығыс қабаттағы нейрондардың көпмүшесі. Ал n - көп мүшенің қуаты. Орташаквадраттық қатенің энергиясы E(n) бұл жағдайда n сумма бойынша нормаланған болып келеді:
Сурет 2.6. Кейбір j нейронның төңірегіндегі сигналды жіберу графы
(2.5)
Қате E(n) энергиясының қазіргі күйі, демек қатенің орташа энергиясы барлық еркін параметрлердің функциясы болып келеді.
Енді (2.6. суретте) көрсетілгендей алдыңғы қабатта орналасқан нейрондардан келетін сигнал ағының j нейронға келіп түсуін қарастырайық. индукцияланған локальды өріс, бұл активация функциясының кірісінен алынған қазіргі нейронмен байланысы бар және ол мынаған тең.
(2.6)
бұл жерде, m- j нейронның жалпы кіріс саны. Синаптикалық салмақ wji (фиксацияланған кіріске сай келеді y0=+1) vj табалдырығына тең. j нейронының шығысындағы функцианалды сигнал yj(n) n итерациясы кезінде мынаған тең:
(2.7)
Тізбек ережесіне сәйкес градиент былай есептелінеді:
(2.8)
Екі жақты бойынша дифференциалдаймыз:
(2.9)
Екі жақты бойынша дифференциалдаймыз:
(2.10)
Екі жақты бойынша дифференциалдаймыз.
(2.11)
Оң жақтаға штрих аргумент бойынша дифференциалдануы болып табылады.
(2.7) - ні бойынша дифференциалдаймыз.Нәтижелерді орнына қойып, мынандай түсініктемеге келеміз.
(2.12)
коррекциясы ,қолданатын дельта ережесі бойынша анықталады.
(2.13)
бұл жерде, - кері таралу алгоритмінің үйрету жылдамдығының параметрі. Бұл жердегі "-" белгісі салмақ кеңістігіндегі градиенттік түсумен байланысты.
Керекті жерлерге формулаларды қойып, мынандай теңдеу аламыз.
(2.14)
Бұл жерде локальді градиент мынандай анықтамамен анықталады:
(2.15)
Локальді градиентті желі синаптикалық салмақтағы керекті өзгерістерді талап етеді. Жоғарыдағы өрнектерді қарайтын болсақ, салмақ коэфициентінің коррекциясының шамасын анықтауда қате сигналы және үлкен рөл атқарады.
j нейронының болу мүмкін жағдайларын қарастырсақ:
1 - жағдай. j нейроны- шығыс түйін.
Егер j нейроны шығыс қабатта орналасқан болса, оған белгілі бір үндеу ғана белгілі. Демек, қате сигналын оңай анықтауға болады және оңай анықтауға болады.
2 - жағдай. j нейроны - жасырын түйін.
Егер j нейроны жасырын қабатта орналасса, керекті жауап оған белгісіз. Сәйкесінше, қате сигналы барлық нейрондардың қате сигналдарының негізінде есептелінеді. Осы жерде кері таралу алгоритмі қиындыққа тап болады. көрсетілгендей жасырын j нейроны көрсетілген. Сәйкесінше, локальді градиентті былайша анықтауға болады.
бұл жерде j - жасырын нейрон. Жеке туындыны табу үшін түрлендіру жүргіземіз. (сурет 2.7) көрсетілген.
(2.16)
(2.17)
бұл жерде k - шығыс нейрон, (2.17) қатынас (2.4.) қатынас болып табылады. j индексі k индексқа өзгертілген. (2.17) - ні бойынша дифференциалдасақ:
(2.18)
Cурет 2.7. Сигналды жберу графы. Шығыс k нейронын жасырын j нейронмен байланысы
Енді осы жеке туындыға тізбек ережесі бойынша өзгертіп, эквивалентті форма бойынша жазу керек:
(2.19)
Бірақ (2.7. суретте) шығыс k нейроны үшін көрініп тұрғандай.
(2.20)
Осы жерден,
(2.21)
k нейронының локальді индуцияланған өрісі мынаған сәйкес:
(2.22)
бұл жерде, m - (табалдырықты санмағанда) кірістердің ортақ саны. Синаптикалық салмақ табалдырыққа сай келу керек.
Кері таралу алгоритмін қолдану кезінде есептеу кезінде, есептеудің екі жолы бар. Бірінші жол - тура,екіншісі - кері.
Тура өту кезінде барлық желіде синаптикалық салмақтар өзгертусіз қалады, ал функционалды сигналдар нейроннан нейронға қарай тізбектей есептелінеді. j нейронының шығысындағы функционалды сигнал былай есептелінеді:
(2.23)
бұл жерде, - j нейронының локальді индуцияланған өрісінің анықталуы мынандай:
(2.24)
бұл жерде, m-кірістердің жалпы саны (j нейронның табалдырығын санамағанда).i және j нейрондарын қосатын синаптикалық салмақ. - j нейронының кіріс сигналы немесе і нейронының шығыс сигналы. Егер j нейроны желінің жасырын қабатында орналасса, онда m=m0 , ал і индексі желінің і кіріс терминалына жатады, ол үшін келесі өрнекті жазуға болады:
(2.25)
мұндағы, - і элементінің кіріс векторы(үлгі). Басқа тұрғыдан қарасақ, егер j нейроны желінің шығыс қабатында орналасса, онда m = mL , ал j индексі j желінің шығыс терминал мәнін білдіреді, ол келесі өрнекпен өрнектеледі:
(2.26)
мұндағы, - j элементінің шығыс векторы. Шығыс сигнал қажетті сигналмен салыстырылады, нәтижесінде j шығыс нейроны үшін қате сигналы есептелінеді. Осылайша, тура фазалы есептелу желінің бірінші жасырын қабатынан басталып, және осы әрбір қабаты үшін соңғы қабатпен бітеді.
Берілетін қате сигналдың шығыс қабатынан кері байланыс басталып, әрбір нейрон үшін локальді паралельді градиентті есептеу оңнан солға қарай қабаттан қабатқа беріледі. Бұл рекурсивті процесс синаптикалық салмақтың өзгерісін дельта-ережесіне сәйкес болжайды. Нейрон үшін, шығыс қабатта орналасқан локальді градиент қате сигналына сәйкес, бірінші ретті бейсызық активация функциясына көбейтіледі. Содан соң, нейронның шығыс қабатымен байланысатын, салмақтың өзгерісін есептеу үшін қолданылады. Нейронның шығыс қабаты үшін локальді градиентті біле отыра, нейрон қабаты үшін бастапқы локальді градиентті есептеуге болады, яғни, осы қабатпен байланысты корекция салмағының шамасын біле аламыз. Кері байланыс үшін осындай есептеулер қолданылады. Байқағанымыздай, әдеттегі үйрету үлгісінен кейін желі тура және кері бағытта фиксацияланады.
Кері таралу алгоритмі кеңістікте салмақтың құрылуына көмектеседі. Жылдамдық параметрі η аз болған сайын, салмақтағы қате аз болады. Онда үйрету процесі ақырындайды. Ал жылдамдық параметрі η көбейтсек, үйрету процесі де тездетіледі, алайда жүйе тұрақсыздыққа ие болмай қалады. Тұрақсыздыққа тап болмай, жылдамдықты арттыруға болады. Оны дельта-ережені (2.14) өзгерту арқылы іске асыруға болады. Былайша айтқанда, инерция моментін қосу.
(2.27)
бұл жерде, тұрақты оң момент болып табылады.(2.27)- ші теңдеу толық дельта теңдеу деп аталады. кезінде қарапайым дельта-теңдеу болады.
Үйретілген мысалдардың - ға байланысты қалай өзгеретінін бақылау үшін теңдеуді t индексі бар, уақытша қатар ретінде жазып шығамыз. t - ның мәні 0- ден n - ға дейін өзгереді. Осы теңдеуді - ға қатысты шешсек, онда мынандай теңдеу аламыз.
(2.28)
(2.12) пен (2.15) теңдеуді қарайтын болсақ,.
Сәйкесінше, (2.27) - шы өрнекті эквивалентті формада жазса болады
(2.29)
Практикалық қосымшаларда көпқабатты желіні үйреткен кезде, оған көптеген мысалдар тіркеледі. Айтылып кеткендей, толық мысалдарды көрсету циклін дәуір(цикл) деп атайды. Үйрету процесі синаптикалық салмақ пен табалдырық деңгейі тұрақталмайынша, және орташаквадраттық қате минимал мәнге сай келмегенше, циклдан циклға қарай өту арқылы өтеді. Әр түрлі цикл үшін мысалдарды кездейсоқ түрде көрсетеді. Үлгілерді мұндай принцип бойынша салмақ кеңістігінде іздестіру стохасты қылып көрсетеді және тұйық циклдарды алдын алады. Осындай принціп кері таралу алгоритмін екі әдіспен көрсетуге болады.
Үйретіліп отырған көпмүшеге кері таралу алгоитмін қолдану үшін, оған екі жолдың біреуіне жүгінуі тиіс.
Тізбекті режимі кері таралу алгоритмі бойынша үйрету ді кейде стохасты немесе интерактивті деп те атайды. Бұр режимде салмақты өзгерту, әрбір мысалдан кейін болады. Мысалға, N үйретуші үлгілерден тұратын циклды қарастырайық: (x(1),d(1)),...,(x(N),d(N)). Желіге осы циклдағы (x(1),d(1)) мысалы көрсетілсін. Содан соң, тура және кері есептеулер жүргізілсін. Нәтижесінде, синаптикалық салмақтарды түзету жүзеге асады. Осыдан кейін, екінші жұп көрсетіледі (x(2),d(2)) тура және кері өтулер қайталанады және бұл келесі синаптикалық салмақтардың өзгеруіне алып келеді. Бұл процесс осы циклдағы соңғы мысалды (x(N),d(N)) аяқталмайынша көрсетіле береді.
Пакетті режимде синаптикалық салмақты өзгерту толық мысалдарды көрсеткен соң жүзеге асады. Нақты цикл үшін баға функциясы орташа квадраттық қате құрамдық түрде анықталады.
(2.30)
бұл жерде , n үйрету үлгісі үшін қате сигналы j нейронына сай келеді және ол (2.3) формуласымен есептелінеді. Қате мен -нің айырмасына тең. Жылдамдық параметрі берілген кезде i мен j нейрондарын байланыстыратын синаптикалық салмаққа жасалатын өзгерістер дельта-ережесімен анықталады.
(2.31)
Кері таралу алгоритмінде тізбекті режимнің кемшілігіне қарамастан, ол үлгіні тану тапсырмаларына жақсы қолданылады. Кері таралу алгоритмі қиын мәселелерді қолдануға жақсы және сонымен қатар өте қарапайым болып табылады.
Жалпы қазіргі таңдағы мұғаліммен үйретудің парадигмасы қолайлы болып табылады. Схемалық суреті (сурет 2.8.) көрсетілген . Бұл схемада сыртқы орта туралы ақпарат белгілі. Ол x векторлар ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
Ұқсас жұмыстар
Пәндер
- Іс жүргізу
- Автоматтандыру, Техника
- Алғашқы әскери дайындық
- Астрономия
- Ауыл шаруашылығы
- Банк ісі
- Бизнесті бағалау
- Биология
- Бухгалтерлік іс
- Валеология
- Ветеринария
- География
- Геология, Геофизика, Геодезия
- Дін
- Ет, сүт, шарап өнімдері
- Жалпы тарих
- Жер кадастрі, Жылжымайтын мүлік
- Журналистика
- Информатика
- Кеден ісі
- Маркетинг
- Математика, Геометрия
- Медицина
- Мемлекеттік басқару
- Менеджмент
- Мұнай, Газ
- Мұрағат ісі
- Мәдениеттану
- ОБЖ (Основы безопасности жизнедеятельности)
- Педагогика
- Полиграфия
- Психология
- Салық
- Саясаттану
- Сақтандыру
- Сертификаттау, стандарттау
- Социология, Демография
- Спорт
- Статистика
- Тілтану, Филология
- Тарихи тұлғалар
- Тау-кен ісі
- Транспорт
- Туризм
- Физика
- Философия
- Халықаралық қатынастар
- Химия
- Экология, Қоршаған ортаны қорғау
- Экономика
- Экономикалық география
- Электротехника
- Қазақстан тарихы
- Қаржы
- Құрылыс
- Құқық, Криминалистика
- Әдебиет
- Өнер, музыка
- Өнеркәсіп, Өндіріс
Қазақ тілінде жазылған рефераттар, курстық жұмыстар, дипломдық жұмыстар бойынша біздің қор #1 болып табылады.
Ақпарат
Қосымша
Email: info@stud.kz