Есептерді нейрондық желілерімен баяндау
МАЗМҰНЫ
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР 14
1.1 Нейрондық желілердің элементтері 14
1.2 Нейрондық желілердің сәулеті 15
1.3 Есептерді нейрондық желілерімен баяндау 16
1.4 Желіге кіріс сигналдарын беру және шығыс сигналдарын алу 17
1.5 Нейрондық желілерді оқыту 18
1.5.1 Желінің жолдық параметрлері бойынша бағалау функциясының
градиентін есептеу 20
1.5.2 Нейрондық желі оқытуына әсер ететін факторлар 22
1.5.3 Нейрондық желілерді жеңілдету 23
1.5.4 Желі сигналдары мен көрсеткіштерін есептеу параметрлерінің
маңыздылық көрсеткіштерін есептеу 23
2 ЛОГИКАЛЫҚ МӨЛДІР НЕЙРОНДЫҚ ЖЕЛІЛЕР 25
2.1 Логикалық мөлдір нейрондық желілердің сәулеті 26
2.2 Нейрондық желі жеңілдету ережелері 27
2.3 Элементтердің бейсызықтығына қойылатын талаптар 28
2.4 Нейрондық желілерді логикалық мөлдір түрге келтіру 30
2.5 Нейрондық желілердің вербализациясы 31
3 МӘЛІМЕТТЕР ҚҰРЫЛЫМЫН ӨҢДЕУ АЛГОРИТМДЕРІН ЗЕРТТЕУ ЖӘНЕ ҚҰРУ 32
3.1 Мәліметтердің файлдық құрылымы 32
3.1.1 Кіріс және шығыс мәліметтері 32
3.2 Программаның объектілі-бағдарланған көрінісі 33
3.2.1 Программа жұмыс істеуінің негізгі қадамдары 35
3.3 Программа сәулетін зерттеп жасау 35
3.3.1 Объектілі-бағдарланған жобалау 35
3.3.2 Кластар және объектілер 37
3.3.3 Жүйенің программалық модульдерін жобалау 38
3.3.4 Программалық модульдерде қолданылатын кластарды баяндау 39
4 ПРОГРАММАНЫҢ СИПАТТАМАСЫ 46
4.1 Жалпы мәліметтер 46
4.2 Функционалдық арналуы 46
4.3 Логикалық құрылымның баяндалуы 46
4.4 Қолданылатын техникалық құралдар 46
4.5 Шақыру және жүктеу 47
4.6 Кіріс мәліметтері 47
4.7 Шығыс мәліметтері 47
4.8 Программаның хабарлары 47
4.8.1 Программаның менюі 47
4.8.2 Программаның құжаттарымен жұмыс істеудің жалпы принциптері 48
4.8.3 Диалогтық терезелері 50
4.8.4 Хабарлар 50
5 ПРОГРАММАЛАУШЫНЫҢ АНЫҚТАМАСЫ 52
5.1 Жалпы мәліметтер 52
5.2 Программаның құрылымы 52
5.3 Программаның күйін келтіру 53
5.4 Программаны тексеру 53
5.5 Қосымша мүмкіндіктері 53
5.6 Программалаушыға хабар 53
5.6 Оператордың анықтамасы 54
5.6.1 Программаның арналуы 54
5.6.2 Программа орындалу шарттары 54
5.6.3 Программаның орындалуы 54
5.6.4 Операторға хабар 54
6 КЕШЕНДІ ЕНДІРУДІҢ ЭКОНОМИКАЛЫҚ ТИІМДІЛІГІН ЕСЕПТЕУ 55
6.1 Программалық кешен зерттеп жасау қажеттілігін негіздеу 55
6.2 Программалық қамтама ендірудің экономикалық тиімділігін есептеу 56
6.2.1 Жүйе зерттеп жасау мен ендіру шығындарын есептеу 56
6.2.2 Жалақыға шығынды шығаруға арналған есептер 58
6.2.3 Материалдарға жұмсалатын шығындар 61
6.2.4 Ғылыми зерттеу жұмыстарына қажет арнайы аппараттарға кететін
шығындар 62
6.2.5 Басқа шығындар 62
6.3 Программалық қамтаманы енгізуінің тиімділігін есептеу 63
6.3.1 Енгізуге дейін шығынды есептеу 63
6.3.2 Көппараметрлі модель құру жүйесін енгізуден кейін шығынды
есептеу 64
6.3.3. Жүйенің өтеу мерзімі 64
6.3.4 Жылдық экономикалық эффект 65
7 Еңбек қорғау бөлімі 65
7.1 Жұмысшыға қауіптілік пен зияндылық төндіретін негізгі құрал-
жабдықтарды талдау 65
7.2 Негізгі қорғау шаралары 67
7.2.1 Жалпы ұйымдастыру шаралары 67
7.3 Өндірістік санитария 68
7.3.1 Өндірістік микроклимат 68
7.3.2 Психофизиологиялық факторлар 69
7.3.3 Электромагниттік сәулелену 69
7.4 Қауіпсіздік техникасы 72
7.5 Өрт қауіпсіздігі 73
7.6 Вентиляция жүйесін есептеу 74
7.7 Жарықтандыруды есептеу 76
АҢДАТПА
Бұл дипломдық жобада нейрондық желілер қаражаттық қатарлардың
деңгейін жорамалдауға қолданылады.
Экономикаға қатысты проблеманың бірі – қаражаттық қатарлар. Олар
күрделі жүйе болып табылады да, сондықтан математикалық модель құру
негізінде олардың тәртібінің динамикасын баяндау іс-жүзінде ешқандай табыс
әкелген жоқ. Бұл негізінен модельдердің тым жеңілдеуімен және де финанстық
деңгей тәртібіне смежный экономикалық жүйелердің әсер ету дәрежесін толық
білмеуімен түсіндіріледі. Нейрондық жүйелерді пайдалану ерекшелігі олардың
салыстырмалы түрдегі аз мінездемелерге сүйеніп қандай да болмасын
процессте заңдылықтарды таба ала білуде.
Жұмыс істеу кезінде нейрондық желілер бейсызықты апроксиматорымен
құрылады, ал ол аяғында жеткілікті түрдегі нақты тұрақты модель ретінде
құрылады және де осы модель дипломдық жобада баяндалады.
АННОТАЦИЯ
В данном дипломном проекте нейронные сети используются для
прогнозирования уровня финансовых рядов.
Одной из естественных проблем, касающихся экономики являются
финансовые ряды, которые представляют собой сложную систему, попытки
описания динамики его поведения, путем построения математических моделей,
к сожалению, как показала практика, не принесли успеха. Что в основном
объясняется сильной упрощенностью самих моделей, а также недостаточными
знаниями о степени влияния на поведение финансового уровня смежных
экономических систем. Особенностью использования нейронных сетей является
их уникальная возможность находить закономерности в поведении какого-либо
процесса, опираясь на относительно небольшое число его характеристик. В
процессе функционирования нейронные сети строятся нелинейным
аппроксиматором, который в конечном виде представляет собой достаточно
точную устойчивую модель, которая описывается в дипломной работе.
ANNOTATION
In this diploma project neirons of a network are used for
forecasting a level of financial numbers(lines). One of natural problems
concerning economy are financial numbers(lines), which represent
complex(difficult) system, attempts of the description of
dynamics(changes) of his(its) behaviour, by construction of mathematical
models, unfortunately, as the practice has shown, have not brought
success. That basically is explained strong of models, and also
unsufficient knowledge of a degree of influence on behaviour of a
financial level of adjacent economic systems.
Feature of use neirons of networks is their unique opportunity to
find laws in behaviour any of process, leaning(basing) on rather small
number of his(its) characteristics. During functioning neirons of a
network are under construction nonlinear approcsimators, which in a final
kind represents exact enough steady model, which is described in degree
work.
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР
Жасанды нейрондық желі ретінде ақпарат өңдеу есептеуіш құрылғысы
түсініледі. Ол байланыстар немесе синапстар деп аталатын ақпарат алмасу
бауларымен өзара байланысқан параллельді жұмыс істеуші қарапайым
процессорлық элементтердің үлкен сандары – нейрондардан тұрады. Нейрондық
желіде сыртқы әлемнен хабар алатын байланыстардың тобы және нейрондық
желінің берілетін сигналдарды алынатын шығыс байланыстардың тобы болады.
Нейрондық желілер классификация мен жобалаудың әр түрлі есептерін шешу
үшін қолданылады. Нейрондық желі "есептер жинағы" деп аталатын оқытушы
сұрыптау негізінде есепті шешуіне оқытылады. "Есептер жинағы" "кіріс –
қажетті шығыс" терімдер жинағынан құрылады да, одан әрі оқытушы
сұрыптауына кірмейтін мысалдарды шешу қабілетіне ие болады [1,2].
1.1 Нейрондық желілердің элементтері
Нейроақпараттануда алгоритмдер мен құрылғыларды суреттеуіне арналған
арнайы "схемотехника" арналып шығарылған, онда элементарлық құрылғылар -
сумматорлар, синапстар, нейрондар және т.с.с. есеп шешуге арналған
желілерге бірігеді.
Нейрожүйелердің ең еңбегі сіңген және маңызды элементі - адаптивті
сумматор. Адаптивті сумматор x кіріс сигналының векторының ( параметрінің
векторына скаляр көбейтіндісін есептейді. Схемаларда оны 1.1 суретте
көрсетілгендей белгілейміз. Сумматордың адаптивті деп аталу себебі - (-ның
қалпына келтірілетін параметрлерінің векторы бар болуына байланысты.
Көптеген есептер үшін шығыс сигналдардың сызықты біркелкісіз функциясының
бар болуы пайдалы. Оның есептеуін n+1 кірісі бар және 0-ші кірісіне
тұрақты бірлік сигнал алатын адаптивті сумматор түрінде келтіруге болады
(1.2 сурет).
1.3 суретте бейсызықты сигнал түрлендіргіші бейнеленген. Ол x
скалярлық кіріс сигналын алады да, оны ((x)-ке аударады.
Тараулану нүктесі бір сигналды бірнеше мекенжайларға жіберуі үшін
қызмет етеді (1.4 сурет). Ол x скалярлық кіріс сигналын алады және оны өз
шығыстардың бәріне тапсырады.
Сурет 1.1 - Адаптивті сумматор Сурет 1.2 - Біркелкісіз адаптивті
сумматор
Сурет 1.3 - Біркелкісіз сигнал түрлендіргіші Сурет 1.4 - Тараулану
нүктесі
Сурет 1.5 - Формальді нейрон
Стандартты формалдық нейрон кіріс сумматордан, бейсызықты
түрлендіргіштен және тараулану нүктесінен құрастырылған (1.5 сурет).
Сызықты байланыс - синапс –сумматорлардан бөлек кездеспейді, бірақ
кейбір ой жүгіртулер үшін мына элементті ерекше атап көрсету ыңғайлы (1.6
сурет). Ол x кіріс сигналын a "синапс салмағына" көбейтеді.
Сурет 1.6 - Сызықты байланыс (синапс)
Желінің синапстарының салмақтары адаптивті параметрлердің терімін
құрастырады, оларды реттей отырып нейрондық желі есепті шешуге оқиды.
Әдетте синапстардың салмақтарының өзгерту диапозонына қандай да бір шек
қойылады, мысалы, синапс салмағының [-1,1] диапозонына жатуы.
1.2 Нейрондық желілердің сәулеті
Нейрожелілік сәулеттерінің жиынынан екі негізгі сәулетін ерекше атап
көрсетуге болады – қабатты және толық байланысты.
Сурет 1.7 - Қабатты желі
Қабатты желілер: нейрондар бірнеше қабатта орналасқан (1.7 сурет).
Бірінші қабаттың нейрондары кіріс сигналдарын алады да, оларды
түрлендіріп, тараулану нүктелері арқылы екінші қабаттың нейрондарына
береді. Одан әрі екінші қабаты орындалады және т.с.с. шығыс сигналдарын
беретін k-шы қабатқа дейін. Егер басқа жағдай ерекше атап көрсетілмесе, i-
ші қабаттың әрбір шығыс сигналы i+1-ші қабаттың барлық нейрондарының
кірісіне беріледі. Әрбір қабатта нейрондардың саны кез келген болуы мүмкін
және басқа қабаттардағы нейрондардың санымен ешбір алдын ала
байланыспаған. Кіріс сигналдардың стандартты беру тәсілі: бірінші қабаттың
әрбір нейроны барлық кіріс сигналдарын алады. Үш қабатты желілер ерекше
тарату алды, оларда әрбір қабаттың өзінің аты бар: бірінші – кіріс, екінші
– жасырылу, үшінші – шығыс.
Толық байланысты желілер: нейрондардың бір қабаты бар; әрбір нейрон
өз шығыс сигналын қалған нейрондарға береді, өзіңе де қоса. Желінің шығыс
сигналдары барлығы немесе желі жұмыс істеуінің бірнеше сатылардан кейінгі
кейбір шығыс сигналдары бола алады. Барлық кіріс сигналдары нейрондардың
бәріне беріледі.
Қабатты мен толық байланысты желілердің элементтері әр түрлі таңдалуы
мүмкін. Дегенмен, стандартты таңдау бар – кірісінде адаптивті біркелкісіз
сызықты сумматоры бар нейрон (1.5 сурет).
Осы жұмыста одан әрі тек қабатты нейрондық желілер ғана
қарастырылатын болады, өйткені олар мәліметтерден білім өндіру есептерін
шешуге арналған ең үйлесімді (сәулеті бойынша) болады.
1.3 Есептерді нейрондық желілерімен баяндау
Оқытылатын нейрондық желілер шеше алатын есептердің екі класын атап
көрсетуге болады. Бұл классификация мен болжау есептері.
Күні бұрын айту немесе болжаудың есептері негізінен шығыс
мәліметтердің кіріс мәліметтеріне регресстік тәуелділікті құру есебі болып
табылады. Нейрондық желілер өте бейсызықты регресстік тәуелділіктерді
нәтижелі құра алады. Негізінен формализацияламаған есептер
шешілетіндіктен, пайдаланушыны ең алдымен түсінікті және теориялық
негізінде дәлелденген тәуелділікті құру емес, алдын ала болжаушы құралын
алуы ынталандырады, негізгі ерекшелігі де осында. Осындай құрылғының
болжауы бірден пайдаланылмайды – пайдаланушы нейрожелінің шығыс сигналын
өз білімдерінің негізінде бағалайды да, өзінің меншікті эксперттік
нәтижесін қалыптастырады. Оқытылған нейрондық желі негізінде техникалық
жүйеге арналған басқару құрылғысын жасайтын жағдайлар ғана ерекше болады.
Классификация есептерін шешкенде нейрондық желі қасиеттік кеңістікте
бөлуші бетін салады, ал жағдайдың бұл немесе басқа класқа жатуы туралы
шешімі дербес, желіге тәуелсіз құрылғысымен – желі жауабының
интерпретаторымен қабылданады. Ең қарапайым интерпретатор бинарлық
классификация (екі класқа классификациялау) есебін шешкенде пайда болады.
Бұл жағдайда желінің бір шығыс сигналы жеткілікті, ал интерпретатор,
мысалы, егер шығыс сигналы нольден кіші болса жағдайды бірінші класқа,
және егер ол нольден үлкен немесе нольге тең болса екінші класқа
жатқызады.
Бірнеше класқа классификациялау интепретатордың күрделендіруін талап
етеді. "Жеңуші барлығын ала кетеді" деген интерпретаторы кең қолданылады,
онда желінің шығыс сигналдарының саны кластардың санына тең, ал класс
нөмірі ең үлкен шығыс сигналының нөміріне сәйкес келеді.
Бір нейрон желісі бір уақытта бірнеше сандарды алдын ала болжай
алады, немесе классификация және болжаудың есептерін бір уақытта шеше
алады. Бірақ осындай түрлі жағдайдың қажеттілігі аса сирек кездеседі, және
әр түрлі мақсаттағы есептерді бөлек нейрондық желілерімен шешу жақсырақ
болады.
1.4 Желіге кіріс сигналдарын беру және шығыс сигналдарын алу
Әдетте желінің синапстарының салмақтарына қандай да бір диапозонына
жатуы талап етіледі. Нейрондардың ең жиі қолданылатын бейсызықты
функциялары қандай да бір диапозонынан мән қабылдайды. Бұл желіге кіріс
сигналдарын олардың нағыз диапозонында бере алмауына және керекті
диапозонында шығыс сигналдарын ала алмауына әкеліп соғады.
Сондықтан желіге кіріс сигналдарын беру алдында оларды нормалау
қажет, мысалы, оң болуы қажетті болса, [-1,1] немесе [0,1] мәндер
диапозонына, немесе кіріс сигналдары осы кесінділердің шектерінен тым асып
кетпеуін қадағалау қажет. Ең қарапайым нормалауды осылай орындауға болады.
Кіріс мәліметтер векторының әрбір компонентасы xi осындай мөлшермен
ауыстырылады:
,
(1.1)
мұндағы max xi мен min xi - бұл осы компонентаның бүкіл оқытушы
сұрыптауы бойынша есептелген максималды және минималды мәндері. Дәл осы
формула бойынша жауап векторының компоненттері қайта есептеледі.
Басқаша да нормалауға болады, мысалы, мәліметтер шашуы дербес
болатындай сұрыптауды түгендеу. Бірақ осында бір қиындық болады. Оқытушы
сұрыптаудың кез келген өзгертуі сәйкес тиісті мәліметтердің нормалау
ережесін де алмастыруы керек. Сондықтан әдетте осылай істейді: min және
max-мөлшерлері ретінде қазіргі кезеңінде бар есептер жинағынан
мәліметтерді алады, және де бұдан былай нормалауды алмастырмайды, ал егер
бұдан былай тым көп айырмашылығы бар мәліметтер түсетіні шамаланса, min
және max-мөлшерлері пайдаланушы бағалауларымен қойылады. Басқаша айтқанда,
бұл мөлшерлер желі құрылған кезеңінде енгізілуі керек және де бұдан былай
оқытушы сұрыптаудан тәуелді болмау қажет. Желінің шығыс сигналдары
айналған формулаларымен нағыз мәндердің диапозонына тиісті нормалануы
қажет .
Желілер-классификаторлар үшін шығыс сигналдарын нормалаудың қажеті
жоқ, өйткені пайдаланушы желінің шығыс сигналдарын емес, жауап
интерпретаторымен жағдайды бір немесе басқа бір класына жатқызу нәтижесін
алады. Осы жағдайда есептер жинағының әрбір шығыс векторы жауап
интерпретаторымен дұрыс өңделу үшін қайта құрылады. Мысалы, "жеңуші
барлығын ала кетеді" деген интерпретаторымен үш класқа классификациялау
кезінде класстың нөмірі үш сандарынан тұратын векторымен кодталады, онда
класс нөміріне лайықты вектордың компонентасы 1 деген мәніне ие болады, ал
қалған екеуі - -1 деген мән алады.
Басқа бір проблема - мәліметтердің кестесінде бос орындар болатын
жағдай болады. Мәліметтердің осындай жоқ болатын компоненталардың орнына
ноль беруге болады, оқытушы сұрыптауынан жинақтамаған векторларды шығаруға
болады, желіні оқыту алдында бос орындарын қандай да бір шынайы мәндерімен
толтыру есебін шешуге болады. Соңғысы дербес, жиі кездесетін және
жеткілікті түрдегі күрделі проблема болып табылады.
1.5 Нейрондық желілерді оқыту
"Есептер жинағында" нейрондық желіні оқыту дегеніміз желінің шығыс
сигналдары мен анықталуы қажетті сигналдарының арасындағы қандай да бір
байланыспау функционалын минимизациялауды айтамыз. Байланыспау
функционалын (бұдан былай бағалауды) минимизациялау деп желінің
нейрондарының ai оқытылатын параметрлерінің желі X сигналдарының кіріс
векторына талап етілетін Y жауабына барынша жақынырақ болатын Y' жауап
беретіндей жанастырылуы. Басқаша айтқанда, мысалдар саны N (яғни, N жұбы
үшін {Xi,Yi}, i=1,..,N) болатын есептер жинағы бағалаудың жиынтық
функциясының минимумына:
жетуі керек.
Норма функциясы ретінде Y-Y' векторының элементтерінің квадраттардың
сәйкес компонентті қосындысы (МНК бағалауы) немесе көбірек
мамандандырылған функциясы қарастырылады. Көбірек мамандандырылған
бағалауларды қолдану желіні оқыту процесін тездетеді. Дәл осылай, есептің
шешімінің дәлдігіне талаптар қоя алатын бағалаулар қолдануға болады. Бұл
пайдаланушыны қанағаттандыратын дәлдігіне жеткенде оқу процесін тоқтатуға
рұқсат етеді. Мысалы, люфт түрі келесідей болатын МНК бағалауын
пайдалануға болады:
,
(1.2)
мұндағы
Люфті ε болатын бағалаулары байланыспаудың берілген мөлшеріне
жеткенде оптимизацияны тоқтата алады.
Бағалау функциясының минимизациясы оптимизацияның градиентті
әдістерінің пайдалануымен орындалады. Желінің құрылымын қандай да бір
ережелерімен түрлендіріп, желінің шығысына шығыс сигналдарының бағалау
функцияларының жеке туындыларын беріп және екі жақты функционалдығын
қолдана отырып, біз желінің әрбір ішкі құрылған параметрі мен әрбір кіріс
сигналы үшін бұл параметрдің немесе сигналдың бағалау функцияларының жеке
туындыларын ала аламыз. Желінің параметрлерінің векторына сәйкес лайықты
жеке туындылардың векторы бағалау функциясының градиенті болады, сондықтан
бағалау функциясының градиентті ықшамдауы мүмкін, оның барысында нейрондық
желі оған берілетін кіріс сигналдарына талап етілетін жауаптар беруіне
"оқытылады". Желіні жиынтық градиенті (толық есептер жинағы бойынша
градиенті) бойынша оқыту жақсырақ болады, бұл оқыту процесін тездетеді,
және қарапайым градиентті түсірудің үстіне қосылатын мамандандырылған
оптимизация алгоритмдерін қолдану керек. Жиынтық градиентін есептеу үшін
есептер жинағының әрбір үлгісіне есептелетін градиенттердің векторларын
қосу керек, (барлығы N вектор).
1.5.1 Желінің жолдық параметрлері бойынша бағалау функциясының
градиентін есептеу
Енді қазір, желінің ішкі құрылған параметрлері бойынша бағалау
функциясының градиенті қалай есептелетінін қарастырайық. Градиентті
есептеу берілген нейрондық желісіне екі жақтылықты нейрондық желісінің
жұмыс істеуі кезінде іске асырылады . Екі жақтылықты желісінде сигналдар
кері бағытта беріледі – желісінің шығысынан оның кірісіне, ал екі
жақтылықты желі құрылатын элементтері, берілген элеметтеріне екі
жақтылықты болады. Ең алдымен желінің жеткілікті түрдегі абстрактілі
элементті қарап шығамыз. Оған xi айнымалыларының n мәндері беріледі,
олардың негізде f(x1,...xn) функциясының мәні есептеледі және де бұл мән m
шығыс байланыстарына жіберіледі. Екі жақтылықты желісінде бұл элемент
шығысында μ i екі жақтылықты сигналдарының m терімін алады да, олардың
қосындысын μ есептейді де әрбір n кірістеріне μ мен сигналдың сәйкес
кірісіне берілетін мәні бойынша жеке туынды функциясының f(x1,...xn)
туындысының көбейтіндісін береді. Бұл процесс 1.8 суретте көрсетілген.
Онда екі жақтылықты желі құрылғанда барлық тараулану нүктелері оларға екі
жақтылықты элементтеріне – қарапайым сумматорларға көшетіні көрінеді.
Сурет 1.8 - Нейрожелісінің абстрактілі элементінің тура және екі
жақтылықты функционалуы
Енді формалді нейронға екі жақтылықты нейронды құру процесін
қарастырамыз. Ол үшін формалді нейронды (1.5 сурет) толығырақ қарастырайық
(1.9 сурет), онда нейронның кіріс адаптивті сумматорын жұптық (синапс
салмағы мен синапсқа келуші сигналдың) көбейтіндісін есептейтін
элементтердің терімі мен қарапайым сумматор түрінде қарайық. Формалді
нейронды құрастыратын барлық элементтерін жоғарыда баяндалған екі
жақтылықты элемент құру ережеге сәйкес қайта құрамыз. Формалді нейронға
екі жақтылықты нейрон және оның жұмыс істеу ережелері 1.10-ші суретте
көрсетілген. Осында екі жақтылықты желіні құрғанда барлық қарапайым
сумматорлар оларға екі жақтылықты элементтеріне – тараулану нүктелеріне
өтетіні көрінеді. Осы фактіні көбірек көркемдеу үшін 1.9-ші суретте
адаптивті сумматорды қарапайым сумматоры мен синапстардың терімі түрінде
ұсынуы қолданылған болатын. Екі жақтылықты желісі формалді нейрондарға екі
жақтылықты нейрондарынан құрылады. Әрине, екі жақтылықты желілер
нейрондардың контрукциясы күрделірек болатын желілер үшін де құрылуы
мүмкін.
Сурет 1.9 - Формальді нейронның функционалуы
Сурет 1.10 - Формальді нейронның екі жақтылықты функционалуы
Сонымен, берілген желісіне екі жақтылықты желі құрылды. Енді қазір
соңғы қабаттың нейрондарының шығысына берілетін екі жақтылықты
айнымалыларын μ анықтаймыз. Екі жақтылықты желі көмегімен берілген
желісінің ішкі құрылған параметрлері бойынша бағалау функциясының
градиентін есептеу есебін шешу үшін, екі жақтылықты айнымалылары ретінде
желінің шығыс сигналдары бойынша бағалау функциясының жеке туындыларын H
алу қажетті. Онда желінің барлық элементтері мен кіріс сигналдары үшін бұл
параметрлердің мен сигналдардың мәндері бойынша бағалау функцияларының
жеке туындылары есептеп шығарылған болады.
Градиент есептеуіне екі жақтылықты желіні қолдану градиенттің бүкіл
векторын есептеу уақыты берілген желісінің әдеттегі жұмыс істеуі кезіндегі
шығыс сигналдарын есептеу уақытысынан не бары 2-3 есе үлкен болады. Бұның
себебі, барлық орындалатын әрекеттердің ұйымшыл болуы, есептеулердің
қайталаусыз іске асырылған, және де градиент барынша көп параллельді
тәртіпте есептеледі.
Градиенттің есептеуіне екі жақтылықты жұмыс істеуін қолдану үшін
нейрондық желілер мен бағалау функциясына қойылатын жалғыз талабы ол
бағалау функциялары мен желісінің барлық элементтерінің олардың кіріс
сигналдары бойынша үзіліссіз бірінші туындыларының бар болуы.
1.5.2 Нейрондық желі оқытуына әсер ететін факторлар
Нейрондық желісінің есепті дұрыс шешуіне оқытуының табыстылығы
тәуелді болатын факторларды қарастырайық. Ең алдымен, желі оқытушы
сұрыптаудың барлық үлгілерін дұрыс шешуге үйрену үшін жеткілікті түрде
иілгіш болу керек. Сондықтан нейрондық желісінде нейрондардың және
байланыстардың жеткілікті көлемі болу керек.
Оқытушы сұрыптау негізінде желіге қанша қабаттар мен нейрондар қажет
екенін анықтау жеткілікті түрде күрделі болады. Сондықтан әдетте осылай
жасайды. Желіні бағдарлама-нейроимитаторы үнсіз ұсынылып отырған
құрылымымен оқытады, ал бұдан былай, егер желі оқи алмаса, мөлшері
үлкенірек желісінің оқытуын байқайды. Тәжірибе жүзінде әр түрлі мақсаттағы
есептерді шешкенде нейрондардың саны жүзден асатын нейрожелі қажет болатын
жағдайлары сирек кездеседі, әдетте нейрондардың бірнеше ондығы немесе
тіпті одан да аз саны жеткілікті болады.
Бірақ, егер оқытушы сұрыптауы қарама-қайшы болса, нейрондық желісінің
мөлшерін арттыру көмектеспейді. Басқаша айтқанда, оқытушы сұрыптауда
шарттары бірдей, бірақ жауаптары әр түрлі (мәліметтердің кіріс векторлары
бірдей, бірақ шығыс векторлары әр түрлі) есептері бар. Ондай есептерді
нейрондық желісі оқи алмайды. Осында қарама-қайшы жағдайды шешу проблемасы
пайда болады. Сондай дау-жанжалды үлгілердің көрінуі, мысалы, кіріс
белгілердің терімі жеткіліктіліксіздігінен болады, өйткені қасиетті
кеңістікті кеңейту кезінде дау-жанжалды үлгілерге қосылатын белгінің әр
түрлі мәндері сәйкес келуі мүмкін, сондықтан критикалық жағдайы таусылған
болады. Қалай болса да, пайдаланушы мына проблеманы тиісті түрде шешуі
қажет, тіпті қарапайым түрде - есептер жинағынан дау-жанжалды үлгілерді
шығаруы арқылы.
Нейрондық желісін оқытуынан кейін оқытушы сұрыптауына кірмеген
есептерді шешудің дәлдігін анықтау үшін оны тест сұрыптауда сынақтау
қажетті. Дұрыс шешімінің дәлдігі оқытушы сұрыптауының таныстырылушылығынан
өте қатты тәуелді болады. Әдетте әр түрлі проблемдық облыстардағы әртүрлі
формализацияламаған есептердің шешімін тапқандағы тест сұрыптауы бойынша
дұрыс жауаптарының 70-90% дәлдігі дәл осы есептерді сарапшы-маман
шешкендегі дұрыс жауаптардың пайызына сай болады.
1.5.3 Нейрондық желілерді жеңілдету
Желінің параметрлерінің және кіріс сигналдарының жиынын қысқарту
бірнеше мақсаттары үшін іске асырылады:
а) нейрондық желісінің келешекті аппараттық іске асырылуын оңайлатуы;
ә) қолданылатын жады көлемін қысқарту және бағдарлама–
нейроимитаторлардың тез әрекеттігін жоғарылату;
б) мәліметтер көлемінің қысқарту салдарынан мәліметтер жинау
процесінің арзандатуы; кіріс мәліметтердің азырақ көлемі негізінде есепті
шешу мүмкіншілігі;
в) процесс интерпретациясы мен мәліметтер өңдеудің нәтижелерінің
айқын ауызша түсіндірулерін қамтамасыз ету (немесе жеңілту).
Нейрондық желісін оңайлату (контрастирование) желіден ең аз мәнді
элементті алып тастап, одан әрі қайта оқытудың тізбекті процесі ретінде
құрылады. Егер оңайлату қадамынан кейін, талаптанатын дәлдікке шейін
желіні қайта оқыту мүмкін емес болса, онда алдыңғы қадамындағы алынған
желіге қайтып келіп, оңайлату процесін аяқтаймыз.
Әрине, көбірек күрделі оңайлату алгоритмдерін құруға болады, мысалы,
бір элементті емес, бірнеше элементті қарама-қарсы қою және т.с.с. Желіге
алдыңда қарама-қарсы қойылған параметрлерді қосуға болады. Іс жүзінде,
желі модификацияланды (параметрлердің бір бөлігі нольге айналды, ал
қалғандары есепті жақсырақ шешу үшін өзгертілді). Осыған орай, бұрын алып
тасталынған параметрлердің салыстырмалы маңыздылығы да өзгерді. Осы жаңа
салыстырмалы маңыздылығын анықтап, (бұрын алып тасталынған) ең мәнді
параметрлеріне лайықты элементтерді желіге қайтаруға болады. Бұл бұдан
былай параметрлердің үлкен санын қарама-қарсы қоюға көмектесе алады.
Келесі бөлімінде маңыздылық көрсеткіштерінің есептеу процедурасын
суреттеп айтамыз.
1.5.4 Желі сигналдары мен көрсеткіштерін есептеу параметрлерінің маңыздылық
көрсеткіштерін есептеу
Нейрондық желісінде координаталары xji, j=1,..,n болатын xi, i=1,..,N
(есептер жинағы) мәліметтердің n-өлшемді векторлардың терімі,
координаталары ak, k=1,..,M болатын бар a параметрлерінің M-өлшемді
векторы және x мәліметтер векторының a параметрлерімен желінің жұмысын
бағалайтын қандай да бір H(x,a) бағалау функциясы бар. Желісінің ең аз
мәнді ak параметрлерін мен xj сигналдарын бөліп алып, бұл параметрлер мен
мәліметтердің компоненттерін алып тастап, желіні түрлендіру қажет[1-3].
Әрбір ak үшін қандай да бір ak0 мәні анықталған және ak қысқарту
ak=ak0 деген теңестіруді білдіреді. Дәл осылай мәліметтердің әрбір xj
компонентасы мен кез келген xi үлгісі үшін xji0 анықталған және i–ші
үлгісі үшін мәліметтердің j-ші компонентасын алып тастау xj = xji0 деген
теңестіруді білдіреді.
Осындай процедура баяндауды қысқарту процедурасының қайта анықтауда
өте үлкен бостандықты береді. Ең қарапайым негізгі вариант ретінде әрбір i
үшін ak0=0 деп қарастырамыз.
Параметрлер нольге айналып, мәліметтер сұрыптаудың орташа мәнімен
ауыстырылады. Мысалы, [-1,1] диапазонына нормаланған мәліметтер жағдайында
xji0 ретінде, әрине, ноль алынады.
Маңыздылық көрсеткіштері екі кезеңімен анықталады: ең алдымен олар
мәліметтердің (үлгінің) бір векторы үшін, ал одан кейін – бүкіл сұрыптауы
бойынша есептеледі.
xp мәліметі үшін ak мен xj маңыздылықтары осылайша бағаланады:
,
(1.3)
, (1.4)
мұндағы ( - баяндауды қысқартқандағы H өзгерісінің сызықты жуықтауда
есептелген абсолютті шамалары.
Бүкіл есептер жинағы бойынша бағалау қандай да бір норманы
пайдаланып, мысалы, модульдерінің қосындысы түріндегі норманы пайдаланып
есептелінеді:
; ,
(1.5)
немесе модульдерінің максимумы.
, (1.6).
Мысалы, оқыту кезінде, өзінің параметрлерін өзгертетін жүйені өте жиі
кездестіруге болады. Сонда маңыздылық туралы шешім қабылау сәтіне әр түрлі
нүктелердегі a=a1,..,aq H дербес туындылар туралы ақпарат жиналуы мүмкін.
Онда бір мәліметтердің векторы үшін маңыздылық көрсеткіштері осылай
есептеледі:
, (1.7)
, (1.8).
Туындылардың абсолютті мәндері орташаландырылады, ал өсімше қысқарту
процедурасы іске асырылатын нүктесінде алынады. Одан әрі бүкіл сұрыптауы
бойынша маңыздылық көрсеткіштері белгілі бір норма бойынша
орташаландырылады.
Осындай тәсілмен есептелген маңыздылық көрстекіштерін пайдалану
желінің кіріс сигналдарының (есепті дұрыс шешуге қажетті қасиеттердің
минималды терімі ғана қалады) және элементтерінің санын өте қатты
қысқартуға мүмкіндік береді.
Егер желіден адаптивті элементтерді алып тастамай, олардың мәндерін
белгіленген мәндердің ақырғы теріміне келтіру қажет болса, онда әрбір ak
үшін ak0 ретінде ak ең жақын белгіленген мәні алынады. Осындай есеп,
мысалы, желінің синапстарының салмақтарын бинаризациясы кезінде –
синапстарының салмақтарын –1 немесе 1 деген шамаларға келтіру - пайда
болады.
2 ЛОГИКАЛЫҚ МӨЛДІР НЕЙРОНДЫҚ ЖЕЛІЛЕР
Желі қандай да бір есепті шешуіне оқытылған соң, оның дұрыс жауаптар
алуына қандай ережелер қолданылатыны әдетте анық емес. Желі есептер
жинағынан (мәліметтердің кестесінен) жасырын білім жасады – күні бұрын
айту немесе классификациялау дағдысын ұйымдастырады, бірақ осы дағдының
логикалық құрылымы пайдаланушыға мәлімсіз қалады. Осындай жағдай өте қатты
көңілде қалады: өйткені, нейрондық желілердің негізінде
формализацияламаған есептер (шешу алгоритмі белгісіз болатын есептер) жиі
шешілетіндіктен, желіні тіпті табысты оқыту есепті шешу процесін түсінуіне
жақындатпай, бізге тек қандай да бір қарапайым есептеуіш құрылғысын
береді. Іс жүзінде, желінің жұмыс істеуін сигналдардың үлкен көлемін
жіберу, қосу және өзгерту ретінде суреттеп айтуға болады, бірақ ұғымдық
интерпретациясы аса қатты күрделендірілген. Бұл факті нейрондық желісінің
логикалық мөлдірліксіздігі деп аталады.
Бұрынырақ нейрондық желілерді оңайлатуына арналған процедуралары
суреттелген болатын. Бұл процедураларды желісінің құрылымы логикалық
мөлдір болатындай нейрондық желісін оңайлатуына қолдануы туралы болжамы
пайда болады. Логикалық мөлдір желі деп құрылымы бойынша пайдаланушыға
түсінікті есепті шешу алгоритмін оңай құра алатын желіні айтамыз [2,5].
Нейрондық желісінің логикалық мөлдірлігінің фундаментальді белгілерін
енгіземіз.
2.1 Логикалық мөлдір нейрондық желілердің сәулеті
Нейрондық желілердің сәулетін қарап шығып, олардың ішінен ең
логикалық мөлдірлерді ерекше белгілейміз. Әдетте, сәулет нейрондық желі
құру барысында таңдалады және де қарама-қарсы қою процедуралары
оқиғалардың басым көпшілігінде сәулеттің өзгертуіне әкеліп соқтырмайды,
сондықтан алдын ала логикалық мөлдір нейрожелілік сәулеттердің класын
бөліп алу мүмкіншілігі бар және де бұдан былай желі құру кезеңінен бастап
оны логикалық мөлдір түрге келтіруіне шейін тек олармен жұмыс істеуге
болады.
Нейрожелілік сәулеттердің логикалық мөлдірліктің белгілері желінің ең
қарапайым техникалық іске асырылу белгілерімен сәйкес келуге міндетті емес
– бұл әр түрлі есептер ғой. Сондықтан логикалық мөлдірлер ретінде тек қана
қабатты сәулетті желілерді қолдану мүмкін болады (1.7 сурет). Қабатты
желілер есепті шешудің дұрыс жолы туралы біздің ұсынуымызға ең талапқа сай
болып келеді. Атап айтқанда, қабатты желілерде кіріс белгілердің терімінің
бірінші қабаттағы нейрондарына таратуы болады, бірінші қабаттағы
нейрондары түскен сигналдары негізінде иерархияның келесі деңгейінің
белгілерін генерациялайды және т.с.с. Желі сәулетінде қандай да болмасын
циклдардың болуы есептеулердің графы бойынша белгілердің қозғалу процесін
қадағалауды қиындатады.
Кез келген сәулетті нейрожелілер қабатты желілер түрінде келтірілуі
мүмкін. Жалғыз шегі – желіде шексіз циклдердің болмауы. Басқаша айтқанда,
циклдері бар желілерде (толық байланысты және оларға туысқандардың)
желінің жұмыс істеу процесі белгілі тактілерден кейін үзілуі тиіс. Іс
жүзінде, жұмыс істеу циклдарының саны алдын ала белгісіз толық байланысты
сәулетті желілер бар. Осындай желілердің жұмыс істеуі шығысында қандай да
бір тепе-теңдік күй-жағдайдың (мысалы, жаңа цикл желінің шығыс
сигналдарының мәндерін ойдағыдай түрде өзгермейтін жағдай) орнығуынан
кейін үзіледі. Бұл уақытта желіге берілетін әрбір үлгі үшін жұмыс істеу
циклдарының саны әр түрлі болады. Бұндай желілер логикалық мөлдір түрге
келтіру үшін аз жарамды.
Сонымен, қабатты сәулетті нейрожелілері логикалық мөлдір ретінде
жазып қойылған. Қабатты сәулетті көбірек логикалық мөлдір түрге келтіруі
мүмкін болады, атап айтқанда, қабатты желіні біртектіге түрлендіру.
Біртектілікті тек қана қабатты сәулетіне қолдануға болатыны міндетті
емес. Біртектілікті желі ретінде әрбір қалпына келтірілетін параметрлері
мен сигналдары (кіріс және ішкі) үшін осы параметр немесе сигналдың мәнін
үлкейткенде немесе азайтқанда желінің шығыс сигналы қалай өзгеретіні
(үлкейеді немесе азаяды) туралы сөз айтуға болатын болса. Біртектілікті
желіде қоздыратын және тежейтін параметрлердің топтары бөліп көрсетілген,
олардың мәндерін арттыру кезінде желінің шығыс сигналдарын арттырады
(қоздыратын параметрлер үшін) немесе кемітеді (тежейтіндер үшін), ал бұл
параметрлерді азаюы керісінше әсер етеді.
Біртектілікті желісінің шығыс қабатынан басқа әрбір қабаты, екі
блокқа бөлінген: қоздыратын (В) және тежейтін (Т). Блоктар арасындағы
байланыстар екі түрге бөлінеді: қоздыратындар (+) және тежейтіндер (-).
Нейрондардың бейсызықты түрлендіргіштеріне шығыс сигналының параметрлерден
және кіріс сигналдарынан біртекті тәуелділікте болуына талап қойылады.
Қоздыратын және тежейтін блоктардың қоздыратын және тежейтін байланыстар
арқылы өзара байланысы 2.1 суретте көрсетілген. Қоздыратын блоктан
қоздыратынға және тежейтін блоктан тежейтінге қоздыратын байланыстар
жүргізеді, ал қоздыратын блоктан тежейтінге және тежейтін блоктан
қоздыратынға тежейтін байланыстар жүргізеді. Шығыс блогына сигналдар
қоздыратын блоктан қоздыратын байланыстар арқылы, ал тежейтін блоктан –
тежейтіндері арқылы келеді. Біртектілікті желіні оңайлатуы кезінде
қоздыратын және тежейтін қабаттардың жалпы кіріс сигналдардың санын
минимизациялау қосымша талабы қойылады. Арманда осындай талап кіріс
сигналдардың жиынын қоздыратын және тежейтін сигналдардың қиылыспайтын
ішкі жиындарына бөлшектеуіне ерітіп әкеледі.
Cурет 2.1 - Біртектілікті желі
2.2 Нейрондық желі жеңілдету ережелері
Сәулетке қойылатын талаптарды жазып қойып, желіні көбірек логикалық
мөлдір жасайтын, одан ең аз мәнді кіріс сигналдары және элементтерін
шығаратын белгілердің терімін анықтаймыз. Бұл белгілердің негізде желіні
идеал логикалық мөлдір күй-жағдайына жақындататын сандық және сапалық
бағалауларды құруға болады. Нақ осы белгілер пайдаланушыларымен маңыздылық
дәрежесі бойынша бөлінетін болады және де пайдаланушылар нақ осы
белгілердің тобына логикалық мөлдірліктің жаңа белгілерін қоса алатын
болады.
Бұл белгілерді атап өтейік:
а) желіде неғұрлым нейрондардың қабаттардың саны азырақ болса,
соғұрлым ол көбірек логикалық мөлдір болады. Алайда қабаттардың саны алдын
ала желі құру кезінде белгілі болады. Бұл белгі желі қабаттарының саны
шамадан тыс артық болғандағы және қарама-қарсы қоюдан кейін алдыңғы
қабаттан кейінгі қабатына қарапайым ақпарат жіберуші болатын бөлек
нейрондардың (немесе нейрондардың қабаттары) пайда болуы кезіндегі
жағдайларда маңызды болады. Ондай нейрондардың жалғыз кірісі болады (және
сонымен қатар оларда жалғыз шығысы бола алады). Бұндай нейрондарды
мүмкіншілігі болса, тиісті ақпарат жіберуші сызықтарымен ауыстыру керек.
Бірақ әдетте керексіз қабаттардан толық құтылу сәтті бола бермейді,
сондықтан логикалық мөлдірліктің белгісінің ақырғы формулировкасын
енгізуге болады – желіде кірісінен шығысына сигналдардың өту жолында
неғұрлым нейрондардың саны аз болса, соғұрлым жақсырақ болады;
ә) желінің әрбір қабатында неғұрлым нейрондардың саны азырақ болса,
соғұрлым жақсырақ болады. Бұл факті түсіндіруді талап етпейді – біз
желінің әрбір қабатының генерацияланатын сигналдардың санын
минимизациялаймыз, бұл тек қана нақты мәнді аралық сигналдарды
(белгілерді) қалдыруға рұқсат етеді;
б) желінің кіріс сигналдарының саны неғұрлым азырақ болса, соғұрлым
жақсырақ болады. Бұл белгі қасиеттердің " даңғыр өрісін " алып тастауына
көмектеседі. Есепті дұрыс шешу үшін минималды қажетті ең мәнді кіріс
белгілердің терімін қалдырады;
в) бір нейронына келетін сигналдарының саны неғұрлым азырақ болса,
соғұрлым жақсырақ. Бұл бекіту адам бір уақытта заттардың аз санымен жұмыс
істей алады деген фактіге сүйенеді. Бір нейронға келетін сигналдарының
санын минимизациялап, біз пайдаланушыға нейрон генерациялайтын қасиеттің
мазмұндық ұғыну есебін жеңілдетеміз, және де қасиетке ат беруіне
көмектесеміз. Бірақ та осы белгіні модификациялау және желінің біркелкі
қарапайымдылық белгісін енгізу қажет – желінің әрбір нейронына n-нан көп
емес сигнал келу тиіс, мұндағы n жеткілікті түрде аз (2-3, бірақ
пайдаланушымен де берілуі мүмкін);
г) желіде синапстардың жалпы саны неғұрлым азырақ болса, соғұрлым
жақсырақ болады. Бұл белгі нейрондық желісінің барлық керексіз синапстарын
жояды;
д) сигнал берілетін синапс нейронның біркелкісіз кірісінен логикалық
мөлдір емес. Шынында да, нейронның біркелкісіз кірісі – ол жай ғана
тұрақты, оның синапстан айырмашылығы, синапс оған түсетін сигналдың
шамасын өзінің салмағына көбейтеді. Сондықтан, желіден ең алдымен
синапстар шығарылуы тиіс, ал тек содан соң ғана – адаптивті сумматорлардың
біркелкісіз кірістері:
е) қалпына келтірілетін параметрлерінің мәндерін белгіленген
мәндердің ақырғы теріміне келтіруі қажет. Желінің параметрлерінің
бинаризациясы қажетті – синапстарының салмақтарын мағыналарға -1 және 1
деген мәндеріне келтіру.
2.3 Элементтердің бейсызықтығына қойылатын талаптар
Нейрондық желілері арқылы кез келген үзіліссіз функцияны нейрондардың
кез келген бейсызықтығы бар болғанда қандай да болмасын дәлдігімен
жақындатуға болатындығы туралы теорема бар [4]. Ол үшін кез келген
бейсызықты функциясының бар болуы жеткілікті. Бірақ есептің шешімін
тапқанда желіні логикалық мөлдір түрге келтірудің осындай зор
мүмкіндіктері бізге керек емес – қарапайым интерпретацияны рұқсат ететін
бейсызықты функцияларымен қанағаттану керек. Бейсызықты функциялардың ең
қарапайымы – бірлік функция. Егер бірлік бейсызықты функциясы бар нейронға
келетін сигналдарының қосындысы 0-ден кіші немесе тең болса, одан әрі
нейронның шығыс сигналына назар аудармауға болады – ол нольге тең болады
да және келесі қабаттың нейрондарымен берілетін мәндеріне әсер етпейеді.
Егер кіріс сигналдарының қосындысы нольден үлкен болса, нейрон бірлік
шығыс сигналын генерациялайды және де осында тағы да бізге сигналдың
мөлшері емес, нейронға әсер ету қандай да бір критикалық деңгейден асады
да, нейрон қозды. Осындай босағалық нейрондар ең қарапайым интерпретацияны
рұқсат етеді.
Бірақ нейрондық желісін екі жақтылық әдісімен оқыту үшін нейрондардың
бейсызықты функциясының үзіліссіз бірінші ретті туындының болуы қажетті,
ал ол босағалық нейронға жетпейді. Сондықтан қандай да бір үзіліссіз
дифференциалданатын функцияларды қолданатын және желіні одан әрі оқыту
керек емес болған жағдайда босағалықтарға көшетін жолын ұсынуға болады.
Нейронның ең жиі қолданылатын бейсызықты функциясының біреуінің -
f(A)=A(c+A) сигмоидты функцияны қарап шығамыз. Мұндағы c – қалпына
келтірілетін параметрі. Функцияның үзіліссіз бірінші ретті туындысы бар
және де ол [-1,1] диапазонынан мәндерді қабылдайды. c-ның ( ұмтылуы
жайпақ сигмоидты, 0-ге ұмтылуы - sgn(A) босағалық функциясына жақын
сигмоидты және нольдік кіріс сигналы кезінде үшінші тұрақты күй – жағдайы
– ноль болатын сигмоидты береді. Бірақ c-ның мәні – сигмоидтық
функциясының тікелік параметрі – әдетте, желі құру кезінде барлық
нейрондарына бірдей етіп орналастырылады және де оқытылатын параметрлердің
қатарына қосылмайды, өйткені бұл көп жағдайда нейрондық желісінің интер-
мен экстраполяциялық қабілеттіліктерінің нашарлауына әкеледі. Шынында да,
нейрондық желі алғашқыда үлкен болатындықтан, оған әдетте, есепті шешуге
оңай үйрену үшін регресстік тәуелділікті құрудың орнына есептер
жинағындағы функциялардың терімін дельта-функцияларға жақындарға (ал,
нақтырақ айтсақ, " колокол тәріздес " функциялардың терімі) жақындату
жеңіл болады.
Осы кезде оқыту кезінде тікелік параметрлері нольге ұмтылады.
Нейрондық желісінен аз мәнді кіріс сигналдары және элементтерді алып
тастау нейрондық желісінің артықшылық пен иілгіштігін төмендетеді,
сондықтан желінің артықшылығын одан әрі төмендету үшін сигмоиданың тікелік
параметрлерінің оқытуын бастау мүмкіншілігі туады.
Нейронның қалпына келтірілетін с параметрін оқыту желінің қарама-
қарсы қоюға қажетті барлық синапстары қарама-қарсы қойылғаннан кейін іске
асырылады. Егер берілген нейронда тек қана бір кіріс синапсы қалса, онда
осындай нейрон тек алдындағы қабаттан келесі қабатқа қарапайым сигнал
жіберуші болып табылады. Осындай нейронды бірлік салмақты адаптивті емес
синапсымен ауыстырып, нейрон өзінің сигналдарын жіберген (немесе желінің
бүкіл синапстарын) синапстарын жанастырып желіні қайта оқыту арқылы одан
құтылуға талаптануға болады.
Егер осындай қайта оқыту мүмкін емес болса, онда осы нейронның
бейсызықтығы есепті дұрыс шешу үшін шыңымен керек екенін көреміз де, ондай
нейронды қалдыру қажет болады.
Егер нейронда бірнеше кіріс сигналдары болса, немесе нейронды сызықты
байланыспен ауыстыру мүмкін емес болса, онда нейронның бейсызықты
функциясын босағалық түріне келтіруге талпынуға болады.
Мұнда бейсызықты функцияның ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР 14
1.1 Нейрондық желілердің элементтері 14
1.2 Нейрондық желілердің сәулеті 15
1.3 Есептерді нейрондық желілерімен баяндау 16
1.4 Желіге кіріс сигналдарын беру және шығыс сигналдарын алу 17
1.5 Нейрондық желілерді оқыту 18
1.5.1 Желінің жолдық параметрлері бойынша бағалау функциясының
градиентін есептеу 20
1.5.2 Нейрондық желі оқытуына әсер ететін факторлар 22
1.5.3 Нейрондық желілерді жеңілдету 23
1.5.4 Желі сигналдары мен көрсеткіштерін есептеу параметрлерінің
маңыздылық көрсеткіштерін есептеу 23
2 ЛОГИКАЛЫҚ МӨЛДІР НЕЙРОНДЫҚ ЖЕЛІЛЕР 25
2.1 Логикалық мөлдір нейрондық желілердің сәулеті 26
2.2 Нейрондық желі жеңілдету ережелері 27
2.3 Элементтердің бейсызықтығына қойылатын талаптар 28
2.4 Нейрондық желілерді логикалық мөлдір түрге келтіру 30
2.5 Нейрондық желілердің вербализациясы 31
3 МӘЛІМЕТТЕР ҚҰРЫЛЫМЫН ӨҢДЕУ АЛГОРИТМДЕРІН ЗЕРТТЕУ ЖӘНЕ ҚҰРУ 32
3.1 Мәліметтердің файлдық құрылымы 32
3.1.1 Кіріс және шығыс мәліметтері 32
3.2 Программаның объектілі-бағдарланған көрінісі 33
3.2.1 Программа жұмыс істеуінің негізгі қадамдары 35
3.3 Программа сәулетін зерттеп жасау 35
3.3.1 Объектілі-бағдарланған жобалау 35
3.3.2 Кластар және объектілер 37
3.3.3 Жүйенің программалық модульдерін жобалау 38
3.3.4 Программалық модульдерде қолданылатын кластарды баяндау 39
4 ПРОГРАММАНЫҢ СИПАТТАМАСЫ 46
4.1 Жалпы мәліметтер 46
4.2 Функционалдық арналуы 46
4.3 Логикалық құрылымның баяндалуы 46
4.4 Қолданылатын техникалық құралдар 46
4.5 Шақыру және жүктеу 47
4.6 Кіріс мәліметтері 47
4.7 Шығыс мәліметтері 47
4.8 Программаның хабарлары 47
4.8.1 Программаның менюі 47
4.8.2 Программаның құжаттарымен жұмыс істеудің жалпы принциптері 48
4.8.3 Диалогтық терезелері 50
4.8.4 Хабарлар 50
5 ПРОГРАММАЛАУШЫНЫҢ АНЫҚТАМАСЫ 52
5.1 Жалпы мәліметтер 52
5.2 Программаның құрылымы 52
5.3 Программаның күйін келтіру 53
5.4 Программаны тексеру 53
5.5 Қосымша мүмкіндіктері 53
5.6 Программалаушыға хабар 53
5.6 Оператордың анықтамасы 54
5.6.1 Программаның арналуы 54
5.6.2 Программа орындалу шарттары 54
5.6.3 Программаның орындалуы 54
5.6.4 Операторға хабар 54
6 КЕШЕНДІ ЕНДІРУДІҢ ЭКОНОМИКАЛЫҚ ТИІМДІЛІГІН ЕСЕПТЕУ 55
6.1 Программалық кешен зерттеп жасау қажеттілігін негіздеу 55
6.2 Программалық қамтама ендірудің экономикалық тиімділігін есептеу 56
6.2.1 Жүйе зерттеп жасау мен ендіру шығындарын есептеу 56
6.2.2 Жалақыға шығынды шығаруға арналған есептер 58
6.2.3 Материалдарға жұмсалатын шығындар 61
6.2.4 Ғылыми зерттеу жұмыстарына қажет арнайы аппараттарға кететін
шығындар 62
6.2.5 Басқа шығындар 62
6.3 Программалық қамтаманы енгізуінің тиімділігін есептеу 63
6.3.1 Енгізуге дейін шығынды есептеу 63
6.3.2 Көппараметрлі модель құру жүйесін енгізуден кейін шығынды
есептеу 64
6.3.3. Жүйенің өтеу мерзімі 64
6.3.4 Жылдық экономикалық эффект 65
7 Еңбек қорғау бөлімі 65
7.1 Жұмысшыға қауіптілік пен зияндылық төндіретін негізгі құрал-
жабдықтарды талдау 65
7.2 Негізгі қорғау шаралары 67
7.2.1 Жалпы ұйымдастыру шаралары 67
7.3 Өндірістік санитария 68
7.3.1 Өндірістік микроклимат 68
7.3.2 Психофизиологиялық факторлар 69
7.3.3 Электромагниттік сәулелену 69
7.4 Қауіпсіздік техникасы 72
7.5 Өрт қауіпсіздігі 73
7.6 Вентиляция жүйесін есептеу 74
7.7 Жарықтандыруды есептеу 76
АҢДАТПА
Бұл дипломдық жобада нейрондық желілер қаражаттық қатарлардың
деңгейін жорамалдауға қолданылады.
Экономикаға қатысты проблеманың бірі – қаражаттық қатарлар. Олар
күрделі жүйе болып табылады да, сондықтан математикалық модель құру
негізінде олардың тәртібінің динамикасын баяндау іс-жүзінде ешқандай табыс
әкелген жоқ. Бұл негізінен модельдердің тым жеңілдеуімен және де финанстық
деңгей тәртібіне смежный экономикалық жүйелердің әсер ету дәрежесін толық
білмеуімен түсіндіріледі. Нейрондық жүйелерді пайдалану ерекшелігі олардың
салыстырмалы түрдегі аз мінездемелерге сүйеніп қандай да болмасын
процессте заңдылықтарды таба ала білуде.
Жұмыс істеу кезінде нейрондық желілер бейсызықты апроксиматорымен
құрылады, ал ол аяғында жеткілікті түрдегі нақты тұрақты модель ретінде
құрылады және де осы модель дипломдық жобада баяндалады.
АННОТАЦИЯ
В данном дипломном проекте нейронные сети используются для
прогнозирования уровня финансовых рядов.
Одной из естественных проблем, касающихся экономики являются
финансовые ряды, которые представляют собой сложную систему, попытки
описания динамики его поведения, путем построения математических моделей,
к сожалению, как показала практика, не принесли успеха. Что в основном
объясняется сильной упрощенностью самих моделей, а также недостаточными
знаниями о степени влияния на поведение финансового уровня смежных
экономических систем. Особенностью использования нейронных сетей является
их уникальная возможность находить закономерности в поведении какого-либо
процесса, опираясь на относительно небольшое число его характеристик. В
процессе функционирования нейронные сети строятся нелинейным
аппроксиматором, который в конечном виде представляет собой достаточно
точную устойчивую модель, которая описывается в дипломной работе.
ANNOTATION
In this diploma project neirons of a network are used for
forecasting a level of financial numbers(lines). One of natural problems
concerning economy are financial numbers(lines), which represent
complex(difficult) system, attempts of the description of
dynamics(changes) of his(its) behaviour, by construction of mathematical
models, unfortunately, as the practice has shown, have not brought
success. That basically is explained strong of models, and also
unsufficient knowledge of a degree of influence on behaviour of a
financial level of adjacent economic systems.
Feature of use neirons of networks is their unique opportunity to
find laws in behaviour any of process, leaning(basing) on rather small
number of his(its) characteristics. During functioning neirons of a
network are under construction nonlinear approcsimators, which in a final
kind represents exact enough steady model, which is described in degree
work.
1 ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР
Жасанды нейрондық желі ретінде ақпарат өңдеу есептеуіш құрылғысы
түсініледі. Ол байланыстар немесе синапстар деп аталатын ақпарат алмасу
бауларымен өзара байланысқан параллельді жұмыс істеуші қарапайым
процессорлық элементтердің үлкен сандары – нейрондардан тұрады. Нейрондық
желіде сыртқы әлемнен хабар алатын байланыстардың тобы және нейрондық
желінің берілетін сигналдарды алынатын шығыс байланыстардың тобы болады.
Нейрондық желілер классификация мен жобалаудың әр түрлі есептерін шешу
үшін қолданылады. Нейрондық желі "есептер жинағы" деп аталатын оқытушы
сұрыптау негізінде есепті шешуіне оқытылады. "Есептер жинағы" "кіріс –
қажетті шығыс" терімдер жинағынан құрылады да, одан әрі оқытушы
сұрыптауына кірмейтін мысалдарды шешу қабілетіне ие болады [1,2].
1.1 Нейрондық желілердің элементтері
Нейроақпараттануда алгоритмдер мен құрылғыларды суреттеуіне арналған
арнайы "схемотехника" арналып шығарылған, онда элементарлық құрылғылар -
сумматорлар, синапстар, нейрондар және т.с.с. есеп шешуге арналған
желілерге бірігеді.
Нейрожүйелердің ең еңбегі сіңген және маңызды элементі - адаптивті
сумматор. Адаптивті сумматор x кіріс сигналының векторының ( параметрінің
векторына скаляр көбейтіндісін есептейді. Схемаларда оны 1.1 суретте
көрсетілгендей белгілейміз. Сумматордың адаптивті деп аталу себебі - (-ның
қалпына келтірілетін параметрлерінің векторы бар болуына байланысты.
Көптеген есептер үшін шығыс сигналдардың сызықты біркелкісіз функциясының
бар болуы пайдалы. Оның есептеуін n+1 кірісі бар және 0-ші кірісіне
тұрақты бірлік сигнал алатын адаптивті сумматор түрінде келтіруге болады
(1.2 сурет).
1.3 суретте бейсызықты сигнал түрлендіргіші бейнеленген. Ол x
скалярлық кіріс сигналын алады да, оны ((x)-ке аударады.
Тараулану нүктесі бір сигналды бірнеше мекенжайларға жіберуі үшін
қызмет етеді (1.4 сурет). Ол x скалярлық кіріс сигналын алады және оны өз
шығыстардың бәріне тапсырады.
Сурет 1.1 - Адаптивті сумматор Сурет 1.2 - Біркелкісіз адаптивті
сумматор
Сурет 1.3 - Біркелкісіз сигнал түрлендіргіші Сурет 1.4 - Тараулану
нүктесі
Сурет 1.5 - Формальді нейрон
Стандартты формалдық нейрон кіріс сумматордан, бейсызықты
түрлендіргіштен және тараулану нүктесінен құрастырылған (1.5 сурет).
Сызықты байланыс - синапс –сумматорлардан бөлек кездеспейді, бірақ
кейбір ой жүгіртулер үшін мына элементті ерекше атап көрсету ыңғайлы (1.6
сурет). Ол x кіріс сигналын a "синапс салмағына" көбейтеді.
Сурет 1.6 - Сызықты байланыс (синапс)
Желінің синапстарының салмақтары адаптивті параметрлердің терімін
құрастырады, оларды реттей отырып нейрондық желі есепті шешуге оқиды.
Әдетте синапстардың салмақтарының өзгерту диапозонына қандай да бір шек
қойылады, мысалы, синапс салмағының [-1,1] диапозонына жатуы.
1.2 Нейрондық желілердің сәулеті
Нейрожелілік сәулеттерінің жиынынан екі негізгі сәулетін ерекше атап
көрсетуге болады – қабатты және толық байланысты.
Сурет 1.7 - Қабатты желі
Қабатты желілер: нейрондар бірнеше қабатта орналасқан (1.7 сурет).
Бірінші қабаттың нейрондары кіріс сигналдарын алады да, оларды
түрлендіріп, тараулану нүктелері арқылы екінші қабаттың нейрондарына
береді. Одан әрі екінші қабаты орындалады және т.с.с. шығыс сигналдарын
беретін k-шы қабатқа дейін. Егер басқа жағдай ерекше атап көрсетілмесе, i-
ші қабаттың әрбір шығыс сигналы i+1-ші қабаттың барлық нейрондарының
кірісіне беріледі. Әрбір қабатта нейрондардың саны кез келген болуы мүмкін
және басқа қабаттардағы нейрондардың санымен ешбір алдын ала
байланыспаған. Кіріс сигналдардың стандартты беру тәсілі: бірінші қабаттың
әрбір нейроны барлық кіріс сигналдарын алады. Үш қабатты желілер ерекше
тарату алды, оларда әрбір қабаттың өзінің аты бар: бірінші – кіріс, екінші
– жасырылу, үшінші – шығыс.
Толық байланысты желілер: нейрондардың бір қабаты бар; әрбір нейрон
өз шығыс сигналын қалған нейрондарға береді, өзіңе де қоса. Желінің шығыс
сигналдары барлығы немесе желі жұмыс істеуінің бірнеше сатылардан кейінгі
кейбір шығыс сигналдары бола алады. Барлық кіріс сигналдары нейрондардың
бәріне беріледі.
Қабатты мен толық байланысты желілердің элементтері әр түрлі таңдалуы
мүмкін. Дегенмен, стандартты таңдау бар – кірісінде адаптивті біркелкісіз
сызықты сумматоры бар нейрон (1.5 сурет).
Осы жұмыста одан әрі тек қабатты нейрондық желілер ғана
қарастырылатын болады, өйткені олар мәліметтерден білім өндіру есептерін
шешуге арналған ең үйлесімді (сәулеті бойынша) болады.
1.3 Есептерді нейрондық желілерімен баяндау
Оқытылатын нейрондық желілер шеше алатын есептердің екі класын атап
көрсетуге болады. Бұл классификация мен болжау есептері.
Күні бұрын айту немесе болжаудың есептері негізінен шығыс
мәліметтердің кіріс мәліметтеріне регресстік тәуелділікті құру есебі болып
табылады. Нейрондық желілер өте бейсызықты регресстік тәуелділіктерді
нәтижелі құра алады. Негізінен формализацияламаған есептер
шешілетіндіктен, пайдаланушыны ең алдымен түсінікті және теориялық
негізінде дәлелденген тәуелділікті құру емес, алдын ала болжаушы құралын
алуы ынталандырады, негізгі ерекшелігі де осында. Осындай құрылғының
болжауы бірден пайдаланылмайды – пайдаланушы нейрожелінің шығыс сигналын
өз білімдерінің негізінде бағалайды да, өзінің меншікті эксперттік
нәтижесін қалыптастырады. Оқытылған нейрондық желі негізінде техникалық
жүйеге арналған басқару құрылғысын жасайтын жағдайлар ғана ерекше болады.
Классификация есептерін шешкенде нейрондық желі қасиеттік кеңістікте
бөлуші бетін салады, ал жағдайдың бұл немесе басқа класқа жатуы туралы
шешімі дербес, желіге тәуелсіз құрылғысымен – желі жауабының
интерпретаторымен қабылданады. Ең қарапайым интерпретатор бинарлық
классификация (екі класқа классификациялау) есебін шешкенде пайда болады.
Бұл жағдайда желінің бір шығыс сигналы жеткілікті, ал интерпретатор,
мысалы, егер шығыс сигналы нольден кіші болса жағдайды бірінші класқа,
және егер ол нольден үлкен немесе нольге тең болса екінші класқа
жатқызады.
Бірнеше класқа классификациялау интепретатордың күрделендіруін талап
етеді. "Жеңуші барлығын ала кетеді" деген интерпретаторы кең қолданылады,
онда желінің шығыс сигналдарының саны кластардың санына тең, ал класс
нөмірі ең үлкен шығыс сигналының нөміріне сәйкес келеді.
Бір нейрон желісі бір уақытта бірнеше сандарды алдын ала болжай
алады, немесе классификация және болжаудың есептерін бір уақытта шеше
алады. Бірақ осындай түрлі жағдайдың қажеттілігі аса сирек кездеседі, және
әр түрлі мақсаттағы есептерді бөлек нейрондық желілерімен шешу жақсырақ
болады.
1.4 Желіге кіріс сигналдарын беру және шығыс сигналдарын алу
Әдетте желінің синапстарының салмақтарына қандай да бір диапозонына
жатуы талап етіледі. Нейрондардың ең жиі қолданылатын бейсызықты
функциялары қандай да бір диапозонынан мән қабылдайды. Бұл желіге кіріс
сигналдарын олардың нағыз диапозонында бере алмауына және керекті
диапозонында шығыс сигналдарын ала алмауына әкеліп соғады.
Сондықтан желіге кіріс сигналдарын беру алдында оларды нормалау
қажет, мысалы, оң болуы қажетті болса, [-1,1] немесе [0,1] мәндер
диапозонына, немесе кіріс сигналдары осы кесінділердің шектерінен тым асып
кетпеуін қадағалау қажет. Ең қарапайым нормалауды осылай орындауға болады.
Кіріс мәліметтер векторының әрбір компонентасы xi осындай мөлшермен
ауыстырылады:
,
(1.1)
мұндағы max xi мен min xi - бұл осы компонентаның бүкіл оқытушы
сұрыптауы бойынша есептелген максималды және минималды мәндері. Дәл осы
формула бойынша жауап векторының компоненттері қайта есептеледі.
Басқаша да нормалауға болады, мысалы, мәліметтер шашуы дербес
болатындай сұрыптауды түгендеу. Бірақ осында бір қиындық болады. Оқытушы
сұрыптаудың кез келген өзгертуі сәйкес тиісті мәліметтердің нормалау
ережесін де алмастыруы керек. Сондықтан әдетте осылай істейді: min және
max-мөлшерлері ретінде қазіргі кезеңінде бар есептер жинағынан
мәліметтерді алады, және де бұдан былай нормалауды алмастырмайды, ал егер
бұдан былай тым көп айырмашылығы бар мәліметтер түсетіні шамаланса, min
және max-мөлшерлері пайдаланушы бағалауларымен қойылады. Басқаша айтқанда,
бұл мөлшерлер желі құрылған кезеңінде енгізілуі керек және де бұдан былай
оқытушы сұрыптаудан тәуелді болмау қажет. Желінің шығыс сигналдары
айналған формулаларымен нағыз мәндердің диапозонына тиісті нормалануы
қажет .
Желілер-классификаторлар үшін шығыс сигналдарын нормалаудың қажеті
жоқ, өйткені пайдаланушы желінің шығыс сигналдарын емес, жауап
интерпретаторымен жағдайды бір немесе басқа бір класына жатқызу нәтижесін
алады. Осы жағдайда есептер жинағының әрбір шығыс векторы жауап
интерпретаторымен дұрыс өңделу үшін қайта құрылады. Мысалы, "жеңуші
барлығын ала кетеді" деген интерпретаторымен үш класқа классификациялау
кезінде класстың нөмірі үш сандарынан тұратын векторымен кодталады, онда
класс нөміріне лайықты вектордың компонентасы 1 деген мәніне ие болады, ал
қалған екеуі - -1 деген мән алады.
Басқа бір проблема - мәліметтердің кестесінде бос орындар болатын
жағдай болады. Мәліметтердің осындай жоқ болатын компоненталардың орнына
ноль беруге болады, оқытушы сұрыптауынан жинақтамаған векторларды шығаруға
болады, желіні оқыту алдында бос орындарын қандай да бір шынайы мәндерімен
толтыру есебін шешуге болады. Соңғысы дербес, жиі кездесетін және
жеткілікті түрдегі күрделі проблема болып табылады.
1.5 Нейрондық желілерді оқыту
"Есептер жинағында" нейрондық желіні оқыту дегеніміз желінің шығыс
сигналдары мен анықталуы қажетті сигналдарының арасындағы қандай да бір
байланыспау функционалын минимизациялауды айтамыз. Байланыспау
функционалын (бұдан былай бағалауды) минимизациялау деп желінің
нейрондарының ai оқытылатын параметрлерінің желі X сигналдарының кіріс
векторына талап етілетін Y жауабына барынша жақынырақ болатын Y' жауап
беретіндей жанастырылуы. Басқаша айтқанда, мысалдар саны N (яғни, N жұбы
үшін {Xi,Yi}, i=1,..,N) болатын есептер жинағы бағалаудың жиынтық
функциясының минимумына:
жетуі керек.
Норма функциясы ретінде Y-Y' векторының элементтерінің квадраттардың
сәйкес компонентті қосындысы (МНК бағалауы) немесе көбірек
мамандандырылған функциясы қарастырылады. Көбірек мамандандырылған
бағалауларды қолдану желіні оқыту процесін тездетеді. Дәл осылай, есептің
шешімінің дәлдігіне талаптар қоя алатын бағалаулар қолдануға болады. Бұл
пайдаланушыны қанағаттандыратын дәлдігіне жеткенде оқу процесін тоқтатуға
рұқсат етеді. Мысалы, люфт түрі келесідей болатын МНК бағалауын
пайдалануға болады:
,
(1.2)
мұндағы
Люфті ε болатын бағалаулары байланыспаудың берілген мөлшеріне
жеткенде оптимизацияны тоқтата алады.
Бағалау функциясының минимизациясы оптимизацияның градиентті
әдістерінің пайдалануымен орындалады. Желінің құрылымын қандай да бір
ережелерімен түрлендіріп, желінің шығысына шығыс сигналдарының бағалау
функцияларының жеке туындыларын беріп және екі жақты функционалдығын
қолдана отырып, біз желінің әрбір ішкі құрылған параметрі мен әрбір кіріс
сигналы үшін бұл параметрдің немесе сигналдың бағалау функцияларының жеке
туындыларын ала аламыз. Желінің параметрлерінің векторына сәйкес лайықты
жеке туындылардың векторы бағалау функциясының градиенті болады, сондықтан
бағалау функциясының градиентті ықшамдауы мүмкін, оның барысында нейрондық
желі оған берілетін кіріс сигналдарына талап етілетін жауаптар беруіне
"оқытылады". Желіні жиынтық градиенті (толық есептер жинағы бойынша
градиенті) бойынша оқыту жақсырақ болады, бұл оқыту процесін тездетеді,
және қарапайым градиентті түсірудің үстіне қосылатын мамандандырылған
оптимизация алгоритмдерін қолдану керек. Жиынтық градиентін есептеу үшін
есептер жинағының әрбір үлгісіне есептелетін градиенттердің векторларын
қосу керек, (барлығы N вектор).
1.5.1 Желінің жолдық параметрлері бойынша бағалау функциясының
градиентін есептеу
Енді қазір, желінің ішкі құрылған параметрлері бойынша бағалау
функциясының градиенті қалай есептелетінін қарастырайық. Градиентті
есептеу берілген нейрондық желісіне екі жақтылықты нейрондық желісінің
жұмыс істеуі кезінде іске асырылады . Екі жақтылықты желісінде сигналдар
кері бағытта беріледі – желісінің шығысынан оның кірісіне, ал екі
жақтылықты желі құрылатын элементтері, берілген элеметтеріне екі
жақтылықты болады. Ең алдымен желінің жеткілікті түрдегі абстрактілі
элементті қарап шығамыз. Оған xi айнымалыларының n мәндері беріледі,
олардың негізде f(x1,...xn) функциясының мәні есептеледі және де бұл мән m
шығыс байланыстарына жіберіледі. Екі жақтылықты желісінде бұл элемент
шығысында μ i екі жақтылықты сигналдарының m терімін алады да, олардың
қосындысын μ есептейді де әрбір n кірістеріне μ мен сигналдың сәйкес
кірісіне берілетін мәні бойынша жеке туынды функциясының f(x1,...xn)
туындысының көбейтіндісін береді. Бұл процесс 1.8 суретте көрсетілген.
Онда екі жақтылықты желі құрылғанда барлық тараулану нүктелері оларға екі
жақтылықты элементтеріне – қарапайым сумматорларға көшетіні көрінеді.
Сурет 1.8 - Нейрожелісінің абстрактілі элементінің тура және екі
жақтылықты функционалуы
Енді формалді нейронға екі жақтылықты нейронды құру процесін
қарастырамыз. Ол үшін формалді нейронды (1.5 сурет) толығырақ қарастырайық
(1.9 сурет), онда нейронның кіріс адаптивті сумматорын жұптық (синапс
салмағы мен синапсқа келуші сигналдың) көбейтіндісін есептейтін
элементтердің терімі мен қарапайым сумматор түрінде қарайық. Формалді
нейронды құрастыратын барлық элементтерін жоғарыда баяндалған екі
жақтылықты элемент құру ережеге сәйкес қайта құрамыз. Формалді нейронға
екі жақтылықты нейрон және оның жұмыс істеу ережелері 1.10-ші суретте
көрсетілген. Осында екі жақтылықты желіні құрғанда барлық қарапайым
сумматорлар оларға екі жақтылықты элементтеріне – тараулану нүктелеріне
өтетіні көрінеді. Осы фактіні көбірек көркемдеу үшін 1.9-ші суретте
адаптивті сумматорды қарапайым сумматоры мен синапстардың терімі түрінде
ұсынуы қолданылған болатын. Екі жақтылықты желісі формалді нейрондарға екі
жақтылықты нейрондарынан құрылады. Әрине, екі жақтылықты желілер
нейрондардың контрукциясы күрделірек болатын желілер үшін де құрылуы
мүмкін.
Сурет 1.9 - Формальді нейронның функционалуы
Сурет 1.10 - Формальді нейронның екі жақтылықты функционалуы
Сонымен, берілген желісіне екі жақтылықты желі құрылды. Енді қазір
соңғы қабаттың нейрондарының шығысына берілетін екі жақтылықты
айнымалыларын μ анықтаймыз. Екі жақтылықты желі көмегімен берілген
желісінің ішкі құрылған параметрлері бойынша бағалау функциясының
градиентін есептеу есебін шешу үшін, екі жақтылықты айнымалылары ретінде
желінің шығыс сигналдары бойынша бағалау функциясының жеке туындыларын H
алу қажетті. Онда желінің барлық элементтері мен кіріс сигналдары үшін бұл
параметрлердің мен сигналдардың мәндері бойынша бағалау функцияларының
жеке туындылары есептеп шығарылған болады.
Градиент есептеуіне екі жақтылықты желіні қолдану градиенттің бүкіл
векторын есептеу уақыты берілген желісінің әдеттегі жұмыс істеуі кезіндегі
шығыс сигналдарын есептеу уақытысынан не бары 2-3 есе үлкен болады. Бұның
себебі, барлық орындалатын әрекеттердің ұйымшыл болуы, есептеулердің
қайталаусыз іске асырылған, және де градиент барынша көп параллельді
тәртіпте есептеледі.
Градиенттің есептеуіне екі жақтылықты жұмыс істеуін қолдану үшін
нейрондық желілер мен бағалау функциясына қойылатын жалғыз талабы ол
бағалау функциялары мен желісінің барлық элементтерінің олардың кіріс
сигналдары бойынша үзіліссіз бірінші туындыларының бар болуы.
1.5.2 Нейрондық желі оқытуына әсер ететін факторлар
Нейрондық желісінің есепті дұрыс шешуіне оқытуының табыстылығы
тәуелді болатын факторларды қарастырайық. Ең алдымен, желі оқытушы
сұрыптаудың барлық үлгілерін дұрыс шешуге үйрену үшін жеткілікті түрде
иілгіш болу керек. Сондықтан нейрондық желісінде нейрондардың және
байланыстардың жеткілікті көлемі болу керек.
Оқытушы сұрыптау негізінде желіге қанша қабаттар мен нейрондар қажет
екенін анықтау жеткілікті түрде күрделі болады. Сондықтан әдетте осылай
жасайды. Желіні бағдарлама-нейроимитаторы үнсіз ұсынылып отырған
құрылымымен оқытады, ал бұдан былай, егер желі оқи алмаса, мөлшері
үлкенірек желісінің оқытуын байқайды. Тәжірибе жүзінде әр түрлі мақсаттағы
есептерді шешкенде нейрондардың саны жүзден асатын нейрожелі қажет болатын
жағдайлары сирек кездеседі, әдетте нейрондардың бірнеше ондығы немесе
тіпті одан да аз саны жеткілікті болады.
Бірақ, егер оқытушы сұрыптауы қарама-қайшы болса, нейрондық желісінің
мөлшерін арттыру көмектеспейді. Басқаша айтқанда, оқытушы сұрыптауда
шарттары бірдей, бірақ жауаптары әр түрлі (мәліметтердің кіріс векторлары
бірдей, бірақ шығыс векторлары әр түрлі) есептері бар. Ондай есептерді
нейрондық желісі оқи алмайды. Осында қарама-қайшы жағдайды шешу проблемасы
пайда болады. Сондай дау-жанжалды үлгілердің көрінуі, мысалы, кіріс
белгілердің терімі жеткіліктіліксіздігінен болады, өйткені қасиетті
кеңістікті кеңейту кезінде дау-жанжалды үлгілерге қосылатын белгінің әр
түрлі мәндері сәйкес келуі мүмкін, сондықтан критикалық жағдайы таусылған
болады. Қалай болса да, пайдаланушы мына проблеманы тиісті түрде шешуі
қажет, тіпті қарапайым түрде - есептер жинағынан дау-жанжалды үлгілерді
шығаруы арқылы.
Нейрондық желісін оқытуынан кейін оқытушы сұрыптауына кірмеген
есептерді шешудің дәлдігін анықтау үшін оны тест сұрыптауда сынақтау
қажетті. Дұрыс шешімінің дәлдігі оқытушы сұрыптауының таныстырылушылығынан
өте қатты тәуелді болады. Әдетте әр түрлі проблемдық облыстардағы әртүрлі
формализацияламаған есептердің шешімін тапқандағы тест сұрыптауы бойынша
дұрыс жауаптарының 70-90% дәлдігі дәл осы есептерді сарапшы-маман
шешкендегі дұрыс жауаптардың пайызына сай болады.
1.5.3 Нейрондық желілерді жеңілдету
Желінің параметрлерінің және кіріс сигналдарының жиынын қысқарту
бірнеше мақсаттары үшін іске асырылады:
а) нейрондық желісінің келешекті аппараттық іске асырылуын оңайлатуы;
ә) қолданылатын жады көлемін қысқарту және бағдарлама–
нейроимитаторлардың тез әрекеттігін жоғарылату;
б) мәліметтер көлемінің қысқарту салдарынан мәліметтер жинау
процесінің арзандатуы; кіріс мәліметтердің азырақ көлемі негізінде есепті
шешу мүмкіншілігі;
в) процесс интерпретациясы мен мәліметтер өңдеудің нәтижелерінің
айқын ауызша түсіндірулерін қамтамасыз ету (немесе жеңілту).
Нейрондық желісін оңайлату (контрастирование) желіден ең аз мәнді
элементті алып тастап, одан әрі қайта оқытудың тізбекті процесі ретінде
құрылады. Егер оңайлату қадамынан кейін, талаптанатын дәлдікке шейін
желіні қайта оқыту мүмкін емес болса, онда алдыңғы қадамындағы алынған
желіге қайтып келіп, оңайлату процесін аяқтаймыз.
Әрине, көбірек күрделі оңайлату алгоритмдерін құруға болады, мысалы,
бір элементті емес, бірнеше элементті қарама-қарсы қою және т.с.с. Желіге
алдыңда қарама-қарсы қойылған параметрлерді қосуға болады. Іс жүзінде,
желі модификацияланды (параметрлердің бір бөлігі нольге айналды, ал
қалғандары есепті жақсырақ шешу үшін өзгертілді). Осыған орай, бұрын алып
тасталынған параметрлердің салыстырмалы маңыздылығы да өзгерді. Осы жаңа
салыстырмалы маңыздылығын анықтап, (бұрын алып тасталынған) ең мәнді
параметрлеріне лайықты элементтерді желіге қайтаруға болады. Бұл бұдан
былай параметрлердің үлкен санын қарама-қарсы қоюға көмектесе алады.
Келесі бөлімінде маңыздылық көрсеткіштерінің есептеу процедурасын
суреттеп айтамыз.
1.5.4 Желі сигналдары мен көрсеткіштерін есептеу параметрлерінің маңыздылық
көрсеткіштерін есептеу
Нейрондық желісінде координаталары xji, j=1,..,n болатын xi, i=1,..,N
(есептер жинағы) мәліметтердің n-өлшемді векторлардың терімі,
координаталары ak, k=1,..,M болатын бар a параметрлерінің M-өлшемді
векторы және x мәліметтер векторының a параметрлерімен желінің жұмысын
бағалайтын қандай да бір H(x,a) бағалау функциясы бар. Желісінің ең аз
мәнді ak параметрлерін мен xj сигналдарын бөліп алып, бұл параметрлер мен
мәліметтердің компоненттерін алып тастап, желіні түрлендіру қажет[1-3].
Әрбір ak үшін қандай да бір ak0 мәні анықталған және ak қысқарту
ak=ak0 деген теңестіруді білдіреді. Дәл осылай мәліметтердің әрбір xj
компонентасы мен кез келген xi үлгісі үшін xji0 анықталған және i–ші
үлгісі үшін мәліметтердің j-ші компонентасын алып тастау xj = xji0 деген
теңестіруді білдіреді.
Осындай процедура баяндауды қысқарту процедурасының қайта анықтауда
өте үлкен бостандықты береді. Ең қарапайым негізгі вариант ретінде әрбір i
үшін ak0=0 деп қарастырамыз.
Параметрлер нольге айналып, мәліметтер сұрыптаудың орташа мәнімен
ауыстырылады. Мысалы, [-1,1] диапазонына нормаланған мәліметтер жағдайында
xji0 ретінде, әрине, ноль алынады.
Маңыздылық көрсеткіштері екі кезеңімен анықталады: ең алдымен олар
мәліметтердің (үлгінің) бір векторы үшін, ал одан кейін – бүкіл сұрыптауы
бойынша есептеледі.
xp мәліметі үшін ak мен xj маңыздылықтары осылайша бағаланады:
,
(1.3)
, (1.4)
мұндағы ( - баяндауды қысқартқандағы H өзгерісінің сызықты жуықтауда
есептелген абсолютті шамалары.
Бүкіл есептер жинағы бойынша бағалау қандай да бір норманы
пайдаланып, мысалы, модульдерінің қосындысы түріндегі норманы пайдаланып
есептелінеді:
; ,
(1.5)
немесе модульдерінің максимумы.
, (1.6).
Мысалы, оқыту кезінде, өзінің параметрлерін өзгертетін жүйені өте жиі
кездестіруге болады. Сонда маңыздылық туралы шешім қабылау сәтіне әр түрлі
нүктелердегі a=a1,..,aq H дербес туындылар туралы ақпарат жиналуы мүмкін.
Онда бір мәліметтердің векторы үшін маңыздылық көрсеткіштері осылай
есептеледі:
, (1.7)
, (1.8).
Туындылардың абсолютті мәндері орташаландырылады, ал өсімше қысқарту
процедурасы іске асырылатын нүктесінде алынады. Одан әрі бүкіл сұрыптауы
бойынша маңыздылық көрсеткіштері белгілі бір норма бойынша
орташаландырылады.
Осындай тәсілмен есептелген маңыздылық көрстекіштерін пайдалану
желінің кіріс сигналдарының (есепті дұрыс шешуге қажетті қасиеттердің
минималды терімі ғана қалады) және элементтерінің санын өте қатты
қысқартуға мүмкіндік береді.
Егер желіден адаптивті элементтерді алып тастамай, олардың мәндерін
белгіленген мәндердің ақырғы теріміне келтіру қажет болса, онда әрбір ak
үшін ak0 ретінде ak ең жақын белгіленген мәні алынады. Осындай есеп,
мысалы, желінің синапстарының салмақтарын бинаризациясы кезінде –
синапстарының салмақтарын –1 немесе 1 деген шамаларға келтіру - пайда
болады.
2 ЛОГИКАЛЫҚ МӨЛДІР НЕЙРОНДЫҚ ЖЕЛІЛЕР
Желі қандай да бір есепті шешуіне оқытылған соң, оның дұрыс жауаптар
алуына қандай ережелер қолданылатыны әдетте анық емес. Желі есептер
жинағынан (мәліметтердің кестесінен) жасырын білім жасады – күні бұрын
айту немесе классификациялау дағдысын ұйымдастырады, бірақ осы дағдының
логикалық құрылымы пайдаланушыға мәлімсіз қалады. Осындай жағдай өте қатты
көңілде қалады: өйткені, нейрондық желілердің негізінде
формализацияламаған есептер (шешу алгоритмі белгісіз болатын есептер) жиі
шешілетіндіктен, желіні тіпті табысты оқыту есепті шешу процесін түсінуіне
жақындатпай, бізге тек қандай да бір қарапайым есептеуіш құрылғысын
береді. Іс жүзінде, желінің жұмыс істеуін сигналдардың үлкен көлемін
жіберу, қосу және өзгерту ретінде суреттеп айтуға болады, бірақ ұғымдық
интерпретациясы аса қатты күрделендірілген. Бұл факті нейрондық желісінің
логикалық мөлдірліксіздігі деп аталады.
Бұрынырақ нейрондық желілерді оңайлатуына арналған процедуралары
суреттелген болатын. Бұл процедураларды желісінің құрылымы логикалық
мөлдір болатындай нейрондық желісін оңайлатуына қолдануы туралы болжамы
пайда болады. Логикалық мөлдір желі деп құрылымы бойынша пайдаланушыға
түсінікті есепті шешу алгоритмін оңай құра алатын желіні айтамыз [2,5].
Нейрондық желісінің логикалық мөлдірлігінің фундаментальді белгілерін
енгіземіз.
2.1 Логикалық мөлдір нейрондық желілердің сәулеті
Нейрондық желілердің сәулетін қарап шығып, олардың ішінен ең
логикалық мөлдірлерді ерекше белгілейміз. Әдетте, сәулет нейрондық желі
құру барысында таңдалады және де қарама-қарсы қою процедуралары
оқиғалардың басым көпшілігінде сәулеттің өзгертуіне әкеліп соқтырмайды,
сондықтан алдын ала логикалық мөлдір нейрожелілік сәулеттердің класын
бөліп алу мүмкіншілігі бар және де бұдан былай желі құру кезеңінен бастап
оны логикалық мөлдір түрге келтіруіне шейін тек олармен жұмыс істеуге
болады.
Нейрожелілік сәулеттердің логикалық мөлдірліктің белгілері желінің ең
қарапайым техникалық іске асырылу белгілерімен сәйкес келуге міндетті емес
– бұл әр түрлі есептер ғой. Сондықтан логикалық мөлдірлер ретінде тек қана
қабатты сәулетті желілерді қолдану мүмкін болады (1.7 сурет). Қабатты
желілер есепті шешудің дұрыс жолы туралы біздің ұсынуымызға ең талапқа сай
болып келеді. Атап айтқанда, қабатты желілерде кіріс белгілердің терімінің
бірінші қабаттағы нейрондарына таратуы болады, бірінші қабаттағы
нейрондары түскен сигналдары негізінде иерархияның келесі деңгейінің
белгілерін генерациялайды және т.с.с. Желі сәулетінде қандай да болмасын
циклдардың болуы есептеулердің графы бойынша белгілердің қозғалу процесін
қадағалауды қиындатады.
Кез келген сәулетті нейрожелілер қабатты желілер түрінде келтірілуі
мүмкін. Жалғыз шегі – желіде шексіз циклдердің болмауы. Басқаша айтқанда,
циклдері бар желілерде (толық байланысты және оларға туысқандардың)
желінің жұмыс істеу процесі белгілі тактілерден кейін үзілуі тиіс. Іс
жүзінде, жұмыс істеу циклдарының саны алдын ала белгісіз толық байланысты
сәулетті желілер бар. Осындай желілердің жұмыс істеуі шығысында қандай да
бір тепе-теңдік күй-жағдайдың (мысалы, жаңа цикл желінің шығыс
сигналдарының мәндерін ойдағыдай түрде өзгермейтін жағдай) орнығуынан
кейін үзіледі. Бұл уақытта желіге берілетін әрбір үлгі үшін жұмыс істеу
циклдарының саны әр түрлі болады. Бұндай желілер логикалық мөлдір түрге
келтіру үшін аз жарамды.
Сонымен, қабатты сәулетті нейрожелілері логикалық мөлдір ретінде
жазып қойылған. Қабатты сәулетті көбірек логикалық мөлдір түрге келтіруі
мүмкін болады, атап айтқанда, қабатты желіні біртектіге түрлендіру.
Біртектілікті тек қана қабатты сәулетіне қолдануға болатыны міндетті
емес. Біртектілікті желі ретінде әрбір қалпына келтірілетін параметрлері
мен сигналдары (кіріс және ішкі) үшін осы параметр немесе сигналдың мәнін
үлкейткенде немесе азайтқанда желінің шығыс сигналы қалай өзгеретіні
(үлкейеді немесе азаяды) туралы сөз айтуға болатын болса. Біртектілікті
желіде қоздыратын және тежейтін параметрлердің топтары бөліп көрсетілген,
олардың мәндерін арттыру кезінде желінің шығыс сигналдарын арттырады
(қоздыратын параметрлер үшін) немесе кемітеді (тежейтіндер үшін), ал бұл
параметрлерді азаюы керісінше әсер етеді.
Біртектілікті желісінің шығыс қабатынан басқа әрбір қабаты, екі
блокқа бөлінген: қоздыратын (В) және тежейтін (Т). Блоктар арасындағы
байланыстар екі түрге бөлінеді: қоздыратындар (+) және тежейтіндер (-).
Нейрондардың бейсызықты түрлендіргіштеріне шығыс сигналының параметрлерден
және кіріс сигналдарынан біртекті тәуелділікте болуына талап қойылады.
Қоздыратын және тежейтін блоктардың қоздыратын және тежейтін байланыстар
арқылы өзара байланысы 2.1 суретте көрсетілген. Қоздыратын блоктан
қоздыратынға және тежейтін блоктан тежейтінге қоздыратын байланыстар
жүргізеді, ал қоздыратын блоктан тежейтінге және тежейтін блоктан
қоздыратынға тежейтін байланыстар жүргізеді. Шығыс блогына сигналдар
қоздыратын блоктан қоздыратын байланыстар арқылы, ал тежейтін блоктан –
тежейтіндері арқылы келеді. Біртектілікті желіні оңайлатуы кезінде
қоздыратын және тежейтін қабаттардың жалпы кіріс сигналдардың санын
минимизациялау қосымша талабы қойылады. Арманда осындай талап кіріс
сигналдардың жиынын қоздыратын және тежейтін сигналдардың қиылыспайтын
ішкі жиындарына бөлшектеуіне ерітіп әкеледі.
Cурет 2.1 - Біртектілікті желі
2.2 Нейрондық желі жеңілдету ережелері
Сәулетке қойылатын талаптарды жазып қойып, желіні көбірек логикалық
мөлдір жасайтын, одан ең аз мәнді кіріс сигналдары және элементтерін
шығаратын белгілердің терімін анықтаймыз. Бұл белгілердің негізде желіні
идеал логикалық мөлдір күй-жағдайына жақындататын сандық және сапалық
бағалауларды құруға болады. Нақ осы белгілер пайдаланушыларымен маңыздылық
дәрежесі бойынша бөлінетін болады және де пайдаланушылар нақ осы
белгілердің тобына логикалық мөлдірліктің жаңа белгілерін қоса алатын
болады.
Бұл белгілерді атап өтейік:
а) желіде неғұрлым нейрондардың қабаттардың саны азырақ болса,
соғұрлым ол көбірек логикалық мөлдір болады. Алайда қабаттардың саны алдын
ала желі құру кезінде белгілі болады. Бұл белгі желі қабаттарының саны
шамадан тыс артық болғандағы және қарама-қарсы қоюдан кейін алдыңғы
қабаттан кейінгі қабатына қарапайым ақпарат жіберуші болатын бөлек
нейрондардың (немесе нейрондардың қабаттары) пайда болуы кезіндегі
жағдайларда маңызды болады. Ондай нейрондардың жалғыз кірісі болады (және
сонымен қатар оларда жалғыз шығысы бола алады). Бұндай нейрондарды
мүмкіншілігі болса, тиісті ақпарат жіберуші сызықтарымен ауыстыру керек.
Бірақ әдетте керексіз қабаттардан толық құтылу сәтті бола бермейді,
сондықтан логикалық мөлдірліктің белгісінің ақырғы формулировкасын
енгізуге болады – желіде кірісінен шығысына сигналдардың өту жолында
неғұрлым нейрондардың саны аз болса, соғұрлым жақсырақ болады;
ә) желінің әрбір қабатында неғұрлым нейрондардың саны азырақ болса,
соғұрлым жақсырақ болады. Бұл факті түсіндіруді талап етпейді – біз
желінің әрбір қабатының генерацияланатын сигналдардың санын
минимизациялаймыз, бұл тек қана нақты мәнді аралық сигналдарды
(белгілерді) қалдыруға рұқсат етеді;
б) желінің кіріс сигналдарының саны неғұрлым азырақ болса, соғұрлым
жақсырақ болады. Бұл белгі қасиеттердің " даңғыр өрісін " алып тастауына
көмектеседі. Есепті дұрыс шешу үшін минималды қажетті ең мәнді кіріс
белгілердің терімін қалдырады;
в) бір нейронына келетін сигналдарының саны неғұрлым азырақ болса,
соғұрлым жақсырақ. Бұл бекіту адам бір уақытта заттардың аз санымен жұмыс
істей алады деген фактіге сүйенеді. Бір нейронға келетін сигналдарының
санын минимизациялап, біз пайдаланушыға нейрон генерациялайтын қасиеттің
мазмұндық ұғыну есебін жеңілдетеміз, және де қасиетке ат беруіне
көмектесеміз. Бірақ та осы белгіні модификациялау және желінің біркелкі
қарапайымдылық белгісін енгізу қажет – желінің әрбір нейронына n-нан көп
емес сигнал келу тиіс, мұндағы n жеткілікті түрде аз (2-3, бірақ
пайдаланушымен де берілуі мүмкін);
г) желіде синапстардың жалпы саны неғұрлым азырақ болса, соғұрлым
жақсырақ болады. Бұл белгі нейрондық желісінің барлық керексіз синапстарын
жояды;
д) сигнал берілетін синапс нейронның біркелкісіз кірісінен логикалық
мөлдір емес. Шынында да, нейронның біркелкісіз кірісі – ол жай ғана
тұрақты, оның синапстан айырмашылығы, синапс оған түсетін сигналдың
шамасын өзінің салмағына көбейтеді. Сондықтан, желіден ең алдымен
синапстар шығарылуы тиіс, ал тек содан соң ғана – адаптивті сумматорлардың
біркелкісіз кірістері:
е) қалпына келтірілетін параметрлерінің мәндерін белгіленген
мәндердің ақырғы теріміне келтіруі қажет. Желінің параметрлерінің
бинаризациясы қажетті – синапстарының салмақтарын мағыналарға -1 және 1
деген мәндеріне келтіру.
2.3 Элементтердің бейсызықтығына қойылатын талаптар
Нейрондық желілері арқылы кез келген үзіліссіз функцияны нейрондардың
кез келген бейсызықтығы бар болғанда қандай да болмасын дәлдігімен
жақындатуға болатындығы туралы теорема бар [4]. Ол үшін кез келген
бейсызықты функциясының бар болуы жеткілікті. Бірақ есептің шешімін
тапқанда желіні логикалық мөлдір түрге келтірудің осындай зор
мүмкіндіктері бізге керек емес – қарапайым интерпретацияны рұқсат ететін
бейсызықты функцияларымен қанағаттану керек. Бейсызықты функциялардың ең
қарапайымы – бірлік функция. Егер бірлік бейсызықты функциясы бар нейронға
келетін сигналдарының қосындысы 0-ден кіші немесе тең болса, одан әрі
нейронның шығыс сигналына назар аудармауға болады – ол нольге тең болады
да және келесі қабаттың нейрондарымен берілетін мәндеріне әсер етпейеді.
Егер кіріс сигналдарының қосындысы нольден үлкен болса, нейрон бірлік
шығыс сигналын генерациялайды және де осында тағы да бізге сигналдың
мөлшері емес, нейронға әсер ету қандай да бір критикалық деңгейден асады
да, нейрон қозды. Осындай босағалық нейрондар ең қарапайым интерпретацияны
рұқсат етеді.
Бірақ нейрондық желісін екі жақтылық әдісімен оқыту үшін нейрондардың
бейсызықты функциясының үзіліссіз бірінші ретті туындының болуы қажетті,
ал ол босағалық нейронға жетпейді. Сондықтан қандай да бір үзіліссіз
дифференциалданатын функцияларды қолданатын және желіні одан әрі оқыту
керек емес болған жағдайда босағалықтарға көшетін жолын ұсынуға болады.
Нейронның ең жиі қолданылатын бейсызықты функциясының біреуінің -
f(A)=A(c+A) сигмоидты функцияны қарап шығамыз. Мұндағы c – қалпына
келтірілетін параметрі. Функцияның үзіліссіз бірінші ретті туындысы бар
және де ол [-1,1] диапазонынан мәндерді қабылдайды. c-ның ( ұмтылуы
жайпақ сигмоидты, 0-ге ұмтылуы - sgn(A) босағалық функциясына жақын
сигмоидты және нольдік кіріс сигналы кезінде үшінші тұрақты күй – жағдайы
– ноль болатын сигмоидты береді. Бірақ c-ның мәні – сигмоидтық
функциясының тікелік параметрі – әдетте, желі құру кезінде барлық
нейрондарына бірдей етіп орналастырылады және де оқытылатын параметрлердің
қатарына қосылмайды, өйткені бұл көп жағдайда нейрондық желісінің интер-
мен экстраполяциялық қабілеттіліктерінің нашарлауына әкеледі. Шынында да,
нейрондық желі алғашқыда үлкен болатындықтан, оған әдетте, есепті шешуге
оңай үйрену үшін регресстік тәуелділікті құрудың орнына есептер
жинағындағы функциялардың терімін дельта-функцияларға жақындарға (ал,
нақтырақ айтсақ, " колокол тәріздес " функциялардың терімі) жақындату
жеңіл болады.
Осы кезде оқыту кезінде тікелік параметрлері нольге ұмтылады.
Нейрондық желісінен аз мәнді кіріс сигналдары және элементтерді алып
тастау нейрондық желісінің артықшылық пен иілгіштігін төмендетеді,
сондықтан желінің артықшылығын одан әрі төмендету үшін сигмоиданың тікелік
параметрлерінің оқытуын бастау мүмкіншілігі туады.
Нейронның қалпына келтірілетін с параметрін оқыту желінің қарама-
қарсы қоюға қажетті барлық синапстары қарама-қарсы қойылғаннан кейін іске
асырылады. Егер берілген нейронда тек қана бір кіріс синапсы қалса, онда
осындай нейрон тек алдындағы қабаттан келесі қабатқа қарапайым сигнал
жіберуші болып табылады. Осындай нейронды бірлік салмақты адаптивті емес
синапсымен ауыстырып, нейрон өзінің сигналдарын жіберген (немесе желінің
бүкіл синапстарын) синапстарын жанастырып желіні қайта оқыту арқылы одан
құтылуға талаптануға болады.
Егер осындай қайта оқыту мүмкін емес болса, онда осы нейронның
бейсызықтығы есепті дұрыс шешу үшін шыңымен керек екенін көреміз де, ондай
нейронды қалдыру қажет болады.
Егер нейронда бірнеше кіріс сигналдары болса, немесе нейронды сызықты
байланыспен ауыстыру мүмкін емес болса, онда нейронның бейсызықты
функциясын босағалық түріне келтіруге талпынуға болады.
Мұнда бейсызықты функцияның ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
Ұқсас жұмыстар
Пәндер
- Іс жүргізу
- Автоматтандыру, Техника
- Алғашқы әскери дайындық
- Астрономия
- Ауыл шаруашылығы
- Банк ісі
- Бизнесті бағалау
- Биология
- Бухгалтерлік іс
- Валеология
- Ветеринария
- География
- Геология, Геофизика, Геодезия
- Дін
- Ет, сүт, шарап өнімдері
- Жалпы тарих
- Жер кадастрі, Жылжымайтын мүлік
- Журналистика
- Информатика
- Кеден ісі
- Маркетинг
- Математика, Геометрия
- Медицина
- Мемлекеттік басқару
- Менеджмент
- Мұнай, Газ
- Мұрағат ісі
- Мәдениеттану
- ОБЖ (Основы безопасности жизнедеятельности)
- Педагогика
- Полиграфия
- Психология
- Салық
- Саясаттану
- Сақтандыру
- Сертификаттау, стандарттау
- Социология, Демография
- Спорт
- Статистика
- Тілтану, Филология
- Тарихи тұлғалар
- Тау-кен ісі
- Транспорт
- Туризм
- Физика
- Философия
- Халықаралық қатынастар
- Химия
- Экология, Қоршаған ортаны қорғау
- Экономика
- Экономикалық география
- Электротехника
- Қазақстан тарихы
- Қаржы
- Құрылыс
- Құқық, Криминалистика
- Әдебиет
- Өнер, музыка
- Өнеркәсіп, Өндіріс
Қазақ тілінде жазылған рефераттар, курстық жұмыстар, дипломдық жұмыстар бойынша біздің қор #1 болып табылады.
Ақпарат
Қосымша
Email: info@stud.kz