Машиналық оқыту алгоритмін құжаттарды топтау үшін қолдану
БЕЛГІЛЕУЛЕР МЕН ҚЫСҚАРТУЛАР 3
КІРІСПЕ 5
1 ЖАСАНДЫ ИНТЕЛЛЕКТ 7
1.1 Жасанды интелектіге кіріспе 7
1.2 Сараптық жүйелер 15
1.3 Нейрондық желілердің негізгі түсініктері 23
1.4 Машиналық оқыту 36
2 МӘТІНДІ АВТОМАТТЫ ТҮРДЕ ТОПТАСТЫРУ 40
2.1 Автоматты түрде мәтінді топтастыратын әдістерге шолу 40
2.2 Мәтінді компьютерлік өңдеуге дайыдаудың негізгі амалдары 41
2.3 Морфологияны қолдану 42
2.4 TF*IDF 45
2.5 Сайт тақырыбын таңдау 47
2.6 Стеммер Портера 50
3 МАШИНАЛЫҚ ОҚЫТУ ӘДІСТЕРІНЕ ШОЛУ 51
3.1 Байес әдісі 51
3.2 K.жақын көршілер әдісі 52
3.3 Rocchio classifier 53
3.4 Нейрондық желілер 54
3.5 Шешімдер ағашы 54
3.6 Буль функцияларын құру 56
3.7 Support Vector Machines 57
3.8 SVM іске асыру бағдарламалары 59
3.9 SVM параметрлерін оңтайландыру 59
ҚОРЫТЫНДЫ 61
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ 64
Қосымша А 69
КІРІСПЕ 5
1 ЖАСАНДЫ ИНТЕЛЛЕКТ 7
1.1 Жасанды интелектіге кіріспе 7
1.2 Сараптық жүйелер 15
1.3 Нейрондық желілердің негізгі түсініктері 23
1.4 Машиналық оқыту 36
2 МӘТІНДІ АВТОМАТТЫ ТҮРДЕ ТОПТАСТЫРУ 40
2.1 Автоматты түрде мәтінді топтастыратын әдістерге шолу 40
2.2 Мәтінді компьютерлік өңдеуге дайыдаудың негізгі амалдары 41
2.3 Морфологияны қолдану 42
2.4 TF*IDF 45
2.5 Сайт тақырыбын таңдау 47
2.6 Стеммер Портера 50
3 МАШИНАЛЫҚ ОҚЫТУ ӘДІСТЕРІНЕ ШОЛУ 51
3.1 Байес әдісі 51
3.2 K.жақын көршілер әдісі 52
3.3 Rocchio classifier 53
3.4 Нейрондық желілер 54
3.5 Шешімдер ағашы 54
3.6 Буль функцияларын құру 56
3.7 Support Vector Machines 57
3.8 SVM іске асыру бағдарламалары 59
3.9 SVM параметрлерін оңтайландыру 59
ҚОРЫТЫНДЫ 61
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ 64
Қосымша А 69
Ақпаратты классификациялау (шектелген жиын ішінде ақпараттың бөлшектерін бір немесе бірнеше санаттарға жіктеу) білімді ұйымдастырудың және ақпарат алмасудың дәстүрлі мәселесі болып табылады. Өте үлкен ақпараттық топтамаларда тек автоматты классификациялау туралы айтуға болады.
Бұл мәселені автоматтық процедуралар арқылы шешу үшін көптеген әдістер ұсынылды. Қазіргі таңдағы әдістерді принципиалды түрде бір-біріне ұқсамайтын екі классқа бөлуге болады: машиналық оқыту әдістері және мағлұматтарға негізделген әдістер (инженерлік тәсіл деп те атайды).
Машиналық оқыту әдістерін қолданған жағдайда классификаторды құру үшін алдын ала адаммен дайындалған құжаттар топтамасы қолданылады. Машиналық оқыту алгоритмы құжаттарды классификациялау процедурасын топталған текстер жиынын автоматты түрде анализ жасау арқылы құрады.
Білімге негізделген әдістерді қолданған жағдайда, құжатты белгілі бір топтамаға тіркеу сарапшының рубрикаторды анализ жасауы арқылы іске асырылады.
«Білімге негізделген әдістер» ұғымының шартты екенін атап өткен жөн. Мәтінді автоматты түрде классификациялау әдістерінің кез-келген түрі белгілі бір дәрежеде мәтіннің табиғи тілдегі қасиеттері жайлы білімді және әрбір топтамаға сәйкес мәтіндердің ерекшеліктері туралы білімді қолданады. Екі әдістер топтарының арасындағы принципалды айрмашылық ол, машиналық оқыту әдістері мәтіндердің оқыту топтамаларынан білімді алу үшін математикалық әдістерді пайдаланады, ал «инженерлік әдіс» топтамаға сәйкес мәтіндердің қасиеттері туралы сарапшылардың білімін пайдаланады. Эксперттің білімі ең бірінші бастапқы тәжірибеге сүйенеді, соның ішінде ертеректе оқылған мәтіндердің үлкен топтамасына, содан кейін топтастырылуға тиісті мәтіндер жиынына.
Қазіргі таңда жоғарыда көрсетілген мәтінді автоматты түрде классификациялау әдістерінің арасында, яғни машиналық оқыту және білімге негізделген әдістер арасында үлкен айырмашылық бар, ғылыми зерттеу жағынан да, тәжірибелік әдістер жағынан да.
Жұмыстың мақсаты. Бұл жұмыста классификация алгоритмдері қарастырылады. Адам санасы көлемді ақпаратты тез арада өңдей алмайды және оны өңдеуге міндетті емес, бұл мәселелерге барынша ЭЕМ мүмкіндіктерін қолдану керек.
Бұл мәселені шешу үшін келесі қадамдар жасалу керек:
Мәтін қай тілде жазылғанын анықтау;
Құжаттардың ұқсастығын анықтау;
Алгоритм мәтіннен негізгі кілт сөздерді анықтау керек;
Кілт сөздерді анықтау үшін Стеммер Портера алгоритмін қазақ тіліне бейімдеу (мысалы оқу, оқушылар, оқушыларға – түбүрі оқу сөзі);
Кілт сөздерді анықтау барысында қате сөздерді n-gramm және «Левенштейн қашықтығы» алгоритмедерін қолдана отырып түзеу.
Бұл ғылыми жұмыс тек теория болып қалмай шынайы өмірде өз қолданысын табады деген үміттеміз.
Зерттеу әдістері. Есептің қойылымы мен шешімін зерттеу барысында жүйелік талдау, Шингл алгоритмы, Стеммер Портьера, Support Vector Machines әдістері қолданылды.
Зерттеу жұмысының ғылыми жаңалығы. Стеммер Портера алгоритмін қазақ тіліне бейімдеу, rector.kz ұстаздарға арналған ұлттық әлеументтік желінің жасалуы.
Зерттеу нәтижелерінің анықтылығы. Зерттеу нәтижелері, талаптары, қорытындылары қатал математикалық әдістермен, есептеу эксперименттерінің нәтижелерімен дәлелденген, республикалық ғылыми конференцияда, ғылыми басылымдарда жарияланған.
Бұл мәселені автоматтық процедуралар арқылы шешу үшін көптеген әдістер ұсынылды. Қазіргі таңдағы әдістерді принципиалды түрде бір-біріне ұқсамайтын екі классқа бөлуге болады: машиналық оқыту әдістері және мағлұматтарға негізделген әдістер (инженерлік тәсіл деп те атайды).
Машиналық оқыту әдістерін қолданған жағдайда классификаторды құру үшін алдын ала адаммен дайындалған құжаттар топтамасы қолданылады. Машиналық оқыту алгоритмы құжаттарды классификациялау процедурасын топталған текстер жиынын автоматты түрде анализ жасау арқылы құрады.
Білімге негізделген әдістерді қолданған жағдайда, құжатты белгілі бір топтамаға тіркеу сарапшының рубрикаторды анализ жасауы арқылы іске асырылады.
«Білімге негізделген әдістер» ұғымының шартты екенін атап өткен жөн. Мәтінді автоматты түрде классификациялау әдістерінің кез-келген түрі белгілі бір дәрежеде мәтіннің табиғи тілдегі қасиеттері жайлы білімді және әрбір топтамаға сәйкес мәтіндердің ерекшеліктері туралы білімді қолданады. Екі әдістер топтарының арасындағы принципалды айрмашылық ол, машиналық оқыту әдістері мәтіндердің оқыту топтамаларынан білімді алу үшін математикалық әдістерді пайдаланады, ал «инженерлік әдіс» топтамаға сәйкес мәтіндердің қасиеттері туралы сарапшылардың білімін пайдаланады. Эксперттің білімі ең бірінші бастапқы тәжірибеге сүйенеді, соның ішінде ертеректе оқылған мәтіндердің үлкен топтамасына, содан кейін топтастырылуға тиісті мәтіндер жиынына.
Қазіргі таңда жоғарыда көрсетілген мәтінді автоматты түрде классификациялау әдістерінің арасында, яғни машиналық оқыту және білімге негізделген әдістер арасында үлкен айырмашылық бар, ғылыми зерттеу жағынан да, тәжірибелік әдістер жағынан да.
Жұмыстың мақсаты. Бұл жұмыста классификация алгоритмдері қарастырылады. Адам санасы көлемді ақпаратты тез арада өңдей алмайды және оны өңдеуге міндетті емес, бұл мәселелерге барынша ЭЕМ мүмкіндіктерін қолдану керек.
Бұл мәселені шешу үшін келесі қадамдар жасалу керек:
Мәтін қай тілде жазылғанын анықтау;
Құжаттардың ұқсастығын анықтау;
Алгоритм мәтіннен негізгі кілт сөздерді анықтау керек;
Кілт сөздерді анықтау үшін Стеммер Портера алгоритмін қазақ тіліне бейімдеу (мысалы оқу, оқушылар, оқушыларға – түбүрі оқу сөзі);
Кілт сөздерді анықтау барысында қате сөздерді n-gramm және «Левенштейн қашықтығы» алгоритмедерін қолдана отырып түзеу.
Бұл ғылыми жұмыс тек теория болып қалмай шынайы өмірде өз қолданысын табады деген үміттеміз.
Зерттеу әдістері. Есептің қойылымы мен шешімін зерттеу барысында жүйелік талдау, Шингл алгоритмы, Стеммер Портьера, Support Vector Machines әдістері қолданылды.
Зерттеу жұмысының ғылыми жаңалығы. Стеммер Портера алгоритмін қазақ тіліне бейімдеу, rector.kz ұстаздарға арналған ұлттық әлеументтік желінің жасалуы.
Зерттеу нәтижелерінің анықтылығы. Зерттеу нәтижелері, талаптары, қорытындылары қатал математикалық әдістермен, есептеу эксперименттерінің нәтижелерімен дәлелденген, республикалық ғылыми конференцияда, ғылыми басылымдарда жарияланған.
1 Воронцов, К.В. Вычислительные методы обучения по прецедентам. [Электронды ресурс]: http://www.ccas.ru/voron/download/Introduction.pdf
2 Курс «Машинное обучение» - [Электронды ресурс]: http://shad.yandex.ru/lectures/machine_learning.xml (дата обращения: 12.03.2014).
3 Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных. [Электронды ресурс]: http://www.machinelearning.ru/ (дата обращения: 12.04.2014).
4 Классификация документов методом опорных векторов [Электронды ресурс]: http://habrahabr.ru/post/130278/ (дата обращения: 22.04.2014).
5 Агеев, М. С. Методы автоматической рубрикации текстов, основанные на машинном обучении и знаниях экспертов.[Мәтін] – Москва, 2004
6 Гасфилд , Д. Строки, деревья и последовательности в алгоритмах. [Мәтін] СПб.: Невский диалект, 2003.
7 Broder, A. On the resemblance and containment of documents. [Мәтін] Compression and Complexity of Sequences (SEQUENCES'97), pages 21-29. IEEE Computer Society, 1998.
8 Broder, A. Algorithms for duplicate documents. [Электронды ресурс]
http://www.cs.princeton.edu/courses/archive/spr05/cos598E/bib/Princeton.pdf
9 Сегалович, И. Принципы и технические методы работы с незапрашиваемой корреспонденцией. [Электронды ресурс]
http://company.yandex.ru/articles/spamooborona.html
10 Pugh, W. Detecting duplicate and near — duplicate files. [Электронды ресурс] http://www.cs.umd.edu/~pugh/google/Duplicates.pdf
11 1.Reuters-21578 [Электронды ресурс] (www.daviddlewis.com/resources/testcollections/reuters21578/).
12 Попов, И.В. Автоматизированная рубрикация энциклопедиче-ских статей [Мәтін] // Компьютерная лингвистика и интеллектуальные технологии. Труды Межд. Семинара Диалог'2002 / Под ред. А.С.Нариньяни - М.: Н., 2002.
13 Wasson, M., Classification Technology at LexisNexis [Мәтін] // SIGIR 2001 Workshop on Operational Text Classification.
14 Journal of Economic Literature Classification System [Электронды ресурс] (www.aeaweb.org/journal.html).
15 Joachims, T., Text Categorization with Support Vector Machines: Learning with Many Relevant Features [Мәтін] // Proceedings of ECML-98, 10th European Conference on Machine Learning, 1998.
16 Лукашевич, Н.В., Представление знаний в системе автоматической обработки текстов [Мәтін] // НТИ. Сер.2. - 1997 - N3.
17 Лукашевич, Н.В., Автоматическое рубрицирование потоков текстов по общественно-политической тематике [Мәтін] // НТИ. Сер.2. - 1996. - N 10. - C.22-30.
18 Large Scale Hierarchical Text classification (LSHTC) Pascal Challenge http://lshtc.iit.demokritos.gr/
19 Sebastiani, F.: Machine learning in automated text categorization, ACM Computing Surveys, vol. 34, pp. 1-47, 2002 [Электронды ресурс] http://nmis.isti.cnr.it/sebastiani/Publications/ACMCS02.pdf
20 Дунаев, Е. В. Автоматическая рубрикация web-страниц в интернет-каталоге с иерархической структурой / Е. В. Дунаев, А. А. Шелестов // Интернет-математика 2005. Автоматическая обработка веб-данных. - М., 2005. - С. 382-398 [Электронды ресурс] http://elar.usu.ru/bitstream/1234.56789/1419/1/IMAT_2005_20.pdf
21 Cancedda, N. Renders “Word-Sequence Kernels”, [Мәтін] Journal of Machine Learning Research 3, 2003.
22 Goutte, C. “A Probabilistic Interpretation of Precision, [Мәтін] Recall and F-score, with Implication for Evaluation”, ECIR’05, 2005.
23 Leslie, C. “Fast Kernels for Inexact String Matching”, [Мәтін] Proceedings of COLT/Kernel Workshop, 2003.
24 Кормен, Т. “Алгоритмы: построение и анализ” [Мәтін] , МЦНМО, 2000.
25 Иванов, В. “Расширение представления документов при поиске в Веб” [Мәтін] , Труды RCDL2002, 2002.
26 Агеев, М.С. Поддержка системы автоматического рубрицирования для сложных задач классификации текстов. [Мәтін] // Труды 6-ой сероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» - RDCL2004, Пущино, Россия, 2004
27 Агеев,М.С. Экспериментальные алгоритмы поиска/классификации и сравнение с «basic line». [Мәтін] // Труды второго оссийского семинара по оценке методов информационного поиска. Под ред. И.С. Некрестьянова - Санкт-Петербург: НИИ Химии СПбГУ, 2004, C.62-89
28 Агеев,М. Официальные метрики РОМИП’2004 [Мәтін] // Труды второго российского семинара по оценке методов информационного оиска. Под ред. И.С. Некрестьянова - Санкт-Петербург: НИИ Химии СПбГУ, 2004, C.142-150.
29 Андреев,А.М. Автоматическая классификация текстовых документов с использованием нейросетевых алгоритмов и семантического анализа [Мәтін] - Санкт-Петербург: НИИ Химии СПбГУ, 2004, C.62-89
30 Шабанов,В.И. Метод классификации текстовых документов, основанный на полнотекстовом поиске [Мәтін] // Труды первого российского семинара по оценке методов информационного поиска. Под ред. И.С. Некрестьянова - Санкт-Петербург: НИИ Химии СПбГУ, 2003
31 Sebastiani, F. Proceedings of the 11th Annual Symposium on Combinatorial Pattern Matching. [Мәтін] – 2000
32 Ландэ Д.В. Основы интеграции информационных потоков. [Мәтін] – К.:Инжиниринг, 2006.
33 Sebastiani, F.An Introduction to Dependency Grammar [Мәтін] , Ralph Debusmann Universit•at des Saarlandes,Computerlinguistik, 2000
34 Bektaev, K.B. Language Statistics [Мәтін] , Alma-Ata, 1972
35 Шарипбаев, А.А Интеллектуальный морфологический анализатор, основанный на семантических сетях, и др.труды конференции [Мәтін] Open Semantic Technologies for Intelligent Systems ,2012
36 Altenbek, G. Kazakh Segmentation System of Inflectional Affixes [Мәтін] , Wang Xiao-long ,2010
37 Рахимова, Д.Р. Анализ формальных грамматик [Мәтін] , труды Международной конференции студентов и молодых ученых "Мир Науки", 2011
38 Joakim, N Dependency Grammar and Dependency Parsing, [Мәтін] , 2008
39 Абдурахманов Н.М. Қазақ тіліндегі мәтіндерді өңдеудің кейбір аспектілері. [Мәтін] // «Қоғамды ақпараттандыру» III Халықаралық ғылыми-практикалық конференция.
40 Воронцов, К. В. Комбинаторная теория надёжности обучения по прецедентам [Мәтін] : Дис. док. физ.-мат. наук: 05-13-17.— Вычислительный центр РАН, 2010.
41 Barinova, O., On detection of multiple object instances using hough transforms. [Мәтін] //In: CVPR. (2010)
42 Rodner, E. One-Shot Learning of Object Categories Using Dependent Gaussian Processes [Мәтін] // Lecture Notes in Computer Science. 2010.
43 Su, Y. Adaptive generic learning for face recognition from a single sample per person [Мәтін] // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2010.
44 Курс "Введение в компьютерное зрение": Машинное обучение и классификация, [Электронды ресурс] http://courses.graphicon.ru/files/courses/ vision/2010/cv201006.pdf.
45 Christoph, L. Kernel Methods in Computer Vision. Microsoft Computer Vision School [Мәтін] , Moscow, 2011.
46 Babalola, К. O., Cootes T. F. Using Parts and Geometry Models to initialise Active Appearance Models for Automated Segmentation of 3D Medical Images [Мәтін] // Proc. IEEE Int. Symp. on Biomedical Imaging (ISBI). 2010.
47 Cai, K., Automatic 3D Whole Heart Registration-Based Segmentation Using Mutual Information and B-Splines [Мәтін] // International Journal of Advancements in Computing Technology(IJACT). 2011.
48 Kaynig, V. Neuron geometry extraction by perceptual grouping in ssTEM images [Мәтін] // Proceedings of CVPR. 2010.
49 Yang, F., White matter lesion segmentation based on feature joint occurrence probability and hi2 random field theory from magnetic resonance (MR) images [Мәтін] // Pattern Recognition Letters. 2010.
50 Cooper L. A. Digital Pathology: Data-Intensive Frontier in Medical Imaging [Мәтін] // Proceedings of the IEEE. 2012.
51 Gavrishchaka, V., Robust algorithmic detection of the developed cardiac pathologies and emerging or transient abnormalities fromshort periods of RR data [Мәтін] // Proceedings of CMLS. Vol. 1371 - 2011.
52 Senyukova, O., Diffuse Axonal Injury Lesion Segmentation Using Contouring Algorithm [Мәтін] // Proceedings of GraphiCon. 2011
53 Сенюкова, О., Выделение областей интереса на основе классификации изолиний [Мәтін] // Программные продукты и системы. 2012.
54 Апальков И.В., Архивирование изображений на основе стандарта 1РЕ02000 с возможностью распознавания лиц [Мәтін] // Тр. ЬХУ науч. сессии, посвященной Дню Радио. Москва, 2010.
55 Шмаглит, Л.А., Использование информации о цвете в алгоритме выделения лиц на изображениях [Мәтін] // Материалы 20-й Международной Конференции по Компьютерной Графике и Зрению «ГрафиКон'2010», 2010
56 Голубев, М.Н. Устранение ложных срабатываний в алгоритме выделения лиц на изображении [Мәтін] // Докл. 12-й междунар. конф. «Цифровая обработка сигналов и ее применение» (Б8РА-2010), Москва, 2010.
57 Волохов В. Удаление аддитивного белого гауссова шума из цифровых изображений на основе анализа главных компонент [Мәтін] // Тр.конф. ГрафиКон'2010, 2010
58 Голубев M.H., Исследовательская среда PicLab.Signage.Demo: обзор возможностей [Мәтін] // Тр. LXVI науч. сессии, посвященной Дню Радио. Москва, 2011
59 Баженов Л.Б. Интеллект и машина, изд. [Мәтін] "Знание", М., 1973.
60 Бердяев, Н.А. Человек и машина [Мәтін] , Вопросы философии, 1989, N2.
61 Вычислительные машины и мышление [Мәтін] . М., "Мир",
62 Кибернетика и философия [Мәтін] . АН Латвийской ССР, изд. "Зинатне", 1977.
63 Клаус, Г. Кибернетика и философия [Мәтін] , М., "Иностранная литература", 1963.
64 Моисеев, Н.Н. Компьютеризация, ее социальные последствия [Мәтін] , Вопросы философии, 1987, N9.
65 Системно-кибернетические аспекты познания [Мәтін] . АН Латв. ССР, изд."Зинатне", 1985.
66 Шалютин, С. Искусственный интеллект [Мәтін] . М., 1981.
67 http://sozdik.kz/ [Электронды ресурс]
68 Ахметов, К. Есептеу техникасы және программалау [Мәтін] : Оқулық / К. Ахметов. - Алматы: Кайнар, 1996. - 352 бет.
69 Шәріпбаев, А.Ә. Қазақ тілі терминдерінің салалық ғылыми түсіндірме сөздігі: Информатика және компьютерлік техника [Мәтін] / Шәріпбаев А.Ә., Бөрібаев Б.Б. және т.б. – Алматы: «Мектеп баспасы» ЖАҚ, 2002. – 456 бет.
70 Құсайынов, А. Қазақша-орысша, орысша-қазақша терминологиялық сөздік: Информатика және есептеуіш техника [Мәтін] / Жалпы редакциясын басқарған профессор– Алматы: Республикалық мемлекеттік “Рауан” баспасы, 1999. – 304 бет.
71 Бөрібаев, Б.Б. Информатика терминдерінің түсіндірме сөздігі [Мәтін] / Б.Б. Бөрібаев, Е. Балапанов, А. Есжанов. – Алматы, 2000. – 256 бет.
72 Аладьев В.З. Основы информатики [Мәтін] : Учебное пособие. / В.З. Аладьев, Ю.Я. Хунт, Шишаков. – М.: ИИД «Филинъ», 1999. – 544 с.
73 Шафрин Ю. Информационные технологий [Мәтін] . / Ю. Шафрин. – М.: Лаборатория Базовых Знаний, 1998. – 704 с.
74 Хомоненко А.Д. Основы современных компьютерных технологий [Мәтін] : Учебное пособие / Под ред. Проф. Хомоненко А.Д. – СПб.: КОРОНА принт, 1998. – 448 с.
2 Курс «Машинное обучение» - [Электронды ресурс]: http://shad.yandex.ru/lectures/machine_learning.xml (дата обращения: 12.03.2014).
3 Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных. [Электронды ресурс]: http://www.machinelearning.ru/ (дата обращения: 12.04.2014).
4 Классификация документов методом опорных векторов [Электронды ресурс]: http://habrahabr.ru/post/130278/ (дата обращения: 22.04.2014).
5 Агеев, М. С. Методы автоматической рубрикации текстов, основанные на машинном обучении и знаниях экспертов.[Мәтін] – Москва, 2004
6 Гасфилд , Д. Строки, деревья и последовательности в алгоритмах. [Мәтін] СПб.: Невский диалект, 2003.
7 Broder, A. On the resemblance and containment of documents. [Мәтін] Compression and Complexity of Sequences (SEQUENCES'97), pages 21-29. IEEE Computer Society, 1998.
8 Broder, A. Algorithms for duplicate documents. [Электронды ресурс]
http://www.cs.princeton.edu/courses/archive/spr05/cos598E/bib/Princeton.pdf
9 Сегалович, И. Принципы и технические методы работы с незапрашиваемой корреспонденцией. [Электронды ресурс]
http://company.yandex.ru/articles/spamooborona.html
10 Pugh, W. Detecting duplicate and near — duplicate files. [Электронды ресурс] http://www.cs.umd.edu/~pugh/google/Duplicates.pdf
11 1.Reuters-21578 [Электронды ресурс] (www.daviddlewis.com/resources/testcollections/reuters21578/).
12 Попов, И.В. Автоматизированная рубрикация энциклопедиче-ских статей [Мәтін] // Компьютерная лингвистика и интеллектуальные технологии. Труды Межд. Семинара Диалог'2002 / Под ред. А.С.Нариньяни - М.: Н., 2002.
13 Wasson, M., Classification Technology at LexisNexis [Мәтін] // SIGIR 2001 Workshop on Operational Text Classification.
14 Journal of Economic Literature Classification System [Электронды ресурс] (www.aeaweb.org/journal.html).
15 Joachims, T., Text Categorization with Support Vector Machines: Learning with Many Relevant Features [Мәтін] // Proceedings of ECML-98, 10th European Conference on Machine Learning, 1998.
16 Лукашевич, Н.В., Представление знаний в системе автоматической обработки текстов [Мәтін] // НТИ. Сер.2. - 1997 - N3.
17 Лукашевич, Н.В., Автоматическое рубрицирование потоков текстов по общественно-политической тематике [Мәтін] // НТИ. Сер.2. - 1996. - N 10. - C.22-30.
18 Large Scale Hierarchical Text classification (LSHTC) Pascal Challenge http://lshtc.iit.demokritos.gr/
19 Sebastiani, F.: Machine learning in automated text categorization, ACM Computing Surveys, vol. 34, pp. 1-47, 2002 [Электронды ресурс] http://nmis.isti.cnr.it/sebastiani/Publications/ACMCS02.pdf
20 Дунаев, Е. В. Автоматическая рубрикация web-страниц в интернет-каталоге с иерархической структурой / Е. В. Дунаев, А. А. Шелестов // Интернет-математика 2005. Автоматическая обработка веб-данных. - М., 2005. - С. 382-398 [Электронды ресурс] http://elar.usu.ru/bitstream/1234.56789/1419/1/IMAT_2005_20.pdf
21 Cancedda, N. Renders “Word-Sequence Kernels”, [Мәтін] Journal of Machine Learning Research 3, 2003.
22 Goutte, C. “A Probabilistic Interpretation of Precision, [Мәтін] Recall and F-score, with Implication for Evaluation”, ECIR’05, 2005.
23 Leslie, C. “Fast Kernels for Inexact String Matching”, [Мәтін] Proceedings of COLT/Kernel Workshop, 2003.
24 Кормен, Т. “Алгоритмы: построение и анализ” [Мәтін] , МЦНМО, 2000.
25 Иванов, В. “Расширение представления документов при поиске в Веб” [Мәтін] , Труды RCDL2002, 2002.
26 Агеев, М.С. Поддержка системы автоматического рубрицирования для сложных задач классификации текстов. [Мәтін] // Труды 6-ой сероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» - RDCL2004, Пущино, Россия, 2004
27 Агеев,М.С. Экспериментальные алгоритмы поиска/классификации и сравнение с «basic line». [Мәтін] // Труды второго оссийского семинара по оценке методов информационного поиска. Под ред. И.С. Некрестьянова - Санкт-Петербург: НИИ Химии СПбГУ, 2004, C.62-89
28 Агеев,М. Официальные метрики РОМИП’2004 [Мәтін] // Труды второго российского семинара по оценке методов информационного оиска. Под ред. И.С. Некрестьянова - Санкт-Петербург: НИИ Химии СПбГУ, 2004, C.142-150.
29 Андреев,А.М. Автоматическая классификация текстовых документов с использованием нейросетевых алгоритмов и семантического анализа [Мәтін] - Санкт-Петербург: НИИ Химии СПбГУ, 2004, C.62-89
30 Шабанов,В.И. Метод классификации текстовых документов, основанный на полнотекстовом поиске [Мәтін] // Труды первого российского семинара по оценке методов информационного поиска. Под ред. И.С. Некрестьянова - Санкт-Петербург: НИИ Химии СПбГУ, 2003
31 Sebastiani, F. Proceedings of the 11th Annual Symposium on Combinatorial Pattern Matching. [Мәтін] – 2000
32 Ландэ Д.В. Основы интеграции информационных потоков. [Мәтін] – К.:Инжиниринг, 2006.
33 Sebastiani, F.An Introduction to Dependency Grammar [Мәтін] , Ralph Debusmann Universit•at des Saarlandes,Computerlinguistik, 2000
34 Bektaev, K.B. Language Statistics [Мәтін] , Alma-Ata, 1972
35 Шарипбаев, А.А Интеллектуальный морфологический анализатор, основанный на семантических сетях, и др.труды конференции [Мәтін] Open Semantic Technologies for Intelligent Systems ,2012
36 Altenbek, G. Kazakh Segmentation System of Inflectional Affixes [Мәтін] , Wang Xiao-long ,2010
37 Рахимова, Д.Р. Анализ формальных грамматик [Мәтін] , труды Международной конференции студентов и молодых ученых "Мир Науки", 2011
38 Joakim, N Dependency Grammar and Dependency Parsing, [Мәтін] , 2008
39 Абдурахманов Н.М. Қазақ тіліндегі мәтіндерді өңдеудің кейбір аспектілері. [Мәтін] // «Қоғамды ақпараттандыру» III Халықаралық ғылыми-практикалық конференция.
40 Воронцов, К. В. Комбинаторная теория надёжности обучения по прецедентам [Мәтін] : Дис. док. физ.-мат. наук: 05-13-17.— Вычислительный центр РАН, 2010.
41 Barinova, O., On detection of multiple object instances using hough transforms. [Мәтін] //In: CVPR. (2010)
42 Rodner, E. One-Shot Learning of Object Categories Using Dependent Gaussian Processes [Мәтін] // Lecture Notes in Computer Science. 2010.
43 Su, Y. Adaptive generic learning for face recognition from a single sample per person [Мәтін] // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2010.
44 Курс "Введение в компьютерное зрение": Машинное обучение и классификация, [Электронды ресурс] http://courses.graphicon.ru/files/courses/ vision/2010/cv201006.pdf.
45 Christoph, L. Kernel Methods in Computer Vision. Microsoft Computer Vision School [Мәтін] , Moscow, 2011.
46 Babalola, К. O., Cootes T. F. Using Parts and Geometry Models to initialise Active Appearance Models for Automated Segmentation of 3D Medical Images [Мәтін] // Proc. IEEE Int. Symp. on Biomedical Imaging (ISBI). 2010.
47 Cai, K., Automatic 3D Whole Heart Registration-Based Segmentation Using Mutual Information and B-Splines [Мәтін] // International Journal of Advancements in Computing Technology(IJACT). 2011.
48 Kaynig, V. Neuron geometry extraction by perceptual grouping in ssTEM images [Мәтін] // Proceedings of CVPR. 2010.
49 Yang, F., White matter lesion segmentation based on feature joint occurrence probability and hi2 random field theory from magnetic resonance (MR) images [Мәтін] // Pattern Recognition Letters. 2010.
50 Cooper L. A. Digital Pathology: Data-Intensive Frontier in Medical Imaging [Мәтін] // Proceedings of the IEEE. 2012.
51 Gavrishchaka, V., Robust algorithmic detection of the developed cardiac pathologies and emerging or transient abnormalities fromshort periods of RR data [Мәтін] // Proceedings of CMLS. Vol. 1371 - 2011.
52 Senyukova, O., Diffuse Axonal Injury Lesion Segmentation Using Contouring Algorithm [Мәтін] // Proceedings of GraphiCon. 2011
53 Сенюкова, О., Выделение областей интереса на основе классификации изолиний [Мәтін] // Программные продукты и системы. 2012.
54 Апальков И.В., Архивирование изображений на основе стандарта 1РЕ02000 с возможностью распознавания лиц [Мәтін] // Тр. ЬХУ науч. сессии, посвященной Дню Радио. Москва, 2010.
55 Шмаглит, Л.А., Использование информации о цвете в алгоритме выделения лиц на изображениях [Мәтін] // Материалы 20-й Международной Конференции по Компьютерной Графике и Зрению «ГрафиКон'2010», 2010
56 Голубев, М.Н. Устранение ложных срабатываний в алгоритме выделения лиц на изображении [Мәтін] // Докл. 12-й междунар. конф. «Цифровая обработка сигналов и ее применение» (Б8РА-2010), Москва, 2010.
57 Волохов В. Удаление аддитивного белого гауссова шума из цифровых изображений на основе анализа главных компонент [Мәтін] // Тр.конф. ГрафиКон'2010, 2010
58 Голубев M.H., Исследовательская среда PicLab.Signage.Demo: обзор возможностей [Мәтін] // Тр. LXVI науч. сессии, посвященной Дню Радио. Москва, 2011
59 Баженов Л.Б. Интеллект и машина, изд. [Мәтін] "Знание", М., 1973.
60 Бердяев, Н.А. Человек и машина [Мәтін] , Вопросы философии, 1989, N2.
61 Вычислительные машины и мышление [Мәтін] . М., "Мир",
62 Кибернетика и философия [Мәтін] . АН Латвийской ССР, изд. "Зинатне", 1977.
63 Клаус, Г. Кибернетика и философия [Мәтін] , М., "Иностранная литература", 1963.
64 Моисеев, Н.Н. Компьютеризация, ее социальные последствия [Мәтін] , Вопросы философии, 1987, N9.
65 Системно-кибернетические аспекты познания [Мәтін] . АН Латв. ССР, изд."Зинатне", 1985.
66 Шалютин, С. Искусственный интеллект [Мәтін] . М., 1981.
67 http://sozdik.kz/ [Электронды ресурс]
68 Ахметов, К. Есептеу техникасы және программалау [Мәтін] : Оқулық / К. Ахметов. - Алматы: Кайнар, 1996. - 352 бет.
69 Шәріпбаев, А.Ә. Қазақ тілі терминдерінің салалық ғылыми түсіндірме сөздігі: Информатика және компьютерлік техника [Мәтін] / Шәріпбаев А.Ә., Бөрібаев Б.Б. және т.б. – Алматы: «Мектеп баспасы» ЖАҚ, 2002. – 456 бет.
70 Құсайынов, А. Қазақша-орысша, орысша-қазақша терминологиялық сөздік: Информатика және есептеуіш техника [Мәтін] / Жалпы редакциясын басқарған профессор– Алматы: Республикалық мемлекеттік “Рауан” баспасы, 1999. – 304 бет.
71 Бөрібаев, Б.Б. Информатика терминдерінің түсіндірме сөздігі [Мәтін] / Б.Б. Бөрібаев, Е. Балапанов, А. Есжанов. – Алматы, 2000. – 256 бет.
72 Аладьев В.З. Основы информатики [Мәтін] : Учебное пособие. / В.З. Аладьев, Ю.Я. Хунт, Шишаков. – М.: ИИД «Филинъ», 1999. – 544 с.
73 Шафрин Ю. Информационные технологий [Мәтін] . / Ю. Шафрин. – М.: Лаборатория Базовых Знаний, 1998. – 704 с.
74 Хомоненко А.Д. Основы современных компьютерных технологий [Мәтін] : Учебное пособие / Под ред. Проф. Хомоненко А.Д. – СПб.: КОРОНА принт, 1998. – 448 с.
Пән: Информатика, Программалау, Мәліметтер қоры
Жұмыс түрі: Дипломдық жұмыс
Тегін: Антиплагиат
Көлемі: 62 бет
Таңдаулыға:
Жұмыс түрі: Дипломдық жұмыс
Тегін: Антиплагиат
Көлемі: 62 бет
Таңдаулыға:
ҚАЗАҚСТАН РЕСПУБЛИКАСЫНЫҢ БІЛІМ ЖӘНЕ ҒЫЛЫМ МИНИСТРЛІГІ
СЕМЕЙ қаласының ШӘКӘРІМ атындағы МЕМЛЕКЕТТІК УНИВЕРСИТЕТІ
Физика-математикалық факультеті
Информатика және ақпараттық технологиялар кафедрасы
6М060200 Информатика мамандығы
бойынша магистерлік диссертация
МАШИНАЛЫҚ ОҚЫТУ АЛГОРИТМІН ҚҰЖАТТАРДЫ ТОПТАУ ҮШІН ҚОЛДАНУ
Орындаған___________________ Искаков Р. О.
(қолы, күні)
Ғылыми жетекші ______________ Есенбекова Г. Ж.
(қолы, күні)
Қорғауға жіберілді:______________
(күні)
Кафедра меңгерушісі____________ Абишова А.А.
(қолы, күні)
Семей – 2015 ж.
РЕФЕРАТ
Диссертация 73 бет, 28 сурет, 31 формула, қолданылған әдебиеттер саны
74.
Кілт сөздер: машиналық оқыту, SVM, мәтінді өңдеу, жасанды интелект,
әлсіз жасанды интелект, дедуктивті үйрету, индуктивті үйрету,
классификация, TF*IDF.
Бұл жұмыста мәтінді өңдеу мәсілісі жанжақты зерттелген. Басты нәтиже
ол Стеммер Портера алгоритмі қазақ тіліне бейімделген. Шинглдер алгоритмі
қарастырылған. Машиналық оқыту әдістерін қолданған жағдайда классификаторды
құру үшін алдын ала адаммен дайындалған құжаттар топтамасы қолданылады.
Машиналық оқыту алгоритмы құжаттарды классификациялау процедурасын
топталған текстер жиынын автоматты түрде анализ жасау арқылы құрады.
Білімге негізделген әдістерді қолданған жағдайда, құжатты белгілі бір
топтамаға тіркеу сарапшының рубрикаторды анализ жасауы арқылы іске
асырылады.
БЕЛГІЛЕУЛЕР МЕН ҚЫСҚАРТУЛАР
АТ - ақпараттық технологиялар
ДЭЕМ - дербес электрондық есепиеуіш машина
ЖДПТ - жоғарғы деңгейдегі программалау тілі
ЖИ - жасанды интеллект
ЖИЖ - жасанды интеллект жүйелері
ЖНЖ - жасанды нейрондық желі
МҚ - мәліметтер қоры
МҚБЖ - мәліметтер қорын басқару жүйелері
ОЖ - операциялық жүйе
СЖ - сараптық жүйелер
ЭЕМ - электрондық есептеуіш машина
МАЗМҰНЫ
БЕЛГІЛЕУЛЕР МЕН ҚЫСҚАРТУЛАР 3
КІРІСПЕ 5
1 ЖАСАНДЫ ИНТЕЛЛЕКТ 7
1.1 Жасанды интелектіге кіріспе 7
1.2 Сараптық жүйелер 15
1.3 Нейрондық желілердің негізгі түсініктері 23
1.4 Машиналық оқыту 36
2 МӘТІНДІ АВТОМАТТЫ ТҮРДЕ ТОПТАСТЫРУ 40
2.1 Автоматты түрде мәтінді топтастыратын әдістерге шолу 40
2.2 Мәтінді компьютерлік өңдеуге дайыдаудың негізгі амалдары 41
2.3 Морфологияны қолдану 42
2.4 TF*IDF 45
2.5 Сайт тақырыбын таңдау 47
2.6 Стеммер Портера 50
3 МАШИНАЛЫҚ ОҚЫТУ ӘДІСТЕРІНЕ ШОЛУ 51
3.1 Байес әдісі 51
3.2 K-жақын көршілер әдісі 52
3.3 Rocchio classifier 53
3.4 Нейрондық желілер 54
3.5 Шешімдер ағашы 54
3.6 Буль функцияларын құру 56
3.7 Support Vector Machines 57
3.8 SVM іске асыру бағдарламалары 59
3.9 SVM параметрлерін оңтайландыру 59
ҚОРЫТЫНДЫ 61
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ 64
Қосымша А 69
КІРІСПЕ
Ақпаратты классификациялау (шектелген жиын ішінде ақпараттың
бөлшектерін бір немесе бірнеше санаттарға жіктеу) білімді ұйымдастырудың
және ақпарат алмасудың дәстүрлі мәселесі болып табылады. Өте үлкен
ақпараттық топтамаларда тек автоматты классификациялау туралы айтуға
болады.
Бұл мәселені автоматтық процедуралар арқылы шешу үшін көптеген
әдістер ұсынылды. Қазіргі таңдағы әдістерді принципиалды түрде бір-біріне
ұқсамайтын екі классқа бөлуге болады: машиналық оқыту әдістері және
мағлұматтарға негізделген әдістер (инженерлік тәсіл деп те атайды).
Машиналық оқыту әдістерін қолданған жағдайда классификаторды құру
үшін алдын ала адаммен дайындалған құжаттар топтамасы қолданылады.
Машиналық оқыту алгоритмы құжаттарды классификациялау процедурасын
топталған текстер жиынын автоматты түрде анализ жасау арқылы құрады.
Білімге негізделген әдістерді қолданған жағдайда, құжатты белгілі бір
топтамаға тіркеу сарапшының рубрикаторды анализ жасауы арқылы іске
асырылады.
Білімге негізделген әдістер ұғымының шартты екенін атап өткен жөн.
Мәтінді автоматты түрде классификациялау әдістерінің кез-келген түрі
белгілі бір дәрежеде мәтіннің табиғи тілдегі қасиеттері жайлы білімді және
әрбір топтамаға сәйкес мәтіндердің ерекшеліктері туралы білімді қолданады.
Екі әдістер топтарының арасындағы принципалды айрмашылық ол, машиналық
оқыту әдістері мәтіндердің оқыту топтамаларынан білімді алу үшін
математикалық әдістерді пайдаланады, ал инженерлік әдіс топтамаға сәйкес
мәтіндердің қасиеттері туралы сарапшылардың білімін пайдаланады. Эксперттің
білімі ең бірінші бастапқы тәжірибеге сүйенеді, соның ішінде ертеректе
оқылған мәтіндердің үлкен топтамасына, содан кейін топтастырылуға тиісті
мәтіндер жиынына.
Қазіргі таңда жоғарыда көрсетілген мәтінді автоматты түрде
классификациялау әдістерінің арасында, яғни машиналық оқыту және білімге
негізделген әдістер арасында үлкен айырмашылық бар, ғылыми зерттеу жағынан
да, тәжірибелік әдістер жағынан да.
Жұмыстың мақсаты. Бұл жұмыста классификация алгоритмдері
қарастырылады. Адам санасы көлемді ақпаратты тез арада өңдей алмайды және
оны өңдеуге міндетті емес, бұл мәселелерге барынша ЭЕМ мүмкіндіктерін
қолдану керек.
Бұл мәселені шешу үшін келесі қадамдар жасалу керек:
– Мәтін қай тілде жазылғанын анықтау;
– Құжаттардың ұқсастығын анықтау;
– Алгоритм мәтіннен негізгі кілт сөздерді анықтау керек;
– Кілт сөздерді анықтау үшін Стеммер Портера алгоритмін қазақ
тіліне бейімдеу (мысалы оқу, оқушылар, оқушыларға – түбүрі оқу
сөзі);
– Кілт сөздерді анықтау барысында қате сөздерді n-gramm және
Левенштейн қашықтығы алгоритмедерін қолдана отырып түзеу.
Бұл ғылыми жұмыс тек теория болып қалмай шынайы өмірде өз қолданысын табады
деген үміттеміз.
Зерттеу әдістері. Есептің қойылымы мен шешімін зерттеу барысында
жүйелік талдау, Шингл алгоритмы, Стеммер Портьера, Support Vector Machines
әдістері қолданылды.
Зерттеу жұмысының ғылыми жаңалығы. Стеммер Портера алгоритмін қазақ
тіліне бейімдеу, rector.kz ұстаздарға арналған ұлттық әлеументтік желінің
жасалуы.
Зерттеу нәтижелерінің анықтылығы. Зерттеу нәтижелері, талаптары,
қорытындылары қатал математикалық әдістермен, есептеу эксперименттерінің
нәтижелерімен дәлелденген, республикалық ғылыми конференцияда, ғылыми
басылымдарда жарияланған.
ЖАСАНДЫ ИНТЕЛЛЕКТ
1 Жасанды интелектіге кіріспе
Жасанды интеллект жасауға болама? Ол интеллекте толықтай ойлау
қабілеті және шығармашылыққа деген ынта болама? Ол адамзатқа көмекші
болама, әлде адамзатпен жарысама? Бұл сұрақтар көптеген уақыт бойы ғалымдар
арасында талқыланып келеді.
1955 жылы ең алғашқы компьютерлердің пайда болуымен қатар жасанды
интеллект ұғымы ұсынылды. Яғни, сол кездегі ғалымдардың болжамы бойынша 5-
10 жылдың ішінде жасанды интеллект адам сияқты кез-келген тексті аударып,
адам деңгейінде шахмат ойнайды деп болжады. Қазіргі жағдайда, бұның бәрі
біраз кешірек жүзеге асырылды, бірақ дегенмен адамзат соған қол жеткізді.
Айта кету керек, кейбір сол кезде жеңіл, оп -оңай болып көрінген мәселелер
әлі күнге дейін өз шешімін таппай отыр, мысалы бейнелерді автоматты түрде
тану, текстерді бір тілден екінші тілге мағынасын жоғалтпай аудару және ең
бастысы шынайы жасанды интеллект жасау. Яғни, адамдардың бұл идеялардан
көңілі қалды, әсіресе қаржылау органдарының, өйткені көптеген қаражат
жұмсалып нәтиже мардымсыз болды.
Жасанды интеллекттің мәселесі қазіргі кезеңде ең маңызды проблемаға
айналған тақырып. Онымен айналысушылар мүлде көп-ақ. Ол жөнінде
ізденушілердің қатарына кибернетиктер, лингвисттер, психологтар,
философтар, математиктер, инженерлер жатады. Осы жасанды интеллект
мәселелерін шешу арқылы ғылыми дамудың көптеген проблемалары шешімін табады
[1]. Бұл проблемаларға есептеу техникалары мен робототехника саласындағы
күрделі есептер шешіліп жатады. Дәл осы тұста пәнаралық зерттеулер туындап,
олардың жаңа бағыттары айқындалып жатады.
Қазіргі ғылыми жетістіктер арқылы адам миының миллиардтаған есептеу
тораптарынан, яғни нейрондардан тұратыны белгілі. Жаңа есептеу машиналары
әлі де жеткілікті дамымаса да кейбір жақтарында Адам баласының есептеу
қабілетінен асып кетіп отырғандығы анық. Жасанды нейронды желілер күрделі
басқару жүйелерін және бақылау тапсырмаларын атқарып отыр. Тіпті
автопилотты да осы жасанды интеллект арқылы жасауға қол жеткізілді емес
пе?!
Мысалы жасанды интеллекттің зерттелуі арқасында компьютерлер шахматы
едәуір жақсы ойнауға кірісті.
Экономикаға қатысты проблеманың бірі – қаражаттық қатарлар. Олар
күрделі жүйе болып табылады да, сондықтан математикалық модель құру
негізінде олардың тәртібінің динамикасын баяндау іс-жүзінде ешқандай табыс
әкелген жоқ [2]. Бұл негізінен модельдердің тым жеңілдеуімен және де
финанстық деңгей тәртібіне смежный экономикалық жүйелердің әсер ету
дәрежесін толық білмеуімен түсіндіріледі. Нейрондық жүйелерді пайдалану
ерекшелігі олардың салыстырмалы түрдегі аз мінездемелерге сүйеніп қандай да
болмасын процессте заңдылықтарды таба ала білуде.
Жасанды интеллект ұғымы сан салалы. Бірақ ең маңызды аспектілерін
бөліп көрсетуге болады. Біріншіден, жасанды интеллект дегеніміз өзінің
алдына қойған мақсатын белгілі тәсілдер арқылы зерттей алатын жүйе.
Екіншіден, интеллект өз алдынан шыққан ақпаратты өңдей алады, сол себепті
жасанды интеллекттің жүйесінде білімнің көрініс табу мәселесі де қызықты
болып отыр. Үшіншіден, міндеттердің шешудің интеллектуалды жүйелер арқылы
шешетін көптеген тәсілдері бар деген сөз. Төртіншіден, жасанды интеллекттің
адаммен бір ғана тілде байланыса алуы онымен екеуара диалог жүргізуді
едәуір жеңілдетеді.
Бірақ кейбір ғалымдар жасанды интеллект жасаудың мүмкін еместігі
жөнінде пікір айтқанымен жасанды интеллект жасау саласындағы Жан-жақты
іздену қазіргі ғылымда кең етек жаюда.
Интеллект дегенімізді екі ауыз сөзбен айтуға болады ма? Қалауыңыз
білсін: интеллект – бұл өмірлік тәжірибе. Тосын көзқарас па? Бірақ бұл
сөздің арғы шығу тегі латынның ойлы деген сөзінен туындайды, әдепкіде
интеллигент деп тек ой еңбегімен айналысушыларды ғана атайтын.
Интеллектті белгілі міндеттерді, мәселелерді шешу мақсатындағы іс-
әрекеттің тиімділігі деуге де болады. Ал өмірлік тәжірибе белгілі
міндеттерді шешуден, атқарудан тұрады емес пе?! Интеллект белгілі міндеттер
мен қатар белгісіздерін де атқара білу.
Болжам жасай алу да интеллектің бір механизмі. Сонымен интеллект деген
терминнің өзі сан салалы. Ал сонда жасанды интеллект дегеніміз қандай
нәрсе?
Соңғы отыз жыл төңірегінде осы жасанды интеллект туралы небір ойлар
айтылып, небірі ұмыт та болды. Менің ойымша жасанды интеллект дегеніміз
адамдардың өздеріне ұқсаған немесе өздері атқаратын жұмыстарды ьтиімді де
аз күш пен уақыт жұмсап бітіре алатын зат немесе материалды нәрсе. Сәл
халықтың ортасына жақындата айтар болсақ басыбайлы құл, құл болған да да
анау-мынау құл емес ол ең саналы құлдардың бірі болған Эзоп (мысалшы, ақын)
тәрізді біреу. Бұл менің көз алдымызға елестету үшін айтқан теңеуім ғой.
Әрине Адам кез келген ақпаратты өңдейді, оны қорытып ойланады. Мүмкін ол
ақпараттан соң ол іске көшер немесе тіпті көшпес те. Ақпаратты өңдеу үшін
нейрогенетиканың термині – нейрожелі енгізілген. Ал жасанды нейрожелі
дегеніміз сонда жасанды интеллектті түзетін немесе соған еңбек ететін желі.
Нейрон дегеніміз – нерв жасушасы (клеткасы). Олар бір-бірімен байланысып,
бірігеді.
Жасанды нейронды желілер келешекте адам миының кейбір функцияларын
қайталай алады деп есептелуде. Тіпті бұл өз кезегінде Адам миының терең
тұңғиықтарына бой сілтеуге көмегі де тиер деп есептелуде. Мүмкін
революциялық өзгерістер анна қырдың астында-ақ шығар.
Қазіргі компьютерлік ғылымның пайда болуынан бастап Жасанды интеллект
термині оның тұрақты серігі болып алды. Лампалы компьютерлерден бастап
бүгінгі екі ядролы микропроцессорлар кезеңіне дейін осы мәселе біздің бас
ауыртатын мәселемізге айналған. Қазіргі кезде Жасанды интеллект дегеніміз
тек қана компьютерлік саланы қамтып қоймайды, ол тіпті когнитивтік
психологияға да қатысты болып отыр. Яғни адамның танымын модельдейтін
компьютерлік программаларды әзірлеуге де қатысы бар деген сөз. Когнитивтік
психологияда 1956 жылдан табысты жыл болып көрмеген. Бұл жылы Бранер,
Гуднау және Остин Ойлауды зерттеу, Хомский – Тілді сипаттаудың үш
моделі, Миллер – Сиқырлы сан жеті қосылған-алынған екі, Ньюелл және
Саймон – Машиналардыі логикалық теориясы атты ғаламат туындылар дүниеге
келген. Міне жасанды интеллекттің әсер етуші саласы да түрленіп келеді.
Дегенмен әзірге біздер өзімізге түсініктілеу компьютерлерге оралайық.
Қазіргі компьютермен шахмат ойнап көрдіңіз бе? Ал шахматтан өзге
ойындар ше? Картаның неше түрін ойнауға болады. Барлық жағдайда ұтуыңыз
қиын мәселе. Яғни ол сөздің жүрісіңізден кейін бірнеше варианттарды
қарастырып көреді де жауап береді. Демек ойланады деген сөз. Бұл жасанды
интеллекттің нағыз өзі емес пе? Әрине адам тәрізді сезімі жоқ та шығар,
бірақ қазір иісті де компьютер сезетін болды.
1946 жылы алғаш пайда болған ЭЕМ-дер электрондық шамдар негізінде
жұмыс істейтін, үлкен залдарда орналасқан, көлемді электрондық жабдықтар
болатын. Бірақ 1948 жылдың өзінде-ақ электрондық шамдар шағын электрондық
аспаптармен-транзиcторлармен алмастырылып, компьютердің бұрынғы жұмыс
өнімділігі сақталынғанмен, көлемі 100 есеге дейін төмендеді.
70 жылдар соңында интегралдық схемалардан немесе чиптерден жасалған
мини-ЭЕМ-дер шыға бастады
(транзисторлар мен олардың арасындағы қажетті байланыстар бір
пластинада орналасқан). Осындай микропроцессорлардың (біріктірілген
интегралдық схемадан-БИС элементтерінен тұратын) шығуы дербес компьютерлер
заманының басталғанының алғашқы белгісі болды.
Алғашқы есептеу жұмыстарын автоматтандыруға арналған ЭЕМ-дер күннен
күнге артып келе жатқан информация ағынымен жұмыс істеуде өте ыңғайлы құрал
болып шықты.
Бастапқы кезендерде ЭЕМ-дерде тек арнайы үйретілегн адамдар ғана жұмыс
істеді, бірақ онша дайындығы жоқ адамдардың компьютерді пайдалану
мұқтаждығы маман еместерге арналған машина жасау қажеттілігін тудырды.
70 жылдар басында тұрмыстық (үйдегі) компьютерлер деп аталған
микрокомпьютерлер шықты. Олардың мүмкіндіктері шектеулі болатын, тек ойнау
үшін және шағын мәтінді теру үшін ғана пайдаланылады.
70 жылдар ортасында тұрмыстық компьютерлердің етек алғаны сондай
оларды сусын шығаратын фирмаларда (Coca-cola) жасай бастады.
Дегенмен микрокомпьютерлер дамуындағы ең елеулі оқиға болып 1981 жылы
IBM фирмасы жасаған, кейіннен дербес компьютер деп аталған шағын
компьютердің шығуы болды.
Сол уақыттан бастап осы атау шағын компьютерлер тобының жалпы аты
есебінде тұрақталынып қалды.
Бұл күнде ЭЕМ информацияны өңдеудің ең негізгі құралы болып саналады.
70-жылдарда электрониканың компютердің жаңа түрін - жеке пайдаланатын
дербес компютерлерді көптеп шығаруға жол ашты. Ол қазірде мектептерде
институттарда, баспаханаларда, т.б. орындарда кеңіненқолданыла бастады [3].
Мұндай компьютерлерді оқуда, жұмыста, ойнау үшін, тағы да басқа көптеген
мақсаттарда пайдалануға болады. Осы компьютерді өндіріспен жобалау ісінде,
ғылыми-зерттеу істері мен білім беруде миллиондаған адамдардың жұмыстарының
мазмұны мен орындалуын түбегейлі түрде өзгертті деуге болады.
Ең алдымен ЭЕМ-дер өндірістің автоматтандырылған технологиясын жасауға
мүмкіндіктер ашып береді. Оның үстіне, сол технология көмегімен ЭЕМ-дермен
басқарылатын жаңа машина, құрал-сайман және құрылғылар жасалынады.
Осылардың негізінде XXІ ғасырдың басында есептеу машиналары "адамсыз" жұмыс
атқара алатын өндіріс технологиясын жасау мүмкіндіктерін беріп отыр. Осы
сияқты "болашақтың" фабрикаларында қолмен істелетін жұмыстардың бәрін
роботтар орындайды да, адамдардың рөлі өндірісті жоспарлау, роботтар
жұмысын басқару және ЭЕМ көмегі мен жаңа бұйымдар жасау істерін жобалау
ғана болып қалады.
Бүгіннің өзінде-ақ көптеген қызымет салаларында ЭЕМ-дерді пайдалану
адамдарға информацияны жинау, дайындау және өңдеу жұмыстарын оңайлатып
жобалау және ғылыми-зерттеу жұмыстарын жылдам жүргізуге мүмкіндік береді.
ЭЕМ-дер мектептерге келе бастады, олар физика мен математика, химия мен
биология сияқты басқа да пәндерді оқып үйрену ісіне көмек береді.
ЭЕМ-нен қарым-өқатынас жасау және оларды өз жұмысында пайдалана білу
бұдан бұрынғы аталарымыздың қаламсаппен сауат ашқаны сияқты, алдыңғы 10-15
жылда біздер үшін ең керекті зат болып, компьютерлік сауаттылыққа негізін
қалайды.
ЭЕМ-ді жұмыста тиімді пайдалану белгілі бір мәдинет иесі болуды талап
етеді, яғни ол мәдениеттіліктің белгісі болып саналады. Ол үшін ЭЕМ-нің
негізгі мүмкіндіктерін жақсы білу қажет, олар: (есептерді) айқын түрде қоя
білу, оларды шешудің жоспарын жасау және ЭЕМ-ге түсінікті түрде жазу; есеп
шығаруға керекті мәліметтерді айқындай білу мен алынған нәтижелерді талдау
тәслдерді әрбір адамның жетік меңгеруі болып табылады. Мұндай
мәдениеттілікті игеру логика мен информатика заңдарын білуге барып тіреледі
[4].
Жасанды интеллект ұғымына әртүрлі мағына кіреді – логикалық немесе
кез келген есептеу мәселелерін шеше алатын сонау ЭЕМ-да интеллекттің бар
екендігін мойындаудан интеллектуалды жүйелерге жатқызылатын тек қана адам
ғана шеше алатын міндеттер кешеніне дейінгі аралықты алып жатыр. Дегенмен
жасанды интеллект дегеніміз не екендігін анықтауды біздер лингвистер мен
философтарға қалдыра тұрып, өз пайымдауымызша жасанды интеллект ұғымына
жақын немесе соны бейнелей алатын жүйелерді сипаттап көрелік.
Алдымен нағыз инттеллектті сипаттап шығайын. Ол үшін мидың ақпаратты
өңдеуін алайық.
Сонымен, бiрiншi блок ми қабығының қуатын ғана қамтамасыз етедi. Ал,
ендi әңгiме болатын, екiншi блок сезiм органдары сырттан жеткiзген
сигналдардың анализi мен синтезiне байланысты iс атқарып, адамға келiп
түскен ақпаратты қабылдайды, өңдейдi және сақтайды. Оның құрамындағы
аппараттар бас миы қабығының артқы (еңбек, шеке, желке, қарақұс)
бөлiктерiнде орналасып, бiрiншi блокта жоқ арнайы қызметтiк сипатқа ие. Осы
тетiктер жүйесi арқылы ми көру, есiту және сезу сигналдарын қабылдайды,
өңдеп, бекiтедi, алынған тәжiрибенiң iздерiн есте қалдырады. Бұл блок
аппараттарын қабылдаушы жүйенiң орталық бөлiктерi деп қарастырса болады.
Осы бөлiктердiң көрумен байланыстысы желке, қарақұста, есiту бөлiгi
шекеде, сезiмдiктерi төбе, еңбек аймағында орналасқан.
Қабылдаушы аппараттардан шыққан талшықтар осы бөлiктерге жетiп,
бiтедi; осы арада келiп жатқан көру, есту және сезу ақпараттары жiктеледi,
"тiркеуге" алынады. Бұл зонада күрделi болған құрылымда бас қосып, бiрiгедi
және кiрiгедi. Шеткi сезiм органдарынан талшықтар жетiп, тiкелей
байланысатын қабық зоналары алғашқы немесе құрастырушы аймақ деп аталады
да, осы құрастырушы аймақпен жанасып, қабысатын ми қабығы зоналары туынды
немесе құрастыру байланыс түзушi аймақтар аталған.
Сезiмдiк қабықтың алғашқы аймақтары арнайы қызметтiк белгiлердi (көру,
есiту, сезу) жiктеп, талдайды, яғни келiп түскен ақпаратты мәндi бөлiктерге
бөлшектесе, қабық бөлiктерiнiң екiншi, туынды зонасы бiрiктiру қызметiн,
немесе субъектке жеткен ақпараттың күрделi өңдеуiн жүргiзедi.
Талдағыш блок аппараттары алғашқы және екiншi бөлiктермен шектелмей,
олардың жоғарысына қабықтың үшiншi зона тетiктерi қондырылған. Бас миы
қабығының үшiншi зонасы тек адамда ғана түзiлетiн арнайы ми қабығы
құрылымдарының бiрi. Қабықтың үшiншi аймағы ұзақ дамудан жетiледi де, ми
қабығына әртүрлi талдағыштардан келiп түскен ақпараттарды бiрiктiру оның
негiзгi қызметi. Бұл бөлiк тетiктерiнiң зақымдануы, сырқатқа шалдығуы
немесе әншейiн шаршауынан адам сырттан келiп жатқан сигналдардың басын
қосып, олардың күрделi бiрлiгiн жасап, қорытынды шешiм таба алмай, қызмет
әрекет бабында адасады (кеңiстiкте оңды-солын ажырата алмайды, күрделi
грамматикалық байланыстарды түсiнбейдi, көп қатынасты логикалық
операцияларды орындай алмайды) [5].
Қазіргі заманғы ғылым мен техниканың, экономиканың, жалпы халық
шаруашылығы салаларының зор қарқынмен дамуын есептеу машиналарынсыз көзге
елестету қиын. Өйткені жоспарлы шаруашылық есепсіз жүргізілмейді, есептеу
жұмысымен шұғылданбайтын шаруашылықтарды табу қиын. Міне, сондықтан да есеп
жүргізу біздің қоғамдық өмірімізде басты орын алады.
Қазіргі заманғы ғылыми-техникалық прогрестің катализаторы,—
микроэлектроника, есептеу техникасы мен прибор жасау, бүкіл информатика
индустриясы екені мәлім. Олар барлық салалардағы еңбек құралдарының,
технологиялық жүйелердің тиімділігіне шешуші ықпал жасайды.
Бұл мәселенің барынша нақты қойылып отыруының үлкен мәні бар. Жыл
сайын елімізде ондаған миллиард есептеу жұмыстары орындалып отырады. Ғылыми-
техникалық прогрестің қарқынды дамуына байланысты атқарылатын есептеу
жұмыстарының ауқымы бұдан да өсе түспек. Бұл жерде мәселе есептеу жұмысына
ғана тіреліп қалмай, оны жүргізу үшін адам баласының қабылдап және
тұжырымдап отыратын информациясы көлемінің қаншалықты ауқымдылығына да
қатысты болып отыр.
Қажетті есептеу жұмыстарын тез әрі мінсіз орындап отыру үшін
күнделікті түсіп жататын ұланғайыр информациялардың біраз бөлігін пайдалану
керек. Ал жоспарлау кезінде бір ғана есептің толып жатқан түрлерін,
варианттарын қарастырып, солардың ішінен ең тиімдісін таңдап алуға тура
келеді, бұл оңай жұмыс емес.
Мұндай есептерді шешу үшін миллиардтаған арифметикалық амал орындауға
тура келеді. Сондықтан да барлық есептеу, информацияларды өңдеу т. б.
тәрізді күрделі есеп жұмыстарын машиналарға жүктеу қажеттігі айтпаса да
белгілі.
Осыларды ескеріп, жастардың компьютерлік сауаттылығын қамтамасыз ету
және оқу процесіне электронды-есептеу техникасын кеңінен енгізу мақсатында
еліміздің барлық орта оқу орындарында Информатика мен есептеу техникасының
негіздері курсын енгізілді. Бұл — электронды-есептеу техникасы маңызының
күн санап артып отырғандығының белгісі.
Ғылым мен техника дамуына байланысты есептеу жұмыстарының қажеттілігі
артып, оны жеңілдету үшін арнайы құралдар – абак, есепшот, арифмометр,
арнаулы математикалық кестелер шығарыла бастады. Бірақ үстіміздегі ғасырдың
40 жылдарында, ядролық физиканың даму ерекшеліктеріне байланысты, қолмен
есептеу істері көптеген материалдық ресурстарды және адамның тікелей
араласуын талап ете бастады. Мысалы, "Манхеттен жобасын" (АҚШ-тағы атом
бомбасын жасау) іске асыру кезінде есептеу жұмыстарына 600 адам қатысты,
олардың бірсыпырасы тікелей есептеумен айналысып, қалғандары сол жұмыстың
дұрыстығын тексеріп отырды.
XX ғасырдың ортасында информацияны өңдеуді автоматтандыру ісінің
қажеттілігі (көбінесе әскери талаптарға сай) электрондық техника мен
технологияның қарқынды дамуына себепші болды [6].
Электроника табыстары нәтижесінде жасалынған техникалық аспаптар
электрондық есептеуіш машиналар (ЭЕМ) деп атала бастады.
1946 жылы алғаш пайда болған ЭЕМ-дер электрондық шамдар негізінде
жұмыс істейтін, үлкен залдарда орналасқан, көлемді электрондық жабдықтар
болатын.
Бірақ 1948 жылдың өзінде-ақ электрондық шамдар шағын электрондық
аспаптармен – транзисторлармен алмастырылып, компьютерлердің бұрынғы жұмыс
өнімділігі сақталынғанмен, көлемі жүз есеге дейін төмендеді.
70 жылдар соңында интегралдық схемалардан немесе чиптерден жасалған
мини-ЭЕМ-дер шыға бастады (транзисторлар мен олардың арасындағы қажетті
байланыстар бір пластинада орналасқан). Осындай микропроцессорлардың
(біріктірілген интегралдық схемадан – БИС элементтерінен тұратын) шығуы
дербес компьютерлер заманының басталғанының алғашқы белгісі болды.
Алғашқы есептеу жұмыстарын автоматтандыруға арналған ЭЕМ-дер күннен
күнге артып келе жатқан информация ағынымен жұмыс істеуде өте ыңғайлы құрал
болып шықты.
Бастапқы кезеңдерде ЭЕМ-дерде тек арнайы үйретілген адамдар ғана жұмыс
істеді, бірақ онша дайындығы жоқ адамдардың компьютерді пайдалану
мұқтаждығы маман еместерге арналған машина жасау қажеттілігін тудырды.
70 жылдар басында "тұрмыстық" (үйдегі) компьютерлер деп аталған
микрокомпьютерлер шықты. Олардың мүмкіндіктері шектеулі болатын, тек ойнау
үшін және шағын мәтіндер теру үшін ғана пайдаланылды. 70 жылдар ортасында
тұрмыстық компьютерлердің етек алғаны сондай, оларды сусын шығаратын
фирмалар да (Coca Cola) жасай бастады.
Дегенмен, микрокомпьютерлер дамуындағы ең елеулі оқиға болып 1981
жылы ІBM фирмасы жасаған, кейіннен "дербес компьютер" деп аталған шағын
компьютердің шығуы болды.
Ал қазіргі жағдай біраз басқаша, батыс ғалымдарында өте үлкен серпіліс
байқалады. Тіпті жасанды интеллект саласында сингулярлық деген жаңа ұғым
пайда болды. Футуролог Вернор Виндждің айтуы бойынша 2030 жылдары супер
интеллект пайда болады, ол супер интеллект өзін-өзі ары қарай жетілдіріп,
ғылыми-техниканы ары қарай үлкен қарқынмен дамыта түседі, яғни
экспонцианалды өседі. 1-суретте сингулярлықтың экпонционалды өсетінін көріп
отырмыз.
Сурет 1. Сингулярлық
Бірақ ол кезде адамзат санасы артта қалып, технология қалай дамып
жатқанын түсіне алмайды және ары қарай не болатынын болжай алмайды. Яғни
ғылымның қысқа уақыт ішінде қарқынды, экспоненциалды дамуын сингулярлық
даму деп атайды.
Сингулярлық пайда болмаса да бұл салада үлкен нәтижелер болу
керек. Әзірше әлсіз жасанды интеллект (Weak AI) көп қолданысқа ие болып
отыр, ал мықты жасанды интеллект (Strong AI) әлі зерттелуді. XX ғасырдың 50-
жылдарынан бастап мықты жасанды интеллект жасау барысында пайда болған жаңа
алгоритмдер әлсіз жасанды интеллектте көп қолданыс тапты. Әлсіз жасанды
интеллекттің басты мақсаты ол жеке бір салады сараптамашы қызметкерді
алмастыру [7]. Қазіргі таңда әлсіз жасанды интеллект үлкен сұранысқа ие
болып отыр, медицина, қаржы, банктік салаларда. Егер нақтырақ айтатын
болсақ келесідей программалар жүзеге асырылып жатыр:
– Автономды жоспарлау және күнтізбе жасау. NASA-ның жерден миллион
километр қашықтықта орналасқан Remote Agent программасы ең алғашқы
автономды жоспарлау жүйесі болды. Оның мақсаты космостық аппараттың
күнтізбесін жасау процессін басқару болып табылады. Remote Agent
программасы жерден жіберілген жоғары мақсаттарға сәйкес жоспар құрып,
сол жоспарды орындау барысында космостық аппаратты бақылап отырды.
– Ойындар жүргізу. IBM компаниясының Deep Blue программасы ең бірінші
болып шахматтан әлем чемпионы Гарри Каспаровты 3,5:2,5 ұпаймен жеңді.
Каспаровтың айтуы бойынша, ол ойын барысында интеллектің жаңа типін
сезіндім деді. IBM компаниясының акциялары 18 миллиардқа өсті.
– Автономды басқару. Alvin компьютерлік көру жүйесі жол ережесіне
сүйене отырып автокөлікті басқаруға үйретілді.
– Диагностика. Қазіргі таңда медициналық диагностикалық программалар
көптеген салалар бойынша тәжірибелі дәрігерлер деңгейіне жетіп отыр.
Кейінгі кезде IBM компаниясының Watson программасы таңғаларлық
нәтижелер көрсетіп отыр. АҚШ-та өкпе қатерлі ісігіне ұшыраған
пациенттерге дәрігерлер тарапынан берілетін емдік процедураның
оптималдылығы 50% болса, Watson программасы 90% пайыз дұрыс нәтиже
береді.
– Тілді түсіну және есептерді шешу. 2011 жылы IBM компаниясының
программасы Jeopardy телешоуда екі атақты ойыншыларды жеңді.
Бұл жасанды интеллектінің қазіргі таңдағы кейбір мысалдары ғана.
Әлсіз жасанды интеллекттің үлкен бір бөлімі ол машиналық оқыту
(машинное обучение). Машиналық оқыту өзі үйрене алатын модельдерді жасау
әдістерін және сол модельдерді жасау және оқыту алгоритмдерін қарастырады.
Оқытудің екі түрі бар. Прецеденттер бойынша оқыту, немесе индуктивті оқыту,
эмпирикалық мәліметтер бойынша жалпы заңдылықтарды табуға негізделген [8].
Дедуктивті оқыту сарапшы білімін формализациялау және оны компьютерге білім
базасы ретінде енгізуге негізделген. Дедуктивті оқыту экспертті жүйелерге
жақын, сондықтан машиналық оқыту және прецеденттер бойынша оқыту синонимдер
болып табылады. Машиналық оқыту келесі пәндер тоғысында жатыр:
математикалық статистика, оптимизация әдістері және классикалық математика
пәндері. Сонымен қатар өзіне тән эффективті есептеу, артығымен оқыту
(переобучение) мәселелерін қарастырады. Индуктивті оқытудің көптеген
әдістері классикалық статистикалық әдістерге балама ретінде дамытылды.
Көптеген әдістер мәліметтердің интелектуальді анализімен (Data Mining)
тығыз байланысты. Машиналық оқыту арқылы келесі мәселелерді шешуге болады:
классификация, кластеризация, регрессия және т.б.
2 Сараптық жүйелер
Жасанды интеллект ол 20 ғасырдың елуінші жылдарында кибернетиканың,
лингвистиканың, психология және программалаудың түйісінде дүниеге келген
ғылымның жаңа бір аясы. Жасанды интеллектінің негізгі мақсаты -
өркениеттің дәстүрлі интеллектілік болып саналатын қызмет түрлерінің
аппараттық және алгоритмдік моделдеу.
Жасанды интеллект облысындағы ең бірінші және маңызды зерттеулер 2
бағытта болды. Ең біріншісі болып - дара нейрондар үлгілерінің септігімен
және осылардан жасалған сызба бойынша жасанды интеллект құру мақсатында
homo sapiens миының психофизиологикалық қызметін алгоритмдер арқылы
толықтай моделдеу. Бұл бағытта жаңа бионикалық деп аталатын жаңа бір ғылым
ағыны дүниеге келді. Ол кибернетиканың рауандап атқан таңында белсенді
дамыды және қазіргі кезде микроэлектрониканың жетістіктерімен тығыз
байланысты жаңа бір қарқын алуда. Шынымен жасалған нейронды желілердің
өлшемділіксіздерінің және нейрофизиологиясымен зерттелген объектілердің
жеткіліксіздігіне тікелей байланысты бұл саладағы зерттеулер нәтижесі
барысында алынған тікелей бағалы деп санауға болатын деректер әзірге
мардымсыз болып тұр.
Прагматикалық бағыт – осы кезге шейін адам баласы ғана айналысады
деп саналатын есептерді шешуге мүмкіндік беретін электронды есепту
машинасындағы алгоритмдерді көрсетуден толықтай құралады. Соның ішінде
ерекше бір қызығушылық тудыратын есептер ол: бейнелерді тану, логикалық
шешім табу, оқыту, себепті болжау және шешім қабылдау, табиғи тілдердегі
қарымқатынас, іздеу және мәтінді топтастыру есептері. Бұл салада көптеген
практикалық маңызды нәтижелерге қол жеткізілді, бұдан ары қарай зертту осы
бағыт бойынша ғана болмақ [9].
Жасанды интеллект саласы бойынша зерттеулер нәтижесінде алынған
интеллектілік жүйелерде (немесе жасанды интеллект жүйелері) кеңінен
қолданылады. Жасанды интеллект жүйесі – басты мақсаты жасанды интеллектіні
қолдануға негізделген толықтай автоматтық немесе автоматтандырылған жүйе
болып табылады. Жасанды интеллект жүйелері 3 негізгі базистен тұрады:
білімдер қоры, шешуші немесе шығару механизмі (логикалық нәтижені құрастыру
программасы) және интеллектілік UI (user interface).
Интеллектілік программа жасау жай ғана қарапайым программалаудан
айрықша ерекшеленеді және жасанда интеллект жүйелерін құру арқылы ғана
жүргізіуі мүмкін. Егерде өте қарапайым программа келесі парадигма түрінде
көрсетілсе,
П р о г р а м м а = А л г о р и т м + М ә л і м е т т е р ,
ал Жасанды интеллект жүйесі үшін төмендегі басқа парадигма сәйкес
келеді:
Ж И Ж = Б і л і м + Б і л і м д і ө ң д е у т е х н о л о г и я с ы.
Адамзат білетін ғылымдардың ешбіруі адам ойлауының моделі мен
алгоритмін толық қамды ұсына алмай отыр, сондықтан жасанды интеллект
мамандары өздері жасаған моделдерін ұсынуда:
– лабиринттік табу модельдері, мұнда мақсат қандай да бір
жағдайлар кеңістігінде көрсететін граф түрінде бейнелеп, осы
графқа енетін мәліметтердің нәтижелерге дейінгі ең қысқа деген
жол іздестіріледі;
– эвристикалық программалау, эвристика – теориялық нақтыланбаған,
бірақ іздестіру кеңістігіндегі сараптау санын кемітетін ереже;
– математикалық логиканың құралдарын қолдану, яғни ең бірінші
аксиомалары бар жағдайда математикалық теоремаларды электронды
есепту машинасы дәрежесінде дәлелдеуге мүмкіндік берген
теориялар негізінде 1973 жылы жасалған пролог тілін қолдану.
Жетпісінші жылдардың орта шеңінде ойлаудың әмбебап моделін іздеудің
орнына сарапшы мамандардың бар білімдерін алгоримге салу идеясы дүниеге
келді. Сөйтіп сарапшы мамандардың нақты білімдеріне сүйенген сараптық
жүйелер дүниеге келе бастады. Жасанды интеллект жүйелерінің басты
ерекшелігі мәліметтермен жұмыс істеу.
Білімдер және олардың ұсыну алгоритмдері. Мәліметтерден нақты
білімдерге ауысу электронды есепту машинасы өңдейтін ақпаратты-логикалық
схемалардың жасалу және күрделенуінің логикалық салдары болып саналады.
Мәлімет – сипатталатын объект (сұрақ, мәселе, т.б.) туралы ақпараттық
деңгейіне тура сәйкес тұтас сипаттама жасайтын мағлұматтардың жиынтығы.
Яғни ақпарат – пәндік аймақтың нақ осы аймақтағы есептерді шешуге мүмкіндік
беретін анықталған (байланыстары; принциптері; заңдары) заңдылықтары [10].
Жасанды интеллект тұрғысынан ақпарат – логикалық шығару өрісінде сілтеме
салатын (қолданылатын) формальданған білім. Ақапаратты сақтау үшін
мәліметтер қоры қолданылса, білімдер үшін – ақпарат қоры қолданылады.
Ақпарат қоры – нақты бір пән аясында өркениет жинақтаған ақпарат жинағы.
Осы формальды түрде берілген білімдер жинағының негізінде пайымдауды, нақты
бір ойды жүзеге асыруға болады. Ол жасанды интеллектілік жүйенің, дара
жағдайда сараптық жүйенің, түбегейлі құраушысы болып табылады. Homo sapiens
есеп шығару барысында негізге алатын білімдер әртекті. Олар:
– фактографикалық ақпарат – негізгі объектілердің, оқиғалардың
және олардың элементтерінің сандық және сапалық сипаттамасы,
бұл ақпарат дәстүрлі түрде кез-келген кестелер мен формальды
білім түрінде жинақталынған, ал электронды есепту машинасы
ғасырында кез-келген ақпараттық жүйелер мен мәліметтер қоры
түріне ие болады.
– Түсінік негізіндегі білімдер – кейбір пәндік облыстың
түбегейлі ұғымдары, қосымша осы ұғымдардың өзара
байланыстарының жиынтығы болып табылады. Бұл ақпаратты ғылыми
білімге жатқызуға болады.
– конструктивті білімдер – адамзат өзінің іс - әрекет аясында
кездестіретін кез-келген объектілер бөліктерінің құрылысы және
өзара әрекеттесуі жайлы білімдер. Олар түсіндірмелі ақпаратпен
ерте енгізілген конструктивті терминдерде негізделеді.
– процедуралық білімдер – адамзат қолданатын және оларды
есептеуге үйренген кез-келген есептер үшін әдістер, модельдер
және программалар. Өндірістік саласында бұл ұйымдастыру
методтары және өндірістік процестерді іске асыру туралы
кәсіптік білім. Көбінесе, мұндай ақпарттар ғылыми – техникалық
тәжірибеде, медицинада (диагностика, консервативті және жедел
емдеудің әдістемесі), агротехникада және т. б. жинақталған.
Электронды есепту машинасы пайда болуымен олар модельдік пішімде
және программа түрінде жинақталып қолданысқа ене басталды.
Мәліметтермен салыстырғанда ақпарат айрықша келесі қасиеттермен
айқындалады:
– ішкі интерпретацияланатынымен, яғни ақпарат қорындағы білімді
тек сақтау ғана емес, қосымша сонымен қатар қолдануға мүмкіндік
беретін ақпараттық конструкциялар көрсетілген;
– құрылымдылығымен, яғни күрделі объектілерді қарапайымдыларына
бөлшектеу және объектілер арасындағы қарым-қатынасты орнату
орындалады;
– байланыстылығымен, яғни фактілерге, процестерге, құбылыстарға
тікелей байланысты заңдылықтар және олардың арасындағы
себеп–салдарлық байланыстар бейнеленеді;
– белсенділігімен, яғни ақпаратты мақсатты қолдану бағытын, нақты
бір есептерді шығарудың ақпараттық процестерін басқару қабілетін
қамтамассыз етеді.
Ақапарттың бұл қасиеттерінің түгелдерлігі жасанды интеллект жүйесін
прикладной есептер шығару барысында адам талқылауын алгоритмге салу
мүмкіндіктерімен қамтамассыз етуі керек. Білімді сұрыптау системаларында
мұндай әдісті шығару машинасы немесе шығару механизмі деп атайды. Жасанды
интеллект жүйесіндегі шығару механизмін құру әдістері ақпартты көрсету
тәсілдері және үлгіленетін сараптау түрлерімен анықталады. Жасанды
интеллект жүйесімен әрекеттесуді ұйымдастыру үшін онда пайдаланушымен
байланыс ортасы интеллектілік UI (user interface) болуы керек. Бұл
интерфейс ақпарат қоры мен шығару механизмінің жұмысын жасанды интеллект
жүйесі жататын қолданбалы пәндік облыс мамандарының тілдеріне жақын жоғарғы
деңгейлі тілді қамтамассыз етеді. Сонымен қатар UI (user interface)
пайдаланушының жүйемен қарым-қатынасын қолдайды [11]. Жасанды интеллект
жүйесіне тән маңызды мәселелердің бірі – ақпараты ұсыну. Ақпаратты ұсыну
мәселесі – нақты пәндік аясының өзара байланыстарын жасанды интеллект
жүйесіне түсінікті көрсету мәселесі. Ақпаратты ұсыну жүйесі – интеллектілік
системаларда ақпаратты сипаттау және сақтау құралдары мен методтарының
жиынтығы. Ақпаратты интеллектілік система жадында формальдау және ұсыну
арнайы жасалған білімдерді ұсыну алгоритмдері негізінде шешіледі. Қазіргі
таңда мұндай типтік алгоритмдер:
– логикалық алгоритмдер;
– өнімдік алгоритмдер;
– желілік алгоритмдер немесе семантикалық желілер;
– фреймдік алгоритмдер.
Логикалық алгоритмдер құруда қолданбалы есеп шығаруға қажетті
ақпарттар мен тұжырымдар қандай да бір логиканың формулалары ретінде
қарастырылады. Ақпараттар осындай бір формулалардың жиынтығы түрінде
сипатталады, ал жаңа білімдер алу формальды логикалық шығару әдісін жүзеге
асырумен анықталады. Ақпаратты ұсынудың формальды логикалық модельдері
негізінде
(1)
төрттігімен берілген формальдық теория жатыр, мұнда B – түбегейлі
символдардың санаулық жиыны, F – формулалар деп аталатын жиынтық, A –
шындық априори формулалардың ерекшеленген ішкі жиыны (аксиомалар), R –
формулалар арасындағы қатынастардың шектелген жиынтығы, шығару ережелері
деп аталады.
Өнімдік алгоритмдер - Егер - онда ережесіне сүйене отырып
құрылымданған ақпаратты ұсыну жүйесі. Жалпы жағдайда өнімдік ережені келесі
түрде беруге болады
(2)
мұнда i - өнімнің жеке нөмірі;
S – берілген құрылым қолданылуы мүмкін жағдайлар класстарының
сипаттамасы;
L - өнім активтенетін шарттар;
A*B - өнім ядросы, мысалы Егер A 1,A2, ... An , онда B , яғни A
1,A2, ... An шарттары шындық болғанда, B қимылын орындау қажет деген сөз;
Q – B-ны орындағаннан кейінгі операциялар мен қимылдарды анықтайды.
Семантикалық желі – ақпараттың белгіленіп бағдарланған граф түріндегі
ұсынылу әдісі. Оның төбелері ұғымға, оқиғағ, объектіге, әрекетке, жағдайға
немесе күрделі бір қарым-қатынастарға сәйкес келсе, доғалары қасиеттеріне
немесе қарапайым түрдегі қатынастарға сәйкес келеді.
Фреймдік алгоритмдер – фреймдер және олардың туындыларын қолдануға
негізделген алгоритмдер. Фрейм – біртұтас объекті туралы ақпаратты ұсыну
бірлігі, оны қандай да бір түсініктер мен қасиеттердің жиынтығымен
сипаттауға болады. Фрейм белгілі бір ішкі құрылыммен сипатталады, оның
құрылымдық элементтері slots деп аталады. Басқа алгоритмдерден өзгеше
фреймдік алгоритмдер қатаң құрылым, фрейм-прототип, бекітіледі. Жалпы
жағдайда фрейм келесі түрде анықталады:
(3)
мұнда F – фрейм аты; ri – слот аты; vi – слот мәні.
Сараптық жүйелер – жасанды интеллект методтары мен пайдаланушы
ұсынатын ақпарттар негізінде жағдайды апроксимациялауға, диагноз қоюға,
прогноз жасауға, шешімді өзгертуге, әрекетті таңдауға, ұсыныс беруге
қабілетті ақпаратты қамтитын программалық және алгоритмдік жабдықтардың
жүйесі. Көбінесе аз пәндік аймақта формальданбаған мәселелерді жоғары
тиімділікпен шығаруды қамтамассыз ету үшін сараптық ақпаратты қолданады.
Сараптық жүйелердің негізін Сараптық жүйені құру және қолданылу барысында
жинақталатын ақпараттар қоры құрайды. Сараптық жүйені құру және қолданылу
барысында қатысатын негізгі компоненттер төмендегі сызбада көрсетілген
[12].
Нақты сараптық системалар күрделі құрылымдардан тұруы мүмкіндігін
ескерген жөн, дегенмен 2-суретте көрсетелген компоненттер қазіргі таңда
сараптық жүйелер негізінде міндетті түрде әртүрлі нақты сараптық жүйеге
қатысады.
Сурет 2. Сараптық жүйенің жалпы құрылымы
Пайдаланушы – пәндік облыс маманы және сол үшін жүйе тағайындалған.
Көбінесе оның шеберлігі, білімі жеткілікті болмауы мүмкін, сондықтан ол өз
ісінде сараптық жүйе жағынан көмек және қолдауды қажет етеді.
Ақпарат инженері – сарапшы және білім базасы арасындағы аралық
көмекші рөлінде қызмет көрсететін жасанды интеллект маманы. Синонимдері:
когнитолог, аналитик, инженер – интерпретатор.
UI (пайдаланушының интерфейсі) – пайдаланушының сараптық системамен
ақпаратты енгізу, сол сияқты нәтиже алу дәрежесіндегі диалогын іске
асыратын программалар кешені.
Білім қоры (БҚ) – cараптық жүйе ядросы, машина тасуышына сарапшы және
пайдаланушыға (көбінесе, табиғатқа жақын кейбір тілдерде) түсінікті пішімде
жазылған пәндік аймақ білімдерінің жиынтығы. Мұндай “адамзаттық”
көрсетілімге қосымша параллель ішкі “машиналық” көрсетілімдегі білім қоры
бар.
Нәтиже шығару немесе шығару механизмі – сарапшының білім қорындағы бар
ақпаратқа негізделген ойлау нұсқасын үлгілейтін программа.
Түсініктемелер бағыныңқы системасы – бұл пайдаланушыға “Бұл немесе
басқа қосымша сипаттама қалай алынды?” және “Неліктен система осындай шешім
қабылдады?” деген көптеген сұрақтарға жауап алуға мүмкіндік беретін
программа [13].
Білім қоры редакторы – білім инженеріне ақпарат қорын диалогтық
режімде жасауға мүмкіндік беретін программа. Қабаттасқан мәзір жүйесінен,
білім беру тілдерінің нұсқаларынан, көмек сөздерінен (“help” - режімінде)
және базамен жұмысты жеңілдететін басқа да көмекші құралдардан тұрады.
Сараптық жүйе өңдейтін топқа кем дегенде 4 адам кіруі қажет:
– сарапшы;
– білім инженері;
– программалаушы;
– пайдаланушы.
Топты білім инженері басқарады және ол системаны өңдегенде ақпаратқа
негізделген негізгі тұлға.
3-суреттен көріп тұрғанымыздай сараптық жүйелер бүгінде көптеген
белгілер бойынша жіктеуге болатын бірнеше мыңдаған әртүрлі программалық
кешендерді біріктіреді. Келесі жіктеулер қажет болуы мүмкін
Сурет 3. Сараптық жүйелер
Шешудегі есеп бойынша жіктелу. Мәліметтерді интерпретациялау - бұл
сараптық жүйелер үшін күнделікті есептердің бірі. Интерпретация -
нәтижелері келісілген және дұрыс болуы қажет мәліметтердің мағынасының
анықтылығы. Әдетте мәліметтерді көп нұсқалы талдау қарастырылады.
Диагностика ұғымы кейбір системадағы түзелмейтіндікті табумен
түсіндіріледі. Түзелмейтіндік – бұл қалыптан ауытқу болып саналады. Мұндай
түсіндіру техникалық системадағы құралдардың түзетілмейтіндігін, тірі
организмдердің сырқаттарын, барлық дерлік мүмкін табиғи ауытқуларды
бірыңғай теориялық тұрғыдан қарастыруға мүмкіндік береді. Диагностикалайтын
системаның функционалды құрылымын (“анатомиясын”) түсіну қажеттілігі өте
маңызды ерекшелігі болып табылады.
Мониторингтің негізгі міндеті – ақпараттың уақыттың нақты масштабында
үзіліссіз талдау және сол немесе басқа да параметрлердің мүмкін болатын
шектерден шығуы туралы сигнал беру. Басты мәселелер – өте қауіпті деген
жағдайларды “өткізу” және “жалған” іске қосылудың инверстік мәселесі [14].
Бұл мәселелердің күрделілігі өте қауіпті жағдай себептерінің көмескілігі
және уақытша контексті есепке алу қажеттілігі.
Жобалау – алдын-ала анықталған қасиеттері бар “объектілерді” жасаудың
спецификациясын дайындау. Спецификация ұғымы сызба, түсіндірмелі жазулар
және тағы басқалар. Барлық керек құжаттардың жиынтығымен түсіндіріледі.
Мұндағы басты мәселе – объект жайлы ақпараттың анық құрылымдық бейнеленуі
және “із” мәселесі болып табылады. Тиімді жобалауды жасау және одан да
жоғары дәрежеде болатын жобалау үшін жобалау шешімін құру ғана емес,
сонымен қатар қосымша оларды қабылдау себептерін жасау қажет. Сонымен,
жобалау тапсырмаларында сәйкес сараптық жүйенің деңгейінде орындалатын 2
негізгі тығыз байланысқан процестер бар: шешуді шығару үрдісі және
түсіндіру үрдісі.
Болжау жүйелері берілген жағдайлардан жасалатын жорамал салдарды
логикалық есептейді.
Жоспарлау ұғымымен кейбір функцияларды орындауға шамасы бар
объектілерге қатысты іс - әрекеттердің жоспарын іздеп табу түсіндіріледі.
Мұндай сараптық жүйеде жоспарланған іс - әрекеттің салдарын логикалық
есептеу үшін нақты объектілердің мінез-құлық үлгілері қолданылады.
Білім беру жүйесі электронды есепеу машинасының көмегімен қандай да
бір пәнді зерттеу кезінде жіберген қателіктерді табады және дұрыс шешімді
ұсынады. Олар жорамалданған “оқушы” және оның ерекше қателері туралы
білімді жинақтайды, одан кейін жұмыста оқушылардағы ақпараттың әлсіз жағын
анықтауы мүмкін және оларды жою үшін сәйкес құралдар табады. Бұдан басқа,
олар оқушының қабілеттілігіне байланысты білім беру мақсатында оқушымен
қарым-қатынасты жоспарлайды.
Нақты уақытпен байланысы бойынша жіктелуі. Статикалық сараптық жүйе
білім қоры және интерпретацияланатын ақпарат уақыт бойынша өзгермейтін
пәндік аймақта құрылады. Олар бірқалыпты.
Квазидинамикалық сараптық жүйе – кейбір бекітілген уақыт аралығымен
өзгеретін жағдайды интерпретациялайды.
Динамикалық сараптық жүйе – объектілердің нақты уақыт режіміндегі
бергішімен ілесе, келіп түскен ақпаратты үздіксіз интерпретациялай жұмыс
істейді.
ЭЕМ типі бойынша жіктелуі. Бүгінгі таңда бар сараптық жүйе:
– супер ЭЕМ – дағы ерекше стратегиялық аса маңызды есептер үшін
СЖ (Эльбрус, CRAY, CONVEX және т. б.);
– орта өнімділікті ЭЕМ-дағы СЖ (ЕС ЭЕМ типті, mainframe);
– символдық процессор және жұмыс станциясындағы СЖ (SUN,
APOLLO);
– Мини- және супермини ЭЕМ-дағы СЖ (VAX, micro-VAX және т б.);
– Дербес компьютердегі СЖ (IBM PC, MAC II және т.б.).
Басқа программалармен интеграция деңгейі бойынша жіктелуі.
– Автономды сараптық жүйе - есептерді шешуде мәліметтерді
өңдеудің (үлгілеу, есептеу және т. б.) дәстүрлі әдістерін қажет
етпейтін “сараптық” спецификалық есептер үшін қолданушымен
кеңесу режімінде тікелей жұмыс істейді.
– Гибридті сараптық жүйе - қолданбалы программалардың
стандарттық дестелерін (мысалы, математикалық статистиканы,
сызықтық бағдарламалау немесе мәліметтер қорын басқару
жүйелерін) және білімдермен манипуляция жасайтын құралдарды
агрегациялайтын программалық кешен. Бұл ҚПД-нің үстіндегі
интеллектілік қондырма немесе ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
СЕМЕЙ қаласының ШӘКӘРІМ атындағы МЕМЛЕКЕТТІК УНИВЕРСИТЕТІ
Физика-математикалық факультеті
Информатика және ақпараттық технологиялар кафедрасы
6М060200 Информатика мамандығы
бойынша магистерлік диссертация
МАШИНАЛЫҚ ОҚЫТУ АЛГОРИТМІН ҚҰЖАТТАРДЫ ТОПТАУ ҮШІН ҚОЛДАНУ
Орындаған___________________ Искаков Р. О.
(қолы, күні)
Ғылыми жетекші ______________ Есенбекова Г. Ж.
(қолы, күні)
Қорғауға жіберілді:______________
(күні)
Кафедра меңгерушісі____________ Абишова А.А.
(қолы, күні)
Семей – 2015 ж.
РЕФЕРАТ
Диссертация 73 бет, 28 сурет, 31 формула, қолданылған әдебиеттер саны
74.
Кілт сөздер: машиналық оқыту, SVM, мәтінді өңдеу, жасанды интелект,
әлсіз жасанды интелект, дедуктивті үйрету, индуктивті үйрету,
классификация, TF*IDF.
Бұл жұмыста мәтінді өңдеу мәсілісі жанжақты зерттелген. Басты нәтиже
ол Стеммер Портера алгоритмі қазақ тіліне бейімделген. Шинглдер алгоритмі
қарастырылған. Машиналық оқыту әдістерін қолданған жағдайда классификаторды
құру үшін алдын ала адаммен дайындалған құжаттар топтамасы қолданылады.
Машиналық оқыту алгоритмы құжаттарды классификациялау процедурасын
топталған текстер жиынын автоматты түрде анализ жасау арқылы құрады.
Білімге негізделген әдістерді қолданған жағдайда, құжатты белгілі бір
топтамаға тіркеу сарапшының рубрикаторды анализ жасауы арқылы іске
асырылады.
БЕЛГІЛЕУЛЕР МЕН ҚЫСҚАРТУЛАР
АТ - ақпараттық технологиялар
ДЭЕМ - дербес электрондық есепиеуіш машина
ЖДПТ - жоғарғы деңгейдегі программалау тілі
ЖИ - жасанды интеллект
ЖИЖ - жасанды интеллект жүйелері
ЖНЖ - жасанды нейрондық желі
МҚ - мәліметтер қоры
МҚБЖ - мәліметтер қорын басқару жүйелері
ОЖ - операциялық жүйе
СЖ - сараптық жүйелер
ЭЕМ - электрондық есептеуіш машина
МАЗМҰНЫ
БЕЛГІЛЕУЛЕР МЕН ҚЫСҚАРТУЛАР 3
КІРІСПЕ 5
1 ЖАСАНДЫ ИНТЕЛЛЕКТ 7
1.1 Жасанды интелектіге кіріспе 7
1.2 Сараптық жүйелер 15
1.3 Нейрондық желілердің негізгі түсініктері 23
1.4 Машиналық оқыту 36
2 МӘТІНДІ АВТОМАТТЫ ТҮРДЕ ТОПТАСТЫРУ 40
2.1 Автоматты түрде мәтінді топтастыратын әдістерге шолу 40
2.2 Мәтінді компьютерлік өңдеуге дайыдаудың негізгі амалдары 41
2.3 Морфологияны қолдану 42
2.4 TF*IDF 45
2.5 Сайт тақырыбын таңдау 47
2.6 Стеммер Портера 50
3 МАШИНАЛЫҚ ОҚЫТУ ӘДІСТЕРІНЕ ШОЛУ 51
3.1 Байес әдісі 51
3.2 K-жақын көршілер әдісі 52
3.3 Rocchio classifier 53
3.4 Нейрондық желілер 54
3.5 Шешімдер ағашы 54
3.6 Буль функцияларын құру 56
3.7 Support Vector Machines 57
3.8 SVM іске асыру бағдарламалары 59
3.9 SVM параметрлерін оңтайландыру 59
ҚОРЫТЫНДЫ 61
ҚОЛДАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ 64
Қосымша А 69
КІРІСПЕ
Ақпаратты классификациялау (шектелген жиын ішінде ақпараттың
бөлшектерін бір немесе бірнеше санаттарға жіктеу) білімді ұйымдастырудың
және ақпарат алмасудың дәстүрлі мәселесі болып табылады. Өте үлкен
ақпараттық топтамаларда тек автоматты классификациялау туралы айтуға
болады.
Бұл мәселені автоматтық процедуралар арқылы шешу үшін көптеген
әдістер ұсынылды. Қазіргі таңдағы әдістерді принципиалды түрде бір-біріне
ұқсамайтын екі классқа бөлуге болады: машиналық оқыту әдістері және
мағлұматтарға негізделген әдістер (инженерлік тәсіл деп те атайды).
Машиналық оқыту әдістерін қолданған жағдайда классификаторды құру
үшін алдын ала адаммен дайындалған құжаттар топтамасы қолданылады.
Машиналық оқыту алгоритмы құжаттарды классификациялау процедурасын
топталған текстер жиынын автоматты түрде анализ жасау арқылы құрады.
Білімге негізделген әдістерді қолданған жағдайда, құжатты белгілі бір
топтамаға тіркеу сарапшының рубрикаторды анализ жасауы арқылы іске
асырылады.
Білімге негізделген әдістер ұғымының шартты екенін атап өткен жөн.
Мәтінді автоматты түрде классификациялау әдістерінің кез-келген түрі
белгілі бір дәрежеде мәтіннің табиғи тілдегі қасиеттері жайлы білімді және
әрбір топтамаға сәйкес мәтіндердің ерекшеліктері туралы білімді қолданады.
Екі әдістер топтарының арасындағы принципалды айрмашылық ол, машиналық
оқыту әдістері мәтіндердің оқыту топтамаларынан білімді алу үшін
математикалық әдістерді пайдаланады, ал инженерлік әдіс топтамаға сәйкес
мәтіндердің қасиеттері туралы сарапшылардың білімін пайдаланады. Эксперттің
білімі ең бірінші бастапқы тәжірибеге сүйенеді, соның ішінде ертеректе
оқылған мәтіндердің үлкен топтамасына, содан кейін топтастырылуға тиісті
мәтіндер жиынына.
Қазіргі таңда жоғарыда көрсетілген мәтінді автоматты түрде
классификациялау әдістерінің арасында, яғни машиналық оқыту және білімге
негізделген әдістер арасында үлкен айырмашылық бар, ғылыми зерттеу жағынан
да, тәжірибелік әдістер жағынан да.
Жұмыстың мақсаты. Бұл жұмыста классификация алгоритмдері
қарастырылады. Адам санасы көлемді ақпаратты тез арада өңдей алмайды және
оны өңдеуге міндетті емес, бұл мәселелерге барынша ЭЕМ мүмкіндіктерін
қолдану керек.
Бұл мәселені шешу үшін келесі қадамдар жасалу керек:
– Мәтін қай тілде жазылғанын анықтау;
– Құжаттардың ұқсастығын анықтау;
– Алгоритм мәтіннен негізгі кілт сөздерді анықтау керек;
– Кілт сөздерді анықтау үшін Стеммер Портера алгоритмін қазақ
тіліне бейімдеу (мысалы оқу, оқушылар, оқушыларға – түбүрі оқу
сөзі);
– Кілт сөздерді анықтау барысында қате сөздерді n-gramm және
Левенштейн қашықтығы алгоритмедерін қолдана отырып түзеу.
Бұл ғылыми жұмыс тек теория болып қалмай шынайы өмірде өз қолданысын табады
деген үміттеміз.
Зерттеу әдістері. Есептің қойылымы мен шешімін зерттеу барысында
жүйелік талдау, Шингл алгоритмы, Стеммер Портьера, Support Vector Machines
әдістері қолданылды.
Зерттеу жұмысының ғылыми жаңалығы. Стеммер Портера алгоритмін қазақ
тіліне бейімдеу, rector.kz ұстаздарға арналған ұлттық әлеументтік желінің
жасалуы.
Зерттеу нәтижелерінің анықтылығы. Зерттеу нәтижелері, талаптары,
қорытындылары қатал математикалық әдістермен, есептеу эксперименттерінің
нәтижелерімен дәлелденген, республикалық ғылыми конференцияда, ғылыми
басылымдарда жарияланған.
ЖАСАНДЫ ИНТЕЛЛЕКТ
1 Жасанды интелектіге кіріспе
Жасанды интеллект жасауға болама? Ол интеллекте толықтай ойлау
қабілеті және шығармашылыққа деген ынта болама? Ол адамзатқа көмекші
болама, әлде адамзатпен жарысама? Бұл сұрақтар көптеген уақыт бойы ғалымдар
арасында талқыланып келеді.
1955 жылы ең алғашқы компьютерлердің пайда болуымен қатар жасанды
интеллект ұғымы ұсынылды. Яғни, сол кездегі ғалымдардың болжамы бойынша 5-
10 жылдың ішінде жасанды интеллект адам сияқты кез-келген тексті аударып,
адам деңгейінде шахмат ойнайды деп болжады. Қазіргі жағдайда, бұның бәрі
біраз кешірек жүзеге асырылды, бірақ дегенмен адамзат соған қол жеткізді.
Айта кету керек, кейбір сол кезде жеңіл, оп -оңай болып көрінген мәселелер
әлі күнге дейін өз шешімін таппай отыр, мысалы бейнелерді автоматты түрде
тану, текстерді бір тілден екінші тілге мағынасын жоғалтпай аудару және ең
бастысы шынайы жасанды интеллект жасау. Яғни, адамдардың бұл идеялардан
көңілі қалды, әсіресе қаржылау органдарының, өйткені көптеген қаражат
жұмсалып нәтиже мардымсыз болды.
Жасанды интеллекттің мәселесі қазіргі кезеңде ең маңызды проблемаға
айналған тақырып. Онымен айналысушылар мүлде көп-ақ. Ол жөнінде
ізденушілердің қатарына кибернетиктер, лингвисттер, психологтар,
философтар, математиктер, инженерлер жатады. Осы жасанды интеллект
мәселелерін шешу арқылы ғылыми дамудың көптеген проблемалары шешімін табады
[1]. Бұл проблемаларға есептеу техникалары мен робототехника саласындағы
күрделі есептер шешіліп жатады. Дәл осы тұста пәнаралық зерттеулер туындап,
олардың жаңа бағыттары айқындалып жатады.
Қазіргі ғылыми жетістіктер арқылы адам миының миллиардтаған есептеу
тораптарынан, яғни нейрондардан тұратыны белгілі. Жаңа есептеу машиналары
әлі де жеткілікті дамымаса да кейбір жақтарында Адам баласының есептеу
қабілетінен асып кетіп отырғандығы анық. Жасанды нейронды желілер күрделі
басқару жүйелерін және бақылау тапсырмаларын атқарып отыр. Тіпті
автопилотты да осы жасанды интеллект арқылы жасауға қол жеткізілді емес
пе?!
Мысалы жасанды интеллекттің зерттелуі арқасында компьютерлер шахматы
едәуір жақсы ойнауға кірісті.
Экономикаға қатысты проблеманың бірі – қаражаттық қатарлар. Олар
күрделі жүйе болып табылады да, сондықтан математикалық модель құру
негізінде олардың тәртібінің динамикасын баяндау іс-жүзінде ешқандай табыс
әкелген жоқ [2]. Бұл негізінен модельдердің тым жеңілдеуімен және де
финанстық деңгей тәртібіне смежный экономикалық жүйелердің әсер ету
дәрежесін толық білмеуімен түсіндіріледі. Нейрондық жүйелерді пайдалану
ерекшелігі олардың салыстырмалы түрдегі аз мінездемелерге сүйеніп қандай да
болмасын процессте заңдылықтарды таба ала білуде.
Жасанды интеллект ұғымы сан салалы. Бірақ ең маңызды аспектілерін
бөліп көрсетуге болады. Біріншіден, жасанды интеллект дегеніміз өзінің
алдына қойған мақсатын белгілі тәсілдер арқылы зерттей алатын жүйе.
Екіншіден, интеллект өз алдынан шыққан ақпаратты өңдей алады, сол себепті
жасанды интеллекттің жүйесінде білімнің көрініс табу мәселесі де қызықты
болып отыр. Үшіншіден, міндеттердің шешудің интеллектуалды жүйелер арқылы
шешетін көптеген тәсілдері бар деген сөз. Төртіншіден, жасанды интеллекттің
адаммен бір ғана тілде байланыса алуы онымен екеуара диалог жүргізуді
едәуір жеңілдетеді.
Бірақ кейбір ғалымдар жасанды интеллект жасаудың мүмкін еместігі
жөнінде пікір айтқанымен жасанды интеллект жасау саласындағы Жан-жақты
іздену қазіргі ғылымда кең етек жаюда.
Интеллект дегенімізді екі ауыз сөзбен айтуға болады ма? Қалауыңыз
білсін: интеллект – бұл өмірлік тәжірибе. Тосын көзқарас па? Бірақ бұл
сөздің арғы шығу тегі латынның ойлы деген сөзінен туындайды, әдепкіде
интеллигент деп тек ой еңбегімен айналысушыларды ғана атайтын.
Интеллектті белгілі міндеттерді, мәселелерді шешу мақсатындағы іс-
әрекеттің тиімділігі деуге де болады. Ал өмірлік тәжірибе белгілі
міндеттерді шешуден, атқарудан тұрады емес пе?! Интеллект белгілі міндеттер
мен қатар белгісіздерін де атқара білу.
Болжам жасай алу да интеллектің бір механизмі. Сонымен интеллект деген
терминнің өзі сан салалы. Ал сонда жасанды интеллект дегеніміз қандай
нәрсе?
Соңғы отыз жыл төңірегінде осы жасанды интеллект туралы небір ойлар
айтылып, небірі ұмыт та болды. Менің ойымша жасанды интеллект дегеніміз
адамдардың өздеріне ұқсаған немесе өздері атқаратын жұмыстарды ьтиімді де
аз күш пен уақыт жұмсап бітіре алатын зат немесе материалды нәрсе. Сәл
халықтың ортасына жақындата айтар болсақ басыбайлы құл, құл болған да да
анау-мынау құл емес ол ең саналы құлдардың бірі болған Эзоп (мысалшы, ақын)
тәрізді біреу. Бұл менің көз алдымызға елестету үшін айтқан теңеуім ғой.
Әрине Адам кез келген ақпаратты өңдейді, оны қорытып ойланады. Мүмкін ол
ақпараттан соң ол іске көшер немесе тіпті көшпес те. Ақпаратты өңдеу үшін
нейрогенетиканың термині – нейрожелі енгізілген. Ал жасанды нейрожелі
дегеніміз сонда жасанды интеллектті түзетін немесе соған еңбек ететін желі.
Нейрон дегеніміз – нерв жасушасы (клеткасы). Олар бір-бірімен байланысып,
бірігеді.
Жасанды нейронды желілер келешекте адам миының кейбір функцияларын
қайталай алады деп есептелуде. Тіпті бұл өз кезегінде Адам миының терең
тұңғиықтарына бой сілтеуге көмегі де тиер деп есептелуде. Мүмкін
революциялық өзгерістер анна қырдың астында-ақ шығар.
Қазіргі компьютерлік ғылымның пайда болуынан бастап Жасанды интеллект
термині оның тұрақты серігі болып алды. Лампалы компьютерлерден бастап
бүгінгі екі ядролы микропроцессорлар кезеңіне дейін осы мәселе біздің бас
ауыртатын мәселемізге айналған. Қазіргі кезде Жасанды интеллект дегеніміз
тек қана компьютерлік саланы қамтып қоймайды, ол тіпті когнитивтік
психологияға да қатысты болып отыр. Яғни адамның танымын модельдейтін
компьютерлік программаларды әзірлеуге де қатысы бар деген сөз. Когнитивтік
психологияда 1956 жылдан табысты жыл болып көрмеген. Бұл жылы Бранер,
Гуднау және Остин Ойлауды зерттеу, Хомский – Тілді сипаттаудың үш
моделі, Миллер – Сиқырлы сан жеті қосылған-алынған екі, Ньюелл және
Саймон – Машиналардыі логикалық теориясы атты ғаламат туындылар дүниеге
келген. Міне жасанды интеллекттің әсер етуші саласы да түрленіп келеді.
Дегенмен әзірге біздер өзімізге түсініктілеу компьютерлерге оралайық.
Қазіргі компьютермен шахмат ойнап көрдіңіз бе? Ал шахматтан өзге
ойындар ше? Картаның неше түрін ойнауға болады. Барлық жағдайда ұтуыңыз
қиын мәселе. Яғни ол сөздің жүрісіңізден кейін бірнеше варианттарды
қарастырып көреді де жауап береді. Демек ойланады деген сөз. Бұл жасанды
интеллекттің нағыз өзі емес пе? Әрине адам тәрізді сезімі жоқ та шығар,
бірақ қазір иісті де компьютер сезетін болды.
1946 жылы алғаш пайда болған ЭЕМ-дер электрондық шамдар негізінде
жұмыс істейтін, үлкен залдарда орналасқан, көлемді электрондық жабдықтар
болатын. Бірақ 1948 жылдың өзінде-ақ электрондық шамдар шағын электрондық
аспаптармен-транзиcторлармен алмастырылып, компьютердің бұрынғы жұмыс
өнімділігі сақталынғанмен, көлемі 100 есеге дейін төмендеді.
70 жылдар соңында интегралдық схемалардан немесе чиптерден жасалған
мини-ЭЕМ-дер шыға бастады
(транзисторлар мен олардың арасындағы қажетті байланыстар бір
пластинада орналасқан). Осындай микропроцессорлардың (біріктірілген
интегралдық схемадан-БИС элементтерінен тұратын) шығуы дербес компьютерлер
заманының басталғанының алғашқы белгісі болды.
Алғашқы есептеу жұмыстарын автоматтандыруға арналған ЭЕМ-дер күннен
күнге артып келе жатқан информация ағынымен жұмыс істеуде өте ыңғайлы құрал
болып шықты.
Бастапқы кезендерде ЭЕМ-дерде тек арнайы үйретілегн адамдар ғана жұмыс
істеді, бірақ онша дайындығы жоқ адамдардың компьютерді пайдалану
мұқтаждығы маман еместерге арналған машина жасау қажеттілігін тудырды.
70 жылдар басында тұрмыстық (үйдегі) компьютерлер деп аталған
микрокомпьютерлер шықты. Олардың мүмкіндіктері шектеулі болатын, тек ойнау
үшін және шағын мәтінді теру үшін ғана пайдаланылады.
70 жылдар ортасында тұрмыстық компьютерлердің етек алғаны сондай
оларды сусын шығаратын фирмаларда (Coca-cola) жасай бастады.
Дегенмен микрокомпьютерлер дамуындағы ең елеулі оқиға болып 1981 жылы
IBM фирмасы жасаған, кейіннен дербес компьютер деп аталған шағын
компьютердің шығуы болды.
Сол уақыттан бастап осы атау шағын компьютерлер тобының жалпы аты
есебінде тұрақталынып қалды.
Бұл күнде ЭЕМ информацияны өңдеудің ең негізгі құралы болып саналады.
70-жылдарда электрониканың компютердің жаңа түрін - жеке пайдаланатын
дербес компютерлерді көптеп шығаруға жол ашты. Ол қазірде мектептерде
институттарда, баспаханаларда, т.б. орындарда кеңіненқолданыла бастады [3].
Мұндай компьютерлерді оқуда, жұмыста, ойнау үшін, тағы да басқа көптеген
мақсаттарда пайдалануға болады. Осы компьютерді өндіріспен жобалау ісінде,
ғылыми-зерттеу істері мен білім беруде миллиондаған адамдардың жұмыстарының
мазмұны мен орындалуын түбегейлі түрде өзгертті деуге болады.
Ең алдымен ЭЕМ-дер өндірістің автоматтандырылған технологиясын жасауға
мүмкіндіктер ашып береді. Оның үстіне, сол технология көмегімен ЭЕМ-дермен
басқарылатын жаңа машина, құрал-сайман және құрылғылар жасалынады.
Осылардың негізінде XXІ ғасырдың басында есептеу машиналары "адамсыз" жұмыс
атқара алатын өндіріс технологиясын жасау мүмкіндіктерін беріп отыр. Осы
сияқты "болашақтың" фабрикаларында қолмен істелетін жұмыстардың бәрін
роботтар орындайды да, адамдардың рөлі өндірісті жоспарлау, роботтар
жұмысын басқару және ЭЕМ көмегі мен жаңа бұйымдар жасау істерін жобалау
ғана болып қалады.
Бүгіннің өзінде-ақ көптеген қызымет салаларында ЭЕМ-дерді пайдалану
адамдарға информацияны жинау, дайындау және өңдеу жұмыстарын оңайлатып
жобалау және ғылыми-зерттеу жұмыстарын жылдам жүргізуге мүмкіндік береді.
ЭЕМ-дер мектептерге келе бастады, олар физика мен математика, химия мен
биология сияқты басқа да пәндерді оқып үйрену ісіне көмек береді.
ЭЕМ-нен қарым-өқатынас жасау және оларды өз жұмысында пайдалана білу
бұдан бұрынғы аталарымыздың қаламсаппен сауат ашқаны сияқты, алдыңғы 10-15
жылда біздер үшін ең керекті зат болып, компьютерлік сауаттылыққа негізін
қалайды.
ЭЕМ-ді жұмыста тиімді пайдалану белгілі бір мәдинет иесі болуды талап
етеді, яғни ол мәдениеттіліктің белгісі болып саналады. Ол үшін ЭЕМ-нің
негізгі мүмкіндіктерін жақсы білу қажет, олар: (есептерді) айқын түрде қоя
білу, оларды шешудің жоспарын жасау және ЭЕМ-ге түсінікті түрде жазу; есеп
шығаруға керекті мәліметтерді айқындай білу мен алынған нәтижелерді талдау
тәслдерді әрбір адамның жетік меңгеруі болып табылады. Мұндай
мәдениеттілікті игеру логика мен информатика заңдарын білуге барып тіреледі
[4].
Жасанды интеллект ұғымына әртүрлі мағына кіреді – логикалық немесе
кез келген есептеу мәселелерін шеше алатын сонау ЭЕМ-да интеллекттің бар
екендігін мойындаудан интеллектуалды жүйелерге жатқызылатын тек қана адам
ғана шеше алатын міндеттер кешеніне дейінгі аралықты алып жатыр. Дегенмен
жасанды интеллект дегеніміз не екендігін анықтауды біздер лингвистер мен
философтарға қалдыра тұрып, өз пайымдауымызша жасанды интеллект ұғымына
жақын немесе соны бейнелей алатын жүйелерді сипаттап көрелік.
Алдымен нағыз инттеллектті сипаттап шығайын. Ол үшін мидың ақпаратты
өңдеуін алайық.
Сонымен, бiрiншi блок ми қабығының қуатын ғана қамтамасыз етедi. Ал,
ендi әңгiме болатын, екiншi блок сезiм органдары сырттан жеткiзген
сигналдардың анализi мен синтезiне байланысты iс атқарып, адамға келiп
түскен ақпаратты қабылдайды, өңдейдi және сақтайды. Оның құрамындағы
аппараттар бас миы қабығының артқы (еңбек, шеке, желке, қарақұс)
бөлiктерiнде орналасып, бiрiншi блокта жоқ арнайы қызметтiк сипатқа ие. Осы
тетiктер жүйесi арқылы ми көру, есiту және сезу сигналдарын қабылдайды,
өңдеп, бекiтедi, алынған тәжiрибенiң iздерiн есте қалдырады. Бұл блок
аппараттарын қабылдаушы жүйенiң орталық бөлiктерi деп қарастырса болады.
Осы бөлiктердiң көрумен байланыстысы желке, қарақұста, есiту бөлiгi
шекеде, сезiмдiктерi төбе, еңбек аймағында орналасқан.
Қабылдаушы аппараттардан шыққан талшықтар осы бөлiктерге жетiп,
бiтедi; осы арада келiп жатқан көру, есту және сезу ақпараттары жiктеледi,
"тiркеуге" алынады. Бұл зонада күрделi болған құрылымда бас қосып, бiрiгедi
және кiрiгедi. Шеткi сезiм органдарынан талшықтар жетiп, тiкелей
байланысатын қабық зоналары алғашқы немесе құрастырушы аймақ деп аталады
да, осы құрастырушы аймақпен жанасып, қабысатын ми қабығы зоналары туынды
немесе құрастыру байланыс түзушi аймақтар аталған.
Сезiмдiк қабықтың алғашқы аймақтары арнайы қызметтiк белгiлердi (көру,
есiту, сезу) жiктеп, талдайды, яғни келiп түскен ақпаратты мәндi бөлiктерге
бөлшектесе, қабық бөлiктерiнiң екiншi, туынды зонасы бiрiктiру қызметiн,
немесе субъектке жеткен ақпараттың күрделi өңдеуiн жүргiзедi.
Талдағыш блок аппараттары алғашқы және екiншi бөлiктермен шектелмей,
олардың жоғарысына қабықтың үшiншi зона тетiктерi қондырылған. Бас миы
қабығының үшiншi зонасы тек адамда ғана түзiлетiн арнайы ми қабығы
құрылымдарының бiрi. Қабықтың үшiншi аймағы ұзақ дамудан жетiледi де, ми
қабығына әртүрлi талдағыштардан келiп түскен ақпараттарды бiрiктiру оның
негiзгi қызметi. Бұл бөлiк тетiктерiнiң зақымдануы, сырқатқа шалдығуы
немесе әншейiн шаршауынан адам сырттан келiп жатқан сигналдардың басын
қосып, олардың күрделi бiрлiгiн жасап, қорытынды шешiм таба алмай, қызмет
әрекет бабында адасады (кеңiстiкте оңды-солын ажырата алмайды, күрделi
грамматикалық байланыстарды түсiнбейдi, көп қатынасты логикалық
операцияларды орындай алмайды) [5].
Қазіргі заманғы ғылым мен техниканың, экономиканың, жалпы халық
шаруашылығы салаларының зор қарқынмен дамуын есептеу машиналарынсыз көзге
елестету қиын. Өйткені жоспарлы шаруашылық есепсіз жүргізілмейді, есептеу
жұмысымен шұғылданбайтын шаруашылықтарды табу қиын. Міне, сондықтан да есеп
жүргізу біздің қоғамдық өмірімізде басты орын алады.
Қазіргі заманғы ғылыми-техникалық прогрестің катализаторы,—
микроэлектроника, есептеу техникасы мен прибор жасау, бүкіл информатика
индустриясы екені мәлім. Олар барлық салалардағы еңбек құралдарының,
технологиялық жүйелердің тиімділігіне шешуші ықпал жасайды.
Бұл мәселенің барынша нақты қойылып отыруының үлкен мәні бар. Жыл
сайын елімізде ондаған миллиард есептеу жұмыстары орындалып отырады. Ғылыми-
техникалық прогрестің қарқынды дамуына байланысты атқарылатын есептеу
жұмыстарының ауқымы бұдан да өсе түспек. Бұл жерде мәселе есептеу жұмысына
ғана тіреліп қалмай, оны жүргізу үшін адам баласының қабылдап және
тұжырымдап отыратын информациясы көлемінің қаншалықты ауқымдылығына да
қатысты болып отыр.
Қажетті есептеу жұмыстарын тез әрі мінсіз орындап отыру үшін
күнделікті түсіп жататын ұланғайыр информациялардың біраз бөлігін пайдалану
керек. Ал жоспарлау кезінде бір ғана есептің толып жатқан түрлерін,
варианттарын қарастырып, солардың ішінен ең тиімдісін таңдап алуға тура
келеді, бұл оңай жұмыс емес.
Мұндай есептерді шешу үшін миллиардтаған арифметикалық амал орындауға
тура келеді. Сондықтан да барлық есептеу, информацияларды өңдеу т. б.
тәрізді күрделі есеп жұмыстарын машиналарға жүктеу қажеттігі айтпаса да
белгілі.
Осыларды ескеріп, жастардың компьютерлік сауаттылығын қамтамасыз ету
және оқу процесіне электронды-есептеу техникасын кеңінен енгізу мақсатында
еліміздің барлық орта оқу орындарында Информатика мен есептеу техникасының
негіздері курсын енгізілді. Бұл — электронды-есептеу техникасы маңызының
күн санап артып отырғандығының белгісі.
Ғылым мен техника дамуына байланысты есептеу жұмыстарының қажеттілігі
артып, оны жеңілдету үшін арнайы құралдар – абак, есепшот, арифмометр,
арнаулы математикалық кестелер шығарыла бастады. Бірақ үстіміздегі ғасырдың
40 жылдарында, ядролық физиканың даму ерекшеліктеріне байланысты, қолмен
есептеу істері көптеген материалдық ресурстарды және адамның тікелей
араласуын талап ете бастады. Мысалы, "Манхеттен жобасын" (АҚШ-тағы атом
бомбасын жасау) іске асыру кезінде есептеу жұмыстарына 600 адам қатысты,
олардың бірсыпырасы тікелей есептеумен айналысып, қалғандары сол жұмыстың
дұрыстығын тексеріп отырды.
XX ғасырдың ортасында информацияны өңдеуді автоматтандыру ісінің
қажеттілігі (көбінесе әскери талаптарға сай) электрондық техника мен
технологияның қарқынды дамуына себепші болды [6].
Электроника табыстары нәтижесінде жасалынған техникалық аспаптар
электрондық есептеуіш машиналар (ЭЕМ) деп атала бастады.
1946 жылы алғаш пайда болған ЭЕМ-дер электрондық шамдар негізінде
жұмыс істейтін, үлкен залдарда орналасқан, көлемді электрондық жабдықтар
болатын.
Бірақ 1948 жылдың өзінде-ақ электрондық шамдар шағын электрондық
аспаптармен – транзисторлармен алмастырылып, компьютерлердің бұрынғы жұмыс
өнімділігі сақталынғанмен, көлемі жүз есеге дейін төмендеді.
70 жылдар соңында интегралдық схемалардан немесе чиптерден жасалған
мини-ЭЕМ-дер шыға бастады (транзисторлар мен олардың арасындағы қажетті
байланыстар бір пластинада орналасқан). Осындай микропроцессорлардың
(біріктірілген интегралдық схемадан – БИС элементтерінен тұратын) шығуы
дербес компьютерлер заманының басталғанының алғашқы белгісі болды.
Алғашқы есептеу жұмыстарын автоматтандыруға арналған ЭЕМ-дер күннен
күнге артып келе жатқан информация ағынымен жұмыс істеуде өте ыңғайлы құрал
болып шықты.
Бастапқы кезеңдерде ЭЕМ-дерде тек арнайы үйретілген адамдар ғана жұмыс
істеді, бірақ онша дайындығы жоқ адамдардың компьютерді пайдалану
мұқтаждығы маман еместерге арналған машина жасау қажеттілігін тудырды.
70 жылдар басында "тұрмыстық" (үйдегі) компьютерлер деп аталған
микрокомпьютерлер шықты. Олардың мүмкіндіктері шектеулі болатын, тек ойнау
үшін және шағын мәтіндер теру үшін ғана пайдаланылды. 70 жылдар ортасында
тұрмыстық компьютерлердің етек алғаны сондай, оларды сусын шығаратын
фирмалар да (Coca Cola) жасай бастады.
Дегенмен, микрокомпьютерлер дамуындағы ең елеулі оқиға болып 1981
жылы ІBM фирмасы жасаған, кейіннен "дербес компьютер" деп аталған шағын
компьютердің шығуы болды.
Ал қазіргі жағдай біраз басқаша, батыс ғалымдарында өте үлкен серпіліс
байқалады. Тіпті жасанды интеллект саласында сингулярлық деген жаңа ұғым
пайда болды. Футуролог Вернор Виндждің айтуы бойынша 2030 жылдары супер
интеллект пайда болады, ол супер интеллект өзін-өзі ары қарай жетілдіріп,
ғылыми-техниканы ары қарай үлкен қарқынмен дамыта түседі, яғни
экспонцианалды өседі. 1-суретте сингулярлықтың экпонционалды өсетінін көріп
отырмыз.
Сурет 1. Сингулярлық
Бірақ ол кезде адамзат санасы артта қалып, технология қалай дамып
жатқанын түсіне алмайды және ары қарай не болатынын болжай алмайды. Яғни
ғылымның қысқа уақыт ішінде қарқынды, экспоненциалды дамуын сингулярлық
даму деп атайды.
Сингулярлық пайда болмаса да бұл салада үлкен нәтижелер болу
керек. Әзірше әлсіз жасанды интеллект (Weak AI) көп қолданысқа ие болып
отыр, ал мықты жасанды интеллект (Strong AI) әлі зерттелуді. XX ғасырдың 50-
жылдарынан бастап мықты жасанды интеллект жасау барысында пайда болған жаңа
алгоритмдер әлсіз жасанды интеллектте көп қолданыс тапты. Әлсіз жасанды
интеллекттің басты мақсаты ол жеке бір салады сараптамашы қызметкерді
алмастыру [7]. Қазіргі таңда әлсіз жасанды интеллект үлкен сұранысқа ие
болып отыр, медицина, қаржы, банктік салаларда. Егер нақтырақ айтатын
болсақ келесідей программалар жүзеге асырылып жатыр:
– Автономды жоспарлау және күнтізбе жасау. NASA-ның жерден миллион
километр қашықтықта орналасқан Remote Agent программасы ең алғашқы
автономды жоспарлау жүйесі болды. Оның мақсаты космостық аппараттың
күнтізбесін жасау процессін басқару болып табылады. Remote Agent
программасы жерден жіберілген жоғары мақсаттарға сәйкес жоспар құрып,
сол жоспарды орындау барысында космостық аппаратты бақылап отырды.
– Ойындар жүргізу. IBM компаниясының Deep Blue программасы ең бірінші
болып шахматтан әлем чемпионы Гарри Каспаровты 3,5:2,5 ұпаймен жеңді.
Каспаровтың айтуы бойынша, ол ойын барысында интеллектің жаңа типін
сезіндім деді. IBM компаниясының акциялары 18 миллиардқа өсті.
– Автономды басқару. Alvin компьютерлік көру жүйесі жол ережесіне
сүйене отырып автокөлікті басқаруға үйретілді.
– Диагностика. Қазіргі таңда медициналық диагностикалық программалар
көптеген салалар бойынша тәжірибелі дәрігерлер деңгейіне жетіп отыр.
Кейінгі кезде IBM компаниясының Watson программасы таңғаларлық
нәтижелер көрсетіп отыр. АҚШ-та өкпе қатерлі ісігіне ұшыраған
пациенттерге дәрігерлер тарапынан берілетін емдік процедураның
оптималдылығы 50% болса, Watson программасы 90% пайыз дұрыс нәтиже
береді.
– Тілді түсіну және есептерді шешу. 2011 жылы IBM компаниясының
программасы Jeopardy телешоуда екі атақты ойыншыларды жеңді.
Бұл жасанды интеллектінің қазіргі таңдағы кейбір мысалдары ғана.
Әлсіз жасанды интеллекттің үлкен бір бөлімі ол машиналық оқыту
(машинное обучение). Машиналық оқыту өзі үйрене алатын модельдерді жасау
әдістерін және сол модельдерді жасау және оқыту алгоритмдерін қарастырады.
Оқытудің екі түрі бар. Прецеденттер бойынша оқыту, немесе индуктивті оқыту,
эмпирикалық мәліметтер бойынша жалпы заңдылықтарды табуға негізделген [8].
Дедуктивті оқыту сарапшы білімін формализациялау және оны компьютерге білім
базасы ретінде енгізуге негізделген. Дедуктивті оқыту экспертті жүйелерге
жақын, сондықтан машиналық оқыту және прецеденттер бойынша оқыту синонимдер
болып табылады. Машиналық оқыту келесі пәндер тоғысында жатыр:
математикалық статистика, оптимизация әдістері және классикалық математика
пәндері. Сонымен қатар өзіне тән эффективті есептеу, артығымен оқыту
(переобучение) мәселелерін қарастырады. Индуктивті оқытудің көптеген
әдістері классикалық статистикалық әдістерге балама ретінде дамытылды.
Көптеген әдістер мәліметтердің интелектуальді анализімен (Data Mining)
тығыз байланысты. Машиналық оқыту арқылы келесі мәселелерді шешуге болады:
классификация, кластеризация, регрессия және т.б.
2 Сараптық жүйелер
Жасанды интеллект ол 20 ғасырдың елуінші жылдарында кибернетиканың,
лингвистиканың, психология және программалаудың түйісінде дүниеге келген
ғылымның жаңа бір аясы. Жасанды интеллектінің негізгі мақсаты -
өркениеттің дәстүрлі интеллектілік болып саналатын қызмет түрлерінің
аппараттық және алгоритмдік моделдеу.
Жасанды интеллект облысындағы ең бірінші және маңызды зерттеулер 2
бағытта болды. Ең біріншісі болып - дара нейрондар үлгілерінің септігімен
және осылардан жасалған сызба бойынша жасанды интеллект құру мақсатында
homo sapiens миының психофизиологикалық қызметін алгоритмдер арқылы
толықтай моделдеу. Бұл бағытта жаңа бионикалық деп аталатын жаңа бір ғылым
ағыны дүниеге келді. Ол кибернетиканың рауандап атқан таңында белсенді
дамыды және қазіргі кезде микроэлектрониканың жетістіктерімен тығыз
байланысты жаңа бір қарқын алуда. Шынымен жасалған нейронды желілердің
өлшемділіксіздерінің және нейрофизиологиясымен зерттелген объектілердің
жеткіліксіздігіне тікелей байланысты бұл саладағы зерттеулер нәтижесі
барысында алынған тікелей бағалы деп санауға болатын деректер әзірге
мардымсыз болып тұр.
Прагматикалық бағыт – осы кезге шейін адам баласы ғана айналысады
деп саналатын есептерді шешуге мүмкіндік беретін электронды есепту
машинасындағы алгоритмдерді көрсетуден толықтай құралады. Соның ішінде
ерекше бір қызығушылық тудыратын есептер ол: бейнелерді тану, логикалық
шешім табу, оқыту, себепті болжау және шешім қабылдау, табиғи тілдердегі
қарымқатынас, іздеу және мәтінді топтастыру есептері. Бұл салада көптеген
практикалық маңызды нәтижелерге қол жеткізілді, бұдан ары қарай зертту осы
бағыт бойынша ғана болмақ [9].
Жасанды интеллект саласы бойынша зерттеулер нәтижесінде алынған
интеллектілік жүйелерде (немесе жасанды интеллект жүйелері) кеңінен
қолданылады. Жасанды интеллект жүйесі – басты мақсаты жасанды интеллектіні
қолдануға негізделген толықтай автоматтық немесе автоматтандырылған жүйе
болып табылады. Жасанды интеллект жүйелері 3 негізгі базистен тұрады:
білімдер қоры, шешуші немесе шығару механизмі (логикалық нәтижені құрастыру
программасы) және интеллектілік UI (user interface).
Интеллектілік программа жасау жай ғана қарапайым программалаудан
айрықша ерекшеленеді және жасанда интеллект жүйелерін құру арқылы ғана
жүргізіуі мүмкін. Егерде өте қарапайым программа келесі парадигма түрінде
көрсетілсе,
П р о г р а м м а = А л г о р и т м + М ә л і м е т т е р ,
ал Жасанды интеллект жүйесі үшін төмендегі басқа парадигма сәйкес
келеді:
Ж И Ж = Б і л і м + Б і л і м д і ө ң д е у т е х н о л о г и я с ы.
Адамзат білетін ғылымдардың ешбіруі адам ойлауының моделі мен
алгоритмін толық қамды ұсына алмай отыр, сондықтан жасанды интеллект
мамандары өздері жасаған моделдерін ұсынуда:
– лабиринттік табу модельдері, мұнда мақсат қандай да бір
жағдайлар кеңістігінде көрсететін граф түрінде бейнелеп, осы
графқа енетін мәліметтердің нәтижелерге дейінгі ең қысқа деген
жол іздестіріледі;
– эвристикалық программалау, эвристика – теориялық нақтыланбаған,
бірақ іздестіру кеңістігіндегі сараптау санын кемітетін ереже;
– математикалық логиканың құралдарын қолдану, яғни ең бірінші
аксиомалары бар жағдайда математикалық теоремаларды электронды
есепту машинасы дәрежесінде дәлелдеуге мүмкіндік берген
теориялар негізінде 1973 жылы жасалған пролог тілін қолдану.
Жетпісінші жылдардың орта шеңінде ойлаудың әмбебап моделін іздеудің
орнына сарапшы мамандардың бар білімдерін алгоримге салу идеясы дүниеге
келді. Сөйтіп сарапшы мамандардың нақты білімдеріне сүйенген сараптық
жүйелер дүниеге келе бастады. Жасанды интеллект жүйелерінің басты
ерекшелігі мәліметтермен жұмыс істеу.
Білімдер және олардың ұсыну алгоритмдері. Мәліметтерден нақты
білімдерге ауысу электронды есепту машинасы өңдейтін ақпаратты-логикалық
схемалардың жасалу және күрделенуінің логикалық салдары болып саналады.
Мәлімет – сипатталатын объект (сұрақ, мәселе, т.б.) туралы ақпараттық
деңгейіне тура сәйкес тұтас сипаттама жасайтын мағлұматтардың жиынтығы.
Яғни ақпарат – пәндік аймақтың нақ осы аймақтағы есептерді шешуге мүмкіндік
беретін анықталған (байланыстары; принциптері; заңдары) заңдылықтары [10].
Жасанды интеллект тұрғысынан ақпарат – логикалық шығару өрісінде сілтеме
салатын (қолданылатын) формальданған білім. Ақапаратты сақтау үшін
мәліметтер қоры қолданылса, білімдер үшін – ақпарат қоры қолданылады.
Ақпарат қоры – нақты бір пән аясында өркениет жинақтаған ақпарат жинағы.
Осы формальды түрде берілген білімдер жинағының негізінде пайымдауды, нақты
бір ойды жүзеге асыруға болады. Ол жасанды интеллектілік жүйенің, дара
жағдайда сараптық жүйенің, түбегейлі құраушысы болып табылады. Homo sapiens
есеп шығару барысында негізге алатын білімдер әртекті. Олар:
– фактографикалық ақпарат – негізгі объектілердің, оқиғалардың
және олардың элементтерінің сандық және сапалық сипаттамасы,
бұл ақпарат дәстүрлі түрде кез-келген кестелер мен формальды
білім түрінде жинақталынған, ал электронды есепту машинасы
ғасырында кез-келген ақпараттық жүйелер мен мәліметтер қоры
түріне ие болады.
– Түсінік негізіндегі білімдер – кейбір пәндік облыстың
түбегейлі ұғымдары, қосымша осы ұғымдардың өзара
байланыстарының жиынтығы болып табылады. Бұл ақпаратты ғылыми
білімге жатқызуға болады.
– конструктивті білімдер – адамзат өзінің іс - әрекет аясында
кездестіретін кез-келген объектілер бөліктерінің құрылысы және
өзара әрекеттесуі жайлы білімдер. Олар түсіндірмелі ақпаратпен
ерте енгізілген конструктивті терминдерде негізделеді.
– процедуралық білімдер – адамзат қолданатын және оларды
есептеуге үйренген кез-келген есептер үшін әдістер, модельдер
және программалар. Өндірістік саласында бұл ұйымдастыру
методтары және өндірістік процестерді іске асыру туралы
кәсіптік білім. Көбінесе, мұндай ақпарттар ғылыми – техникалық
тәжірибеде, медицинада (диагностика, консервативті және жедел
емдеудің әдістемесі), агротехникада және т. б. жинақталған.
Электронды есепту машинасы пайда болуымен олар модельдік пішімде
және программа түрінде жинақталып қолданысқа ене басталды.
Мәліметтермен салыстырғанда ақпарат айрықша келесі қасиеттермен
айқындалады:
– ішкі интерпретацияланатынымен, яғни ақпарат қорындағы білімді
тек сақтау ғана емес, қосымша сонымен қатар қолдануға мүмкіндік
беретін ақпараттық конструкциялар көрсетілген;
– құрылымдылығымен, яғни күрделі объектілерді қарапайымдыларына
бөлшектеу және объектілер арасындағы қарым-қатынасты орнату
орындалады;
– байланыстылығымен, яғни фактілерге, процестерге, құбылыстарға
тікелей байланысты заңдылықтар және олардың арасындағы
себеп–салдарлық байланыстар бейнеленеді;
– белсенділігімен, яғни ақпаратты мақсатты қолдану бағытын, нақты
бір есептерді шығарудың ақпараттық процестерін басқару қабілетін
қамтамассыз етеді.
Ақапарттың бұл қасиеттерінің түгелдерлігі жасанды интеллект жүйесін
прикладной есептер шығару барысында адам талқылауын алгоритмге салу
мүмкіндіктерімен қамтамассыз етуі керек. Білімді сұрыптау системаларында
мұндай әдісті шығару машинасы немесе шығару механизмі деп атайды. Жасанды
интеллект жүйесіндегі шығару механизмін құру әдістері ақпартты көрсету
тәсілдері және үлгіленетін сараптау түрлерімен анықталады. Жасанды
интеллект жүйесімен әрекеттесуді ұйымдастыру үшін онда пайдаланушымен
байланыс ортасы интеллектілік UI (user interface) болуы керек. Бұл
интерфейс ақпарат қоры мен шығару механизмінің жұмысын жасанды интеллект
жүйесі жататын қолданбалы пәндік облыс мамандарының тілдеріне жақын жоғарғы
деңгейлі тілді қамтамассыз етеді. Сонымен қатар UI (user interface)
пайдаланушының жүйемен қарым-қатынасын қолдайды [11]. Жасанды интеллект
жүйесіне тән маңызды мәселелердің бірі – ақпараты ұсыну. Ақпаратты ұсыну
мәселесі – нақты пәндік аясының өзара байланыстарын жасанды интеллект
жүйесіне түсінікті көрсету мәселесі. Ақпаратты ұсыну жүйесі – интеллектілік
системаларда ақпаратты сипаттау және сақтау құралдары мен методтарының
жиынтығы. Ақпаратты интеллектілік система жадында формальдау және ұсыну
арнайы жасалған білімдерді ұсыну алгоритмдері негізінде шешіледі. Қазіргі
таңда мұндай типтік алгоритмдер:
– логикалық алгоритмдер;
– өнімдік алгоритмдер;
– желілік алгоритмдер немесе семантикалық желілер;
– фреймдік алгоритмдер.
Логикалық алгоритмдер құруда қолданбалы есеп шығаруға қажетті
ақпарттар мен тұжырымдар қандай да бір логиканың формулалары ретінде
қарастырылады. Ақпараттар осындай бір формулалардың жиынтығы түрінде
сипатталады, ал жаңа білімдер алу формальды логикалық шығару әдісін жүзеге
асырумен анықталады. Ақпаратты ұсынудың формальды логикалық модельдері
негізінде
(1)
төрттігімен берілген формальдық теория жатыр, мұнда B – түбегейлі
символдардың санаулық жиыны, F – формулалар деп аталатын жиынтық, A –
шындық априори формулалардың ерекшеленген ішкі жиыны (аксиомалар), R –
формулалар арасындағы қатынастардың шектелген жиынтығы, шығару ережелері
деп аталады.
Өнімдік алгоритмдер - Егер - онда ережесіне сүйене отырып
құрылымданған ақпаратты ұсыну жүйесі. Жалпы жағдайда өнімдік ережені келесі
түрде беруге болады
(2)
мұнда i - өнімнің жеке нөмірі;
S – берілген құрылым қолданылуы мүмкін жағдайлар класстарының
сипаттамасы;
L - өнім активтенетін шарттар;
A*B - өнім ядросы, мысалы Егер A 1,A2, ... An , онда B , яғни A
1,A2, ... An шарттары шындық болғанда, B қимылын орындау қажет деген сөз;
Q – B-ны орындағаннан кейінгі операциялар мен қимылдарды анықтайды.
Семантикалық желі – ақпараттың белгіленіп бағдарланған граф түріндегі
ұсынылу әдісі. Оның төбелері ұғымға, оқиғағ, объектіге, әрекетке, жағдайға
немесе күрделі бір қарым-қатынастарға сәйкес келсе, доғалары қасиеттеріне
немесе қарапайым түрдегі қатынастарға сәйкес келеді.
Фреймдік алгоритмдер – фреймдер және олардың туындыларын қолдануға
негізделген алгоритмдер. Фрейм – біртұтас объекті туралы ақпаратты ұсыну
бірлігі, оны қандай да бір түсініктер мен қасиеттердің жиынтығымен
сипаттауға болады. Фрейм белгілі бір ішкі құрылыммен сипатталады, оның
құрылымдық элементтері slots деп аталады. Басқа алгоритмдерден өзгеше
фреймдік алгоритмдер қатаң құрылым, фрейм-прототип, бекітіледі. Жалпы
жағдайда фрейм келесі түрде анықталады:
(3)
мұнда F – фрейм аты; ri – слот аты; vi – слот мәні.
Сараптық жүйелер – жасанды интеллект методтары мен пайдаланушы
ұсынатын ақпарттар негізінде жағдайды апроксимациялауға, диагноз қоюға,
прогноз жасауға, шешімді өзгертуге, әрекетті таңдауға, ұсыныс беруге
қабілетті ақпаратты қамтитын программалық және алгоритмдік жабдықтардың
жүйесі. Көбінесе аз пәндік аймақта формальданбаған мәселелерді жоғары
тиімділікпен шығаруды қамтамассыз ету үшін сараптық ақпаратты қолданады.
Сараптық жүйелердің негізін Сараптық жүйені құру және қолданылу барысында
жинақталатын ақпараттар қоры құрайды. Сараптық жүйені құру және қолданылу
барысында қатысатын негізгі компоненттер төмендегі сызбада көрсетілген
[12].
Нақты сараптық системалар күрделі құрылымдардан тұруы мүмкіндігін
ескерген жөн, дегенмен 2-суретте көрсетелген компоненттер қазіргі таңда
сараптық жүйелер негізінде міндетті түрде әртүрлі нақты сараптық жүйеге
қатысады.
Сурет 2. Сараптық жүйенің жалпы құрылымы
Пайдаланушы – пәндік облыс маманы және сол үшін жүйе тағайындалған.
Көбінесе оның шеберлігі, білімі жеткілікті болмауы мүмкін, сондықтан ол өз
ісінде сараптық жүйе жағынан көмек және қолдауды қажет етеді.
Ақпарат инженері – сарапшы және білім базасы арасындағы аралық
көмекші рөлінде қызмет көрсететін жасанды интеллект маманы. Синонимдері:
когнитолог, аналитик, инженер – интерпретатор.
UI (пайдаланушының интерфейсі) – пайдаланушының сараптық системамен
ақпаратты енгізу, сол сияқты нәтиже алу дәрежесіндегі диалогын іске
асыратын программалар кешені.
Білім қоры (БҚ) – cараптық жүйе ядросы, машина тасуышына сарапшы және
пайдаланушыға (көбінесе, табиғатқа жақын кейбір тілдерде) түсінікті пішімде
жазылған пәндік аймақ білімдерінің жиынтығы. Мұндай “адамзаттық”
көрсетілімге қосымша параллель ішкі “машиналық” көрсетілімдегі білім қоры
бар.
Нәтиже шығару немесе шығару механизмі – сарапшының білім қорындағы бар
ақпаратқа негізделген ойлау нұсқасын үлгілейтін программа.
Түсініктемелер бағыныңқы системасы – бұл пайдаланушыға “Бұл немесе
басқа қосымша сипаттама қалай алынды?” және “Неліктен система осындай шешім
қабылдады?” деген көптеген сұрақтарға жауап алуға мүмкіндік беретін
программа [13].
Білім қоры редакторы – білім инженеріне ақпарат қорын диалогтық
режімде жасауға мүмкіндік беретін программа. Қабаттасқан мәзір жүйесінен,
білім беру тілдерінің нұсқаларынан, көмек сөздерінен (“help” - режімінде)
және базамен жұмысты жеңілдететін басқа да көмекші құралдардан тұрады.
Сараптық жүйе өңдейтін топқа кем дегенде 4 адам кіруі қажет:
– сарапшы;
– білім инженері;
– программалаушы;
– пайдаланушы.
Топты білім инженері басқарады және ол системаны өңдегенде ақпаратқа
негізделген негізгі тұлға.
3-суреттен көріп тұрғанымыздай сараптық жүйелер бүгінде көптеген
белгілер бойынша жіктеуге болатын бірнеше мыңдаған әртүрлі программалық
кешендерді біріктіреді. Келесі жіктеулер қажет болуы мүмкін
Сурет 3. Сараптық жүйелер
Шешудегі есеп бойынша жіктелу. Мәліметтерді интерпретациялау - бұл
сараптық жүйелер үшін күнделікті есептердің бірі. Интерпретация -
нәтижелері келісілген және дұрыс болуы қажет мәліметтердің мағынасының
анықтылығы. Әдетте мәліметтерді көп нұсқалы талдау қарастырылады.
Диагностика ұғымы кейбір системадағы түзелмейтіндікті табумен
түсіндіріледі. Түзелмейтіндік – бұл қалыптан ауытқу болып саналады. Мұндай
түсіндіру техникалық системадағы құралдардың түзетілмейтіндігін, тірі
организмдердің сырқаттарын, барлық дерлік мүмкін табиғи ауытқуларды
бірыңғай теориялық тұрғыдан қарастыруға мүмкіндік береді. Диагностикалайтын
системаның функционалды құрылымын (“анатомиясын”) түсіну қажеттілігі өте
маңызды ерекшелігі болып табылады.
Мониторингтің негізгі міндеті – ақпараттың уақыттың нақты масштабында
үзіліссіз талдау және сол немесе басқа да параметрлердің мүмкін болатын
шектерден шығуы туралы сигнал беру. Басты мәселелер – өте қауіпті деген
жағдайларды “өткізу” және “жалған” іске қосылудың инверстік мәселесі [14].
Бұл мәселелердің күрделілігі өте қауіпті жағдай себептерінің көмескілігі
және уақытша контексті есепке алу қажеттілігі.
Жобалау – алдын-ала анықталған қасиеттері бар “объектілерді” жасаудың
спецификациясын дайындау. Спецификация ұғымы сызба, түсіндірмелі жазулар
және тағы басқалар. Барлық керек құжаттардың жиынтығымен түсіндіріледі.
Мұндағы басты мәселе – объект жайлы ақпараттың анық құрылымдық бейнеленуі
және “із” мәселесі болып табылады. Тиімді жобалауды жасау және одан да
жоғары дәрежеде болатын жобалау үшін жобалау шешімін құру ғана емес,
сонымен қатар қосымша оларды қабылдау себептерін жасау қажет. Сонымен,
жобалау тапсырмаларында сәйкес сараптық жүйенің деңгейінде орындалатын 2
негізгі тығыз байланысқан процестер бар: шешуді шығару үрдісі және
түсіндіру үрдісі.
Болжау жүйелері берілген жағдайлардан жасалатын жорамал салдарды
логикалық есептейді.
Жоспарлау ұғымымен кейбір функцияларды орындауға шамасы бар
объектілерге қатысты іс - әрекеттердің жоспарын іздеп табу түсіндіріледі.
Мұндай сараптық жүйеде жоспарланған іс - әрекеттің салдарын логикалық
есептеу үшін нақты объектілердің мінез-құлық үлгілері қолданылады.
Білім беру жүйесі электронды есепеу машинасының көмегімен қандай да
бір пәнді зерттеу кезінде жіберген қателіктерді табады және дұрыс шешімді
ұсынады. Олар жорамалданған “оқушы” және оның ерекше қателері туралы
білімді жинақтайды, одан кейін жұмыста оқушылардағы ақпараттың әлсіз жағын
анықтауы мүмкін және оларды жою үшін сәйкес құралдар табады. Бұдан басқа,
олар оқушының қабілеттілігіне байланысты білім беру мақсатында оқушымен
қарым-қатынасты жоспарлайды.
Нақты уақытпен байланысы бойынша жіктелуі. Статикалық сараптық жүйе
білім қоры және интерпретацияланатын ақпарат уақыт бойынша өзгермейтін
пәндік аймақта құрылады. Олар бірқалыпты.
Квазидинамикалық сараптық жүйе – кейбір бекітілген уақыт аралығымен
өзгеретін жағдайды интерпретациялайды.
Динамикалық сараптық жүйе – объектілердің нақты уақыт режіміндегі
бергішімен ілесе, келіп түскен ақпаратты үздіксіз интерпретациялай жұмыс
істейді.
ЭЕМ типі бойынша жіктелуі. Бүгінгі таңда бар сараптық жүйе:
– супер ЭЕМ – дағы ерекше стратегиялық аса маңызды есептер үшін
СЖ (Эльбрус, CRAY, CONVEX және т. б.);
– орта өнімділікті ЭЕМ-дағы СЖ (ЕС ЭЕМ типті, mainframe);
– символдық процессор және жұмыс станциясындағы СЖ (SUN,
APOLLO);
– Мини- және супермини ЭЕМ-дағы СЖ (VAX, micro-VAX және т б.);
– Дербес компьютердегі СЖ (IBM PC, MAC II және т.б.).
Басқа программалармен интеграция деңгейі бойынша жіктелуі.
– Автономды сараптық жүйе - есептерді шешуде мәліметтерді
өңдеудің (үлгілеу, есептеу және т. б.) дәстүрлі әдістерін қажет
етпейтін “сараптық” спецификалық есептер үшін қолданушымен
кеңесу режімінде тікелей жұмыс істейді.
– Гибридті сараптық жүйе - қолданбалы программалардың
стандарттық дестелерін (мысалы, математикалық статистиканы,
сызықтық бағдарламалау немесе мәліметтер қорын басқару
жүйелерін) және білімдермен манипуляция жасайтын құралдарды
агрегациялайтын программалық кешен. Бұл ҚПД-нің үстіндегі
интеллектілік қондырма немесе ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
Ұқсас жұмыстар
Пәндер
- Іс жүргізу
- Автоматтандыру, Техника
- Алғашқы әскери дайындық
- Астрономия
- Ауыл шаруашылығы
- Банк ісі
- Бизнесті бағалау
- Биология
- Бухгалтерлік іс
- Валеология
- Ветеринария
- География
- Геология, Геофизика, Геодезия
- Дін
- Ет, сүт, шарап өнімдері
- Жалпы тарих
- Жер кадастрі, Жылжымайтын мүлік
- Журналистика
- Информатика
- Кеден ісі
- Маркетинг
- Математика, Геометрия
- Медицина
- Мемлекеттік басқару
- Менеджмент
- Мұнай, Газ
- Мұрағат ісі
- Мәдениеттану
- ОБЖ (Основы безопасности жизнедеятельности)
- Педагогика
- Полиграфия
- Психология
- Салық
- Саясаттану
- Сақтандыру
- Сертификаттау, стандарттау
- Социология, Демография
- Спорт
- Статистика
- Тілтану, Филология
- Тарихи тұлғалар
- Тау-кен ісі
- Транспорт
- Туризм
- Физика
- Философия
- Халықаралық қатынастар
- Химия
- Экология, Қоршаған ортаны қорғау
- Экономика
- Экономикалық география
- Электротехника
- Қазақстан тарихы
- Қаржы
- Құрылыс
- Құқық, Криминалистика
- Әдебиет
- Өнер, музыка
- Өнеркәсіп, Өндіріс
Қазақ тілінде жазылған рефераттар, курстық жұмыстар, дипломдық жұмыстар бойынша біздің қор #1 болып табылады.
Ақпарат
Қосымша
Email: info@stud.kz