Машиналық оқыту әдісімен әлеуметтік желілердің деректер анализаторын әзірлеу
ҚAЗAҚCТAН PЕCПУБЛИКACЫНЫҢ AУЫЛ ШAPУAШЫЛЫҒЫ МИНИCТPЛІГІ
C.Cейфуллин aтындaғы Қaзaқ aгpотехникaлық унивеpcитеті КеAҚ
Компьютеpлік жүйелеp және кәcіптік білім беpу фaкультеті
Бөлтірік Айдана Алмасқызы
МAгиCтеPлік диCCеPтAция тAқыPыбы:
Машиналық оқыту әдісімен әлеуметтік желілердің деректер анализаторын әзірлеу.
7M06101 - Ақпараттық жүйелер және IT салалары бойынша шешімдер
Мaгиcтp ғылыми дәpежеcін ұcынуғa apнaлғaн диccеpтaция
___________________________________ __
Ғылыми жетекші ф.м.-ғ.к., қауымдастырылған профессор м.а. Айтимова Ұ.Ж.
Астана - 2023ж
Мазмұны
Нормативті сілтемелер
Анықтамалар
Белгілер мен қысқартулар
Кіріспе
1
Пәндік аумақты зерттеу және есептің қойылымы
1.1
Әлеуметтік желілер және олардың деректерін жинау және өңдеу
1.3
Әлеуметтік желілердегі сентиментальдық талдаудың әдістері мен жіктелуі
1.4
Желілік анализаторды әзірлеу құралдарын негіздеу және есептің қойылымы
2
Деректер анализаторын жобалау және әзірлеу
2.1
Әлеуметтік желі контентінің көңіл-күйін автоматты талдау
2.2
Деректерд3
2.3
Анализаторды жобалау және әзірлеу
Пайдаланылған әдебиеттер
Қосымша
Нормативтік сілтемелер
Осы диссертациялық жұмыста келесі нормативтік сілтемелер қолданылды:
1. Қазақстан Республикасының Білім туралы - 27.07.2007-№319 ШЗ РК заңы.
2. Ағымды үлгерімін бақылауды, білім алушының аралық және қорытынды аттестациялауын жүргізу ережесі (ҚР БжҒМ 18.03.2008 ж №125 бұйрығы, өзгерістері және толықтырулары мен 1.11.2010 ж №560, 16.03.2011 ж №94 бұйрықтары)
3. ҚР Мемлекеттік жалпыға міндетті жоғары оқу орнынан кейінгі білім беру стандарты 5.04.033 - 2011. Магистратура.
4. ҚР БжҒМ министрлігінің 2009 жылы 28 мамырдағы №247бұйрығымен бекітілген ҚР бакалавриат және магистрант мамандықтарының жіктеуші мен жоғары білім беру мамандықтарының жіктеуішінің сәйкестік тізбегі.
5. Қазақстан Республикасы жоғары және жоғары оқу орнынан кейінгі білім мамандықтарының жіктеуші (01.09.2009 ж енгізілген).
Анықтамалар
Машиналық оқыту - бұл компьютерлердің тапсырмаларды орындау үшін тікелей бағдарламалаудың орнына деректер мен тәжірибеден қалай үйренуге болатынын зерттейтін жасанды интеллект саласы.
Әлеуметтік желілер - пайдаланушыларға профильдер жасауға, бір-бірімен байланысуға және өзара әрекеттесуге, мазмұнды, хабарламаларды, фотосуреттерді, бейнелерді және т. б. бөлісуге мүмкіндік беретін онлайн платформалар.
Деректерді талдау - бұл пайдалы ақпаратты алу және сол мәліметтер негізінде шешім қабылдау мақсатында деректерді зерттеу және түсіндіру процесі.
Jupiter Notebook - бұл кодты жасауға және орындауға, сондай-ақ оны мәтіндік форматта сипаттауға мүмкіндік беретін интерактивті бағдарламалау ортасы. Бұл деректерді зерттеуді ыңғайлы және жылдам жүргізуге, бағдарламалардың прототиптерін жасауға, есептеу эксперименттерін жасауға және деректерді талдау мен машиналық оқытуға қатысты басқа да тапсырмаларды орындауға мүмкіндік береді.
Bag of words - "Сөз қапшығы" моделі (words Bag of words) - табиғи тілді өңдеу (Natural Language Processing - NLP) есептерінде қолданылатын мәтіндік деректерді сандық векторлар түрінде ұсыну әдісі.
NLP-Табиғи тілді өңдеу (Natural Language Processing - NLP) - компьютерлерді адамдар сияқты табиғи тілді түсінуге, жасауға және өңдеуге үйрету. Ол үшін машиналық оқыту, статистикалық талдау, алдау, семантикалық талдау және басқалары сияқты әртүрлі әдістер қолданылады.
Сентиментальды талдау (Sentiment Analysis) - көңіл-күй талдауы автордың белгілі бір объектіге, оқиғаға, тұлғаға немесе тақырыпқа қатынасын анықтауға мүмкіндік беретін мәтіннің тоналдылығын талдау және бағалау әдісі. Бұл мәтіннің оң, теріс немесе бейтарап сипатын анықтауға мүмкіндік беретін NLP тапсырмаларының бірі.нтиментальды талдау
Белгілер мен қысқартулар
Sa Sentiment Analysis -көңіл-күйді талдау
OM Opinion Mining -пікір жинау
GARSA Government Apps-пікірлердегі көңіл-күй Анализаторы
SVM тірек векторлық машинасы
NB Naïve Bayes Ескерту-аңғал Байес
TFIDF Term Frequency Inverse Document Frequency-қысқа мерзімді жиілік құжаттың кері жиілігі
NLP тілінде өңдеу
Cl-Компьютерлік лингвистика
ML-Машиналық оқыту
SO -Semantic Orientation-семантикалық бағдар
IT-ақпараттық технологиялар
AKL Automated Knowledge-автоматтандырылған білім
UFL-LDA бірыңғай ұсақ түйіршікті LDA
FL-тәрізді тіл
ASP-жауаптар жиынтығын бағдарламалау
IG-ақпарат алу
MI - өзара ақпарат
DF-құжат жиілігі
DP-қосарланған тарату
IAC-жасырын аспектінің кеңестері
SWEM-веб-сайтты жетілдірудің интеллектуалды моделі
CNN-Конволюциялық нейрондық желі
API-
NLP-Табиғи тілді өңдеу (Natural Language Processing - NLP)
КІРІСПЕ
Машиналық оқыту жүйелерін құру бүгінгі таңда ақпараттық технологиялар, математикалық талдау және статистика саласындағы адам қызметінің ең танымал, өзекті және заманауи бағыттарының бірі болып табылады. Машиналық оқыту жасанды интеллект әдістері арқылы жасалған арнайы өнімдердің біздің өмірімізге тереңірек енуімен сипатталады. Машиналық оқыту әдісімен әлеуметтік желілердің деректер анализаторы интернеттегі әлеуметтік байланыстарды анықтау мен түсіндірудің тиімді жүйесі болып табылады. Әлеуметтік желіні талдау әлеуметтік құрылымдарды зерттеу процесі болып табылады Олар қарапайым орталық көрсеткіштерден, күрделі көп деңгейлі модельдеуге дейінгі бірқатар аналитикалық әдістерді қолдана отырып зерттеледі. Егер бұрын деректерді жинау көп күш пен уақытты қажет ететін міндет болса, бүгінде деректерді анализаторлау арқылы біршама жеңілдетілді. Бұл технологиялар біртіндеп адамның кәсіби қызметінің көптеген салаларында күнделікті тәртіптің бір бөлігіне айналып, одан әрі дамитыны анық.
Әлеуметтік желілер компания мен кәсіпкерлер үшін клиенттермен байланысуда бұрын-соңды болмаған мүмкіндіктер береді. Тұтынушыларға қызмет көрсету, өнімдердің жұмыс істеу принциптерін түсіндіру және т.б. үшін көптеген құралдарды ұсынатын көптеген әлеуметтік желілер бар болса да, әлеуметтік желілерде болу табысқа жетудің кепілі емес екенін түсіну маңызды. Ең тиімдісі стратегияларды анықтау үшін нәтижелерді тексеру және бақылау, сондықтан әлеуметтік деректерді талдау өте маңызды. Біз әлеуметтік желі пайдалаушылары әлеуетті екенін білеміз, өз кезегінде олар компания туралы өз пікірлерімен бөлісе алатындығымен белсенді. Оның ішінде белгілі бір өнім не болмаса бренд жайлы өз пікірлерімен бөлісуі.Осылайша кез келген кәсіпкер өз бизнесін дамыту және кірісін арттыру үшін әлеуметтік желіде бөлсетін өнімдеріне пайдаланушылардың реакциясы мен өнімге деген көз-қарасын талдауы керек.Нәтиежесінде компанияда ұсынған өнімдерінің пайдаланушы үлгілері анықталып өнімінің қаншалықты сәтті қабылданып және өтімділігін болжай алады. Әлеуметті желі контентін талдау қиын, өйткені қай әлеуметтік желіні алмайық бәрінде хэштег, эмодзилермен, спамдар қолданылады.Олардың артында жасырылған ақпаратты табу үшін мәтінді өңдеп, қажетсіз спамдардан тазалау қажет. Әлеуметтік желіні талдау арқылы белгілі бір компания немесе брендттердің өнімдері жайлы ақпараттар ала аламыз. Осы арқылы компаниялар болашақ тенденцияларды болжай алады, кірістерін көбейтіп бәсекелестерден артықшылыққа ие болады.
Бұрын сипатталған контекст шеңберінде бұл диссертациялық жұмыс компанияларға талдау жасауға мүмкіндік беретін сентиментті талдауды қарастырады. Нақты өнімдерге қатысты клиенттердің көңіл-күйін анықтауға арналған мазмұнды ұсынады, спамды тиімді анықтау және жою үшін спам-сүзгі модулінде бақылауы бар машиналық оқытудың оқытушымен әдісі қолданылады.
Пікірді талдау (Opinion mining) немесе мәтіннің сентиментальды талдауы (Sentiment Analysis) - бұл эмоционалды боялған лексиканы және авторлардың эмоционалды бағалауын автоматтандырылған түрде анықтауға және зерттеуге арналған компьютерлік лингвистика саласы. Бұл ғылыми бағыт осы ғасырдың басында пайда болды және әр түрлі салаларда көптеген практикалық қолдануларға байланысты біртіндеп дами бастады ,мысалы, бағаны талдау [1], бренд мониторингі [2], нарықты болжау [3] және т.б. сентиментальды талдау мәтіннен берілген объектіге қатысты автордың пікірін, бағасын, оның эмоционалды күйін алуға мүмкіндікі береді. Қазіргі уақытта әлеуметтік желілердегі әртүрлі өнімдер мен қызметтерге, интернет-дүкендердің және ресурстардың танымалдылығының артуы осы бір сентиментальды талдаудың аясында қолданылады.
Зерттеу тақырыбының өзектілігі және мәселелері: Әлеуметтік желілер қарапайым адамдардың күнделікті өмірінде басты рөл атқарады. Атап айтқанда жасалатын жұмыста, істелетін бизнесте осы әлеуметтік желінің аясында іске асырлады. Сондықтан өнім өндіретін компаниялар бұл мүмкіндікті құр жібермей әлеуметтік желілерді әлеуетті клиенттерге назар аударту арқылы пайдалануға тырысады. Бизнес компанияның желіде өзекті болуы, клиенттің назарын аударатын контент жасау арқылы жүзеге асырылады. Сонымен қатар, өнімдер туралы өз пікірлерін қалдыратын адамдардың түрлерін білу, болашақ бизнес - жоспарларды анықтаудың артықшылығына айналуы мүмкін. Мысалы, пайдаланушылардың белгілі бір топтары үшін қандай өнімдер тартымды болуы мүмкін екенін болжау немесе қайсысы нашар екенін анықтау. Талдауды жақсарту үшін көңіл-күй анализаторын қолдану бүгінгі таңда өзекті мәселе болып табылады.
Диссертация тақырыбына қатысты Әлеуметтік желілер, машиналық оқыту, сентиментальды анализ сынды тақырыптарға үлес қосқан ғалымдар да айтарлықтай баршылық олар: Алишер Абдыгаппаров-Назарбаев университетінің информатика кафедрасының профессоры. Ол машиналық оқыту, деректерді талдау, жасанды интеллект, сондай-ақ осы технологияларды қаржы, денсаулық сақтау және көлік сияқты әртүрлі салаларда қолдану саласындағы зерттеулермен айналысады.Сейткерим Нурмагамбетов, Абдикеев Нурбулат, Султанов Алишер, Уразаев Алексей, Жумабаев Руслан, Кулмырзаев, Н.С. MACHINE LEARNING - болашақ технологиясы
Сондай-ақ шетелдің ғалымдарының жұмыстары арналған:
Arulmurugan, R., Sabarmathi, K., & Anandakumar, Alpaydin, E. (2010). Introduction to Machine Learning. The MIT Press., Ashok, M., Rajanna, S., Joshi, P. V., & Kamath, S. (2016). A personalized recommender system using machine learning based sentiment analysis over social data. 2016 IEEE Students' Conference on Electrical, Electronics and Computer Science (SCEECS), Liu, B., & Zhang, L. (2012). A survey of opinion mining and sentiment analysis. In Mining text data, Mahalakshmi, S., & Sivasankar, E. , McCallum, A., & Nigam, Лысенко В. Д., Андреева А. Н. Сентимент-анализ брендов в российской блогосфере как инструмент маркетинговых исследований, Котельников Е. В. ,Клековкина М. В., Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean.
Зерттеу нысаны: Әлеуметтік желілер деректері
Зерттеу пәні: Машиналық оқыту: әдістері жәнетехнологиялары
Зерттеудің мақсаты - Instagram әлеуметтік желісінің деректеріне көңіл-күй анализаторын әзірлеу
Зерттеу міндеттері:
oo пәндік аумақты зерттеу және есептің қойылымы;
oo анализаторды жобалауда қолданылатын машиналық оқыту алгоритмдерін негіздеу;
oo сентиментальды талдау әдістері және оларды желі деректерін талдауда қолдану;
oo бағдарламалық қамтамада анализаторды іске асыру және тестілеу.
Зерттеу әдістері: Диссертациялық жұмысты жазу барысында теориялық және эмприкалық әдістер қолданылды. Атап айтқанда, құрылымдық жүйелік талдау, салыстыру және сараптау, модельдеу, жүйелеу, қорыту және тестілеу әдістері.
Зерттеудің теориялық маңыздылығы: Сентиментальдық талдау немесе көңіл-күй талдауы, журнал басылымдарында, әлеуметтік желілердегі түсініктемелерде (комментарий), немесе сайт беттерінде жасалған өнімдер туралы пікірлерді жинау және зерттеу жүйесін құруды қамтиды. Сентиментальды талдау бұл желі пайдаланушыларының қалауларын автоматты түрде анықтау және олардың сол қалауларын оң, теріс немесе бейтарапты бағдар бойынша жіктеу. Деректердің сентименты мен классын,нақты айтқанда деректердің жақсы немесе жаман екенін анықтауда біршама маңызды мәселелер туындайды. Кез-келген деректің, ақпараттың, мағлұматтың сентиментальды талдауы, оның ішінде берілген ақпарат көздерін қазақ тілінде табу қазіргі таңда күрделі мәселе болып табылады.
Зерттеудің практикалық маңыздылығы: Магистірлік диссертацияны жазу барысында әлеуметтік желілердің деректер анализаторының практикалық маңыздылығына: компаниялардың нишасын анықтау, жақсы өтімді тауарды анықтау, уақыт үнемділігі.
Жұмыстың апробациясы:Диссертациялық зерттеудің негізгі нәтижелері келесі конференцияларда баяндалып, талқыланды:
- "Сейфуллин оқулары - 18: " Жастар және ғылым - болашаққа көзқарас" атты халықаралық ғылыми-практикалық конференциясы 1 том, IV-бөлімінде Әлеуметтік желілерді талдаудың негізгі бағыттары және әдістері атты мақала басылымға шықты.
-Ресейлік СибАК ғылыми баспасының "студенческий" ғылыми журналының 4 басылымында Әлеуметтік желілердегі сентиментальдық талдаудың әдістері мен жіктелуі ғылыми мақала басылымға шықты
Диссертацияның көлемі және құрылымы. Диссертациялық жұмыс ғылыми зерттеу құрылым логикасына сәйкес келеді және кіріспеден, екі тараудан, қорытынды мен пайдаланылған әдебиеттер тізімі мен қосымшалардан тұрады. Жұмыс суреттер, сызбалар мен кестелер түрінде назар аудару компьютерлік мүмкіндіктерін қолдану арқылы 97бетте басып шығару тәсілімен орындалған.
Кіріспеде ғылыми зерттеу аппараты ұсынылған, тақырып өзектілігі, оның теорияда және тәжірибеде қолданылу аясы, мақсаты, обьектісі, зерттеу мәні мен міндеттері анықталған, ғылыми жаңалығы, жұмыстың теориялық жіне тәжірибелік маңызы ашылады, қорғауға шығарылатын ережелер, автордың жеке үлесі, жариялымдар тізімі мен жұмыс нәтижелерінің апробациясы ұсынылған.
Бірінші бөлімде күн энергиясын қолдану негіздері қарастырылады, ерекшеліктері мен артықшылықтары егжей-тегжейлі сипатталған. Күн энергиясы және оны алу туралы ақпараттар. Күн энергиясын ең бірінші кімдер қолданды, қай жерлерде қолданды және қай салада қолданатыны жайында сипатталады. Күн энергиясын алатын құрылғы күн коллекторларының құрылымы корсетіледі. Ауылшарушылық қалдықтарын қайта өңдеп, өндірісте қолдану қарастырылады. Жалпы қалдықтарды қайта өңдеу зауыттары қай жерлерде қолданылымда екені көрсетіледі.
Екінші бөлімде виртуалды-динамикалық жүйе қолданыстары қай салада, кімдер қолданынып жатқаны баяндалмақ. Жалпы виртуалды-динамикалық жүйе не үшін керек екені, оның моделдері. Виртуалды-динамикалық жүйенің моделі және осы модель арқылы кірпіш жасау технологиясы. Үш өлшемді обьектілерді құру тәсілі, моделдеу деңгейі. 3Ds Max-та оқылатын көрініс алу үшін үш өлшемді сценаны визуализация жасау керек. Сонымен қатар обьектілердің физикалық қасиеті мен жарықтандырылуы ескерілуі қажет. Программада жұмыстың қорытындысында геометриялық обьектілердің нақты жиынынан тұратын үш өлшемді болып келетін статистикалық сценалар жасалады.
3D Max ортасында жасалған программаның архитектурасын сипаттау көрсетіледі.
Қорытындыда зерттеу нәтижелері жалпыланған, қорғауға шығарылатын ережелердің шынайылығын растайтын және дәлелдейтін, негізгі қорытындылар қалыптастырылған.Теориялық және практикалық зерттеу нәтижелері сараланып, тиісті ой-тұжырымдар мен осы мәселені шешудің тиімді жолдары ұсынылды.
Қосымшада зерттеудің тәжірибелік материалдары ұсынылған.
1 Пәндік аумақты зерттеу және есептің қойылымы
1.1 Әлеуметтік желілер және олардың деректерін жинау және өңдеу
Қазіргі таңда компьютерлік технологияның қарқынды дамуына байланысты адамдар өзара виртуалды байланысады. Мұндай форматты байланыстағы ақпаратты талдау, заманауи зерттеушілердің қызығушылығын тудыруда.
Әлеуметтік желілерді зерттеу: желіге қатысушылар арасындағы өзара байланысты, олардың мінез-құлықтарын болжау, жіктеу, желідегі ақпараттар тасқынын модельдеу үшін қолданылады.
Қазіргі таңда әлеуметтік желілерді талдаудың негізгі 4 бағытын атап өтуге болады: құрылымдық, ресурстық, нормативті және динамикалық [1].
Құрылымдық бағытта желінің барлық қатысушылары графтың төбелері ретінде қарастырылады.Олар желінің жалпы конфигурациясына және желінің басқа қатысушыларына әсер етеді. Мұнда желінің геометриялық формасы мен өзара әрекеттесу қарқындылығына баса назар аударылады. Сондықтан да төбелердің өзара орналасуы, орталықтандыру, әрекеттесудің транзитивтілігі сияқты мінездеуіштер зерттеледі. Нәтижелерді интерпретациялау үшін бұл бағытта құрылымдық теория мен желілік алмасу теориясы қолданылады.
Ресурстық бағытта қатысушылардың белгілі бір мақсатқа жетуі үшін жеке және желілік ресурсты тарту мүмкіндіктері қарастырылады және ресурстарына қарай әлеуметтік желінің бірдей құрылымдық позициялы қатысушылары ажыратылады. Жеке ресурстар ретінде білім, бедел, байлық, нәсіл, жыныс алынуы мүмкін. Ал желілік ресурс ретінде ықпал, статус, ақпарат және капитал алынады.
Нормативтік бағыт қатысушылар арасындағы сенім арту деңгейін, сондай-ақ әлеуметтік желіге қатысушылардың мінез-құлқына және олардың өзара әрекеттесу процестеріне әсер ететін нормалар, ережелер мен санкцияларды зерттейді. Бұл жағдайда желінің берілген қабырғасымен байланысты әлеуметтік рөлдер талданады, мысалы, басшы мен қызметкер арасындағы достық немесе туыстық қарым қатынас. Қатысушының жеке және желілік ресурстарының осы әлеуметтік желідегі, қолданыстағы нормалар мен ережелермен үйлесуі оның желілік капиталын құрайды.
Динамикалық бағыт әлеуметтік желілердегі уақыттың өтуіне байланысты болатын өзгерістерді зерттейді. Яғни қандай себептермен белгілі бір бұрышы жоғалады не пайда болады, желінің құрылымы сыртқы әсерлерден қалай өзгереді және т.б.
Әлеуметтік желілердегі байланыстардың әрекетін құрылымдық талдау және байланыс күйлерін талдау желінің ең маңызды төбелерін, байланыстарын, қауымдастықтарын және дамушы аймақтарын анықтау үшін қажет. Мұндай талдау желінің жаһандық эволюциялық тәртібін шолуға мүмкіндік береді. Құрылымдық талдауда және қатынастардың мінез-құлқын талдауда статистикалық талдау әдістері, қауымдастықтарды анықтау әдістері, жіктеу алгоритмдері қолданылады[2].
Әлеуметтік желіні статистикалық талдауда қарапайым әлеуметтік желілер , олардың төбелері арасындағы байланыс, желіні кеңейту мәселелері қарастырылады. Кластеризациялаудағы төбелердің мінез-құлқы талданады.
Әлеуметтік желілердегі қауымдастықтарды анықтау. Бұл мәселе әлеуметтік желілерді талдаудағы маңызды мәселе болып табылады. Мақсаты қатысушылардың белсенді әрекеттесуі болып жатқан желі аймағын анықтау. Есепті графтарды жіктеу есебіне жатқызуға болады. Төбелер арасындағы байланыстардың мінездеуіштері негізінде желіні тығыз аймақтарға бөлеміз. Әлеуметтік желілер динамикалық, сондықтан да онда қауымдастықтарды анықтау қиындық тудырады. Кейбір жағдайларда желі мазмұнын қауымдастықты анықтау процесіне біріктіруге болады. Мұнда контент қызығушылықтары ұқсас қатысушылар топтарын анықтауға арналған көмекші құрал болып табылады.
Әлеуметтік желі мазмұнын талдаудың 4 түрін бөліп көрсетуге болады[3]:
* Кез келген типті деректері бар жалпы ақпаратты талдау;
* Мәтінді талдау;
* Мультимедианы талдау;
* Сенсорлық және ағындық талдау.
Әлеуметтік желілерді талдау барысында көптеген мәселелердің шешіліп, әртүрлі білім салаларындағы әдістер қолданылады.
Әлеуметтік желілерді талдау әдістерінің ішінде негізгілері: графтар теориясының әдістері, атап айтқанда желі қатысушысының құрылымдық байланыстарын зерттеу үшін қолданылатын бағытталған графиктер мен оларды көрсететін матрицаларды зерттеу; қатысушылардың жергілікті қасиеттерін табу әдістері, мысалы, орталықтылық, ықпал ету, ұстаным, белгілі бір топтарға мүшелік; қатысушылардың баламалығын, оның ішінде олардың құрылымдық баламалығын анықтау әдістері; блок модельдері мен рөлдік алгебралар; диадалар мен триадаларды талдау; ықтималдық модельдері, соның ішінде Марков процестерінің үлгілері болып табылады. Зерттеліп отырған жұмыста бұл әдістер жан-жақты қарастырылады.
Әлеуметтік желілер қазіргі таңдағы ең көп қолданысқа ие интернет ресурстарының бірі болып табылады. comScore зерттеу компаниясының мәліметтері бойынша әлемнің Интернет қолданушыларының 85% әлеуметтік желіліерді пайдаланады. Ғалымдардың бірқатарының пікірі бойынша 21 ғасырдың білім парадигмасы үш ірі фундаменталды проблемадан тұрады:
-үзіліссіздік;
-көпшілік;
-сапа.
Дәл осы технологиялық инновациялар көпшілік және үзіліссіз білімді жаңаша ұйымдастыруға мүмкіндік берді. Осы бағытта ерекше ғылыми маңыздылықты профессионалды үзіліссіз дайындықөзіндік дайындық атқарады, ол өз кезегінде ақпараттық мәдениеттің өзіндік сана-сезімі мен өзіндік қалыптасуының дамуының жаңа сатысымен қамтамасыз етеді.
Ғалымдар мен педагогтар компьютерлік оқыту технологиясын тұрғызудың ғылыми-негізделген және тиімді механизмдерін жасауда алғашқы қадамға енді барған болса да, ақпараттық қызметтер нарығында билікке жету үшін бәсеке толыққанды жүруде. Осы бағытта оқытуды қолдайтын жаңа функцияларды іске асыру бойынша сұрақтар қарастырылуда, үзіліссіз түрде жаңа әлеуметтік сервистер енгізілуде, қашықтықтан оқыту мазмұнының психологиялық қамтамасының үлгілері жасалуда, ИКТ негізінде оқытудың конвергенциясы жүргізілуде.
Әлеуметтік желілер қоғамдық құбылыс ретінде ертеректе пайда болған. Соңғы онжылдықта әлеуметтік желілер барлығымыздың күнделікті өмірімізге айтарлықтай сіңісіп кетті, тіпті айырылмас бір бөлігіне айналды. Қазіргі кезде барлығының белгілі бір әлеуметтік желіде өз парақшасы бар; ең танымал әлеуметтік желілер (Instagram-2 миллиард пайланушысы бар,Facebook - 1,8 миллард пайдаланушысы бар, Вконтакте - 140 миллион пайдаланушысы бар) қазіргі кезде өз пайдаланушыларына бір бірімен араласу, жаңалықтармен бөлісу, қызықтыратын бағыттағы қауымдастықтарға қосылу, музыка тындау және видео қарау, сілтемелермен бөлісу сияқты және т.б. мүмкіндіктермен қамтамасыз етуде.
Жалпылай алғанда онлайндық желілерде қазіргі кезде орын алған жағдайды мынадай тезистермен сипаттауға болады:
* әлеуметтік желі пайдаланушыларының арасындағы өзара іс-әрекеттер саны мен қарқыны өте үлкен жылдамдықпен артуда;
* пайдаланушылар желіде өздерінен соң көптеген ақпараттық іздер қалдыруда (бұл іздер айқын емес болуы мүмкін);
* ... жалғасы
C.Cейфуллин aтындaғы Қaзaқ aгpотехникaлық унивеpcитеті КеAҚ
Компьютеpлік жүйелеp және кәcіптік білім беpу фaкультеті
Бөлтірік Айдана Алмасқызы
МAгиCтеPлік диCCеPтAция тAқыPыбы:
Машиналық оқыту әдісімен әлеуметтік желілердің деректер анализаторын әзірлеу.
7M06101 - Ақпараттық жүйелер және IT салалары бойынша шешімдер
Мaгиcтp ғылыми дәpежеcін ұcынуғa apнaлғaн диccеpтaция
___________________________________ __
Ғылыми жетекші ф.м.-ғ.к., қауымдастырылған профессор м.а. Айтимова Ұ.Ж.
Астана - 2023ж
Мазмұны
Нормативті сілтемелер
Анықтамалар
Белгілер мен қысқартулар
Кіріспе
1
Пәндік аумақты зерттеу және есептің қойылымы
1.1
Әлеуметтік желілер және олардың деректерін жинау және өңдеу
1.3
Әлеуметтік желілердегі сентиментальдық талдаудың әдістері мен жіктелуі
1.4
Желілік анализаторды әзірлеу құралдарын негіздеу және есептің қойылымы
2
Деректер анализаторын жобалау және әзірлеу
2.1
Әлеуметтік желі контентінің көңіл-күйін автоматты талдау
2.2
Деректерд3
2.3
Анализаторды жобалау және әзірлеу
Пайдаланылған әдебиеттер
Қосымша
Нормативтік сілтемелер
Осы диссертациялық жұмыста келесі нормативтік сілтемелер қолданылды:
1. Қазақстан Республикасының Білім туралы - 27.07.2007-№319 ШЗ РК заңы.
2. Ағымды үлгерімін бақылауды, білім алушының аралық және қорытынды аттестациялауын жүргізу ережесі (ҚР БжҒМ 18.03.2008 ж №125 бұйрығы, өзгерістері және толықтырулары мен 1.11.2010 ж №560, 16.03.2011 ж №94 бұйрықтары)
3. ҚР Мемлекеттік жалпыға міндетті жоғары оқу орнынан кейінгі білім беру стандарты 5.04.033 - 2011. Магистратура.
4. ҚР БжҒМ министрлігінің 2009 жылы 28 мамырдағы №247бұйрығымен бекітілген ҚР бакалавриат және магистрант мамандықтарының жіктеуші мен жоғары білім беру мамандықтарының жіктеуішінің сәйкестік тізбегі.
5. Қазақстан Республикасы жоғары және жоғары оқу орнынан кейінгі білім мамандықтарының жіктеуші (01.09.2009 ж енгізілген).
Анықтамалар
Машиналық оқыту - бұл компьютерлердің тапсырмаларды орындау үшін тікелей бағдарламалаудың орнына деректер мен тәжірибеден қалай үйренуге болатынын зерттейтін жасанды интеллект саласы.
Әлеуметтік желілер - пайдаланушыларға профильдер жасауға, бір-бірімен байланысуға және өзара әрекеттесуге, мазмұнды, хабарламаларды, фотосуреттерді, бейнелерді және т. б. бөлісуге мүмкіндік беретін онлайн платформалар.
Деректерді талдау - бұл пайдалы ақпаратты алу және сол мәліметтер негізінде шешім қабылдау мақсатында деректерді зерттеу және түсіндіру процесі.
Jupiter Notebook - бұл кодты жасауға және орындауға, сондай-ақ оны мәтіндік форматта сипаттауға мүмкіндік беретін интерактивті бағдарламалау ортасы. Бұл деректерді зерттеуді ыңғайлы және жылдам жүргізуге, бағдарламалардың прототиптерін жасауға, есептеу эксперименттерін жасауға және деректерді талдау мен машиналық оқытуға қатысты басқа да тапсырмаларды орындауға мүмкіндік береді.
Bag of words - "Сөз қапшығы" моделі (words Bag of words) - табиғи тілді өңдеу (Natural Language Processing - NLP) есептерінде қолданылатын мәтіндік деректерді сандық векторлар түрінде ұсыну әдісі.
NLP-Табиғи тілді өңдеу (Natural Language Processing - NLP) - компьютерлерді адамдар сияқты табиғи тілді түсінуге, жасауға және өңдеуге үйрету. Ол үшін машиналық оқыту, статистикалық талдау, алдау, семантикалық талдау және басқалары сияқты әртүрлі әдістер қолданылады.
Сентиментальды талдау (Sentiment Analysis) - көңіл-күй талдауы автордың белгілі бір объектіге, оқиғаға, тұлғаға немесе тақырыпқа қатынасын анықтауға мүмкіндік беретін мәтіннің тоналдылығын талдау және бағалау әдісі. Бұл мәтіннің оң, теріс немесе бейтарап сипатын анықтауға мүмкіндік беретін NLP тапсырмаларының бірі.нтиментальды талдау
Белгілер мен қысқартулар
Sa Sentiment Analysis -көңіл-күйді талдау
OM Opinion Mining -пікір жинау
GARSA Government Apps-пікірлердегі көңіл-күй Анализаторы
SVM тірек векторлық машинасы
NB Naïve Bayes Ескерту-аңғал Байес
TFIDF Term Frequency Inverse Document Frequency-қысқа мерзімді жиілік құжаттың кері жиілігі
NLP тілінде өңдеу
Cl-Компьютерлік лингвистика
ML-Машиналық оқыту
SO -Semantic Orientation-семантикалық бағдар
IT-ақпараттық технологиялар
AKL Automated Knowledge-автоматтандырылған білім
UFL-LDA бірыңғай ұсақ түйіршікті LDA
FL-тәрізді тіл
ASP-жауаптар жиынтығын бағдарламалау
IG-ақпарат алу
MI - өзара ақпарат
DF-құжат жиілігі
DP-қосарланған тарату
IAC-жасырын аспектінің кеңестері
SWEM-веб-сайтты жетілдірудің интеллектуалды моделі
CNN-Конволюциялық нейрондық желі
API-
NLP-Табиғи тілді өңдеу (Natural Language Processing - NLP)
КІРІСПЕ
Машиналық оқыту жүйелерін құру бүгінгі таңда ақпараттық технологиялар, математикалық талдау және статистика саласындағы адам қызметінің ең танымал, өзекті және заманауи бағыттарының бірі болып табылады. Машиналық оқыту жасанды интеллект әдістері арқылы жасалған арнайы өнімдердің біздің өмірімізге тереңірек енуімен сипатталады. Машиналық оқыту әдісімен әлеуметтік желілердің деректер анализаторы интернеттегі әлеуметтік байланыстарды анықтау мен түсіндірудің тиімді жүйесі болып табылады. Әлеуметтік желіні талдау әлеуметтік құрылымдарды зерттеу процесі болып табылады Олар қарапайым орталық көрсеткіштерден, күрделі көп деңгейлі модельдеуге дейінгі бірқатар аналитикалық әдістерді қолдана отырып зерттеледі. Егер бұрын деректерді жинау көп күш пен уақытты қажет ететін міндет болса, бүгінде деректерді анализаторлау арқылы біршама жеңілдетілді. Бұл технологиялар біртіндеп адамның кәсіби қызметінің көптеген салаларында күнделікті тәртіптің бір бөлігіне айналып, одан әрі дамитыны анық.
Әлеуметтік желілер компания мен кәсіпкерлер үшін клиенттермен байланысуда бұрын-соңды болмаған мүмкіндіктер береді. Тұтынушыларға қызмет көрсету, өнімдердің жұмыс істеу принциптерін түсіндіру және т.б. үшін көптеген құралдарды ұсынатын көптеген әлеуметтік желілер бар болса да, әлеуметтік желілерде болу табысқа жетудің кепілі емес екенін түсіну маңызды. Ең тиімдісі стратегияларды анықтау үшін нәтижелерді тексеру және бақылау, сондықтан әлеуметтік деректерді талдау өте маңызды. Біз әлеуметтік желі пайдалаушылары әлеуетті екенін білеміз, өз кезегінде олар компания туралы өз пікірлерімен бөлісе алатындығымен белсенді. Оның ішінде белгілі бір өнім не болмаса бренд жайлы өз пікірлерімен бөлісуі.Осылайша кез келген кәсіпкер өз бизнесін дамыту және кірісін арттыру үшін әлеуметтік желіде бөлсетін өнімдеріне пайдаланушылардың реакциясы мен өнімге деген көз-қарасын талдауы керек.Нәтиежесінде компанияда ұсынған өнімдерінің пайдаланушы үлгілері анықталып өнімінің қаншалықты сәтті қабылданып және өтімділігін болжай алады. Әлеуметті желі контентін талдау қиын, өйткені қай әлеуметтік желіні алмайық бәрінде хэштег, эмодзилермен, спамдар қолданылады.Олардың артында жасырылған ақпаратты табу үшін мәтінді өңдеп, қажетсіз спамдардан тазалау қажет. Әлеуметтік желіні талдау арқылы белгілі бір компания немесе брендттердің өнімдері жайлы ақпараттар ала аламыз. Осы арқылы компаниялар болашақ тенденцияларды болжай алады, кірістерін көбейтіп бәсекелестерден артықшылыққа ие болады.
Бұрын сипатталған контекст шеңберінде бұл диссертациялық жұмыс компанияларға талдау жасауға мүмкіндік беретін сентиментті талдауды қарастырады. Нақты өнімдерге қатысты клиенттердің көңіл-күйін анықтауға арналған мазмұнды ұсынады, спамды тиімді анықтау және жою үшін спам-сүзгі модулінде бақылауы бар машиналық оқытудың оқытушымен әдісі қолданылады.
Пікірді талдау (Opinion mining) немесе мәтіннің сентиментальды талдауы (Sentiment Analysis) - бұл эмоционалды боялған лексиканы және авторлардың эмоционалды бағалауын автоматтандырылған түрде анықтауға және зерттеуге арналған компьютерлік лингвистика саласы. Бұл ғылыми бағыт осы ғасырдың басында пайда болды және әр түрлі салаларда көптеген практикалық қолдануларға байланысты біртіндеп дами бастады ,мысалы, бағаны талдау [1], бренд мониторингі [2], нарықты болжау [3] және т.б. сентиментальды талдау мәтіннен берілген объектіге қатысты автордың пікірін, бағасын, оның эмоционалды күйін алуға мүмкіндікі береді. Қазіргі уақытта әлеуметтік желілердегі әртүрлі өнімдер мен қызметтерге, интернет-дүкендердің және ресурстардың танымалдылығының артуы осы бір сентиментальды талдаудың аясында қолданылады.
Зерттеу тақырыбының өзектілігі және мәселелері: Әлеуметтік желілер қарапайым адамдардың күнделікті өмірінде басты рөл атқарады. Атап айтқанда жасалатын жұмыста, істелетін бизнесте осы әлеуметтік желінің аясында іске асырлады. Сондықтан өнім өндіретін компаниялар бұл мүмкіндікті құр жібермей әлеуметтік желілерді әлеуетті клиенттерге назар аударту арқылы пайдалануға тырысады. Бизнес компанияның желіде өзекті болуы, клиенттің назарын аударатын контент жасау арқылы жүзеге асырылады. Сонымен қатар, өнімдер туралы өз пікірлерін қалдыратын адамдардың түрлерін білу, болашақ бизнес - жоспарларды анықтаудың артықшылығына айналуы мүмкін. Мысалы, пайдаланушылардың белгілі бір топтары үшін қандай өнімдер тартымды болуы мүмкін екенін болжау немесе қайсысы нашар екенін анықтау. Талдауды жақсарту үшін көңіл-күй анализаторын қолдану бүгінгі таңда өзекті мәселе болып табылады.
Диссертация тақырыбына қатысты Әлеуметтік желілер, машиналық оқыту, сентиментальды анализ сынды тақырыптарға үлес қосқан ғалымдар да айтарлықтай баршылық олар: Алишер Абдыгаппаров-Назарбаев университетінің информатика кафедрасының профессоры. Ол машиналық оқыту, деректерді талдау, жасанды интеллект, сондай-ақ осы технологияларды қаржы, денсаулық сақтау және көлік сияқты әртүрлі салаларда қолдану саласындағы зерттеулермен айналысады.Сейткерим Нурмагамбетов, Абдикеев Нурбулат, Султанов Алишер, Уразаев Алексей, Жумабаев Руслан, Кулмырзаев, Н.С. MACHINE LEARNING - болашақ технологиясы
Сондай-ақ шетелдің ғалымдарының жұмыстары арналған:
Arulmurugan, R., Sabarmathi, K., & Anandakumar, Alpaydin, E. (2010). Introduction to Machine Learning. The MIT Press., Ashok, M., Rajanna, S., Joshi, P. V., & Kamath, S. (2016). A personalized recommender system using machine learning based sentiment analysis over social data. 2016 IEEE Students' Conference on Electrical, Electronics and Computer Science (SCEECS), Liu, B., & Zhang, L. (2012). A survey of opinion mining and sentiment analysis. In Mining text data, Mahalakshmi, S., & Sivasankar, E. , McCallum, A., & Nigam, Лысенко В. Д., Андреева А. Н. Сентимент-анализ брендов в российской блогосфере как инструмент маркетинговых исследований, Котельников Е. В. ,Клековкина М. В., Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean.
Зерттеу нысаны: Әлеуметтік желілер деректері
Зерттеу пәні: Машиналық оқыту: әдістері жәнетехнологиялары
Зерттеудің мақсаты - Instagram әлеуметтік желісінің деректеріне көңіл-күй анализаторын әзірлеу
Зерттеу міндеттері:
oo пәндік аумақты зерттеу және есептің қойылымы;
oo анализаторды жобалауда қолданылатын машиналық оқыту алгоритмдерін негіздеу;
oo сентиментальды талдау әдістері және оларды желі деректерін талдауда қолдану;
oo бағдарламалық қамтамада анализаторды іске асыру және тестілеу.
Зерттеу әдістері: Диссертациялық жұмысты жазу барысында теориялық және эмприкалық әдістер қолданылды. Атап айтқанда, құрылымдық жүйелік талдау, салыстыру және сараптау, модельдеу, жүйелеу, қорыту және тестілеу әдістері.
Зерттеудің теориялық маңыздылығы: Сентиментальдық талдау немесе көңіл-күй талдауы, журнал басылымдарында, әлеуметтік желілердегі түсініктемелерде (комментарий), немесе сайт беттерінде жасалған өнімдер туралы пікірлерді жинау және зерттеу жүйесін құруды қамтиды. Сентиментальды талдау бұл желі пайдаланушыларының қалауларын автоматты түрде анықтау және олардың сол қалауларын оң, теріс немесе бейтарапты бағдар бойынша жіктеу. Деректердің сентименты мен классын,нақты айтқанда деректердің жақсы немесе жаман екенін анықтауда біршама маңызды мәселелер туындайды. Кез-келген деректің, ақпараттың, мағлұматтың сентиментальды талдауы, оның ішінде берілген ақпарат көздерін қазақ тілінде табу қазіргі таңда күрделі мәселе болып табылады.
Зерттеудің практикалық маңыздылығы: Магистірлік диссертацияны жазу барысында әлеуметтік желілердің деректер анализаторының практикалық маңыздылығына: компаниялардың нишасын анықтау, жақсы өтімді тауарды анықтау, уақыт үнемділігі.
Жұмыстың апробациясы:Диссертациялық зерттеудің негізгі нәтижелері келесі конференцияларда баяндалып, талқыланды:
- "Сейфуллин оқулары - 18: " Жастар және ғылым - болашаққа көзқарас" атты халықаралық ғылыми-практикалық конференциясы 1 том, IV-бөлімінде Әлеуметтік желілерді талдаудың негізгі бағыттары және әдістері атты мақала басылымға шықты.
-Ресейлік СибАК ғылыми баспасының "студенческий" ғылыми журналының 4 басылымында Әлеуметтік желілердегі сентиментальдық талдаудың әдістері мен жіктелуі ғылыми мақала басылымға шықты
Диссертацияның көлемі және құрылымы. Диссертациялық жұмыс ғылыми зерттеу құрылым логикасына сәйкес келеді және кіріспеден, екі тараудан, қорытынды мен пайдаланылған әдебиеттер тізімі мен қосымшалардан тұрады. Жұмыс суреттер, сызбалар мен кестелер түрінде назар аудару компьютерлік мүмкіндіктерін қолдану арқылы 97бетте басып шығару тәсілімен орындалған.
Кіріспеде ғылыми зерттеу аппараты ұсынылған, тақырып өзектілігі, оның теорияда және тәжірибеде қолданылу аясы, мақсаты, обьектісі, зерттеу мәні мен міндеттері анықталған, ғылыми жаңалығы, жұмыстың теориялық жіне тәжірибелік маңызы ашылады, қорғауға шығарылатын ережелер, автордың жеке үлесі, жариялымдар тізімі мен жұмыс нәтижелерінің апробациясы ұсынылған.
Бірінші бөлімде күн энергиясын қолдану негіздері қарастырылады, ерекшеліктері мен артықшылықтары егжей-тегжейлі сипатталған. Күн энергиясы және оны алу туралы ақпараттар. Күн энергиясын ең бірінші кімдер қолданды, қай жерлерде қолданды және қай салада қолданатыны жайында сипатталады. Күн энергиясын алатын құрылғы күн коллекторларының құрылымы корсетіледі. Ауылшарушылық қалдықтарын қайта өңдеп, өндірісте қолдану қарастырылады. Жалпы қалдықтарды қайта өңдеу зауыттары қай жерлерде қолданылымда екені көрсетіледі.
Екінші бөлімде виртуалды-динамикалық жүйе қолданыстары қай салада, кімдер қолданынып жатқаны баяндалмақ. Жалпы виртуалды-динамикалық жүйе не үшін керек екені, оның моделдері. Виртуалды-динамикалық жүйенің моделі және осы модель арқылы кірпіш жасау технологиясы. Үш өлшемді обьектілерді құру тәсілі, моделдеу деңгейі. 3Ds Max-та оқылатын көрініс алу үшін үш өлшемді сценаны визуализация жасау керек. Сонымен қатар обьектілердің физикалық қасиеті мен жарықтандырылуы ескерілуі қажет. Программада жұмыстың қорытындысында геометриялық обьектілердің нақты жиынынан тұратын үш өлшемді болып келетін статистикалық сценалар жасалады.
3D Max ортасында жасалған программаның архитектурасын сипаттау көрсетіледі.
Қорытындыда зерттеу нәтижелері жалпыланған, қорғауға шығарылатын ережелердің шынайылығын растайтын және дәлелдейтін, негізгі қорытындылар қалыптастырылған.Теориялық және практикалық зерттеу нәтижелері сараланып, тиісті ой-тұжырымдар мен осы мәселені шешудің тиімді жолдары ұсынылды.
Қосымшада зерттеудің тәжірибелік материалдары ұсынылған.
1 Пәндік аумақты зерттеу және есептің қойылымы
1.1 Әлеуметтік желілер және олардың деректерін жинау және өңдеу
Қазіргі таңда компьютерлік технологияның қарқынды дамуына байланысты адамдар өзара виртуалды байланысады. Мұндай форматты байланыстағы ақпаратты талдау, заманауи зерттеушілердің қызығушылығын тудыруда.
Әлеуметтік желілерді зерттеу: желіге қатысушылар арасындағы өзара байланысты, олардың мінез-құлықтарын болжау, жіктеу, желідегі ақпараттар тасқынын модельдеу үшін қолданылады.
Қазіргі таңда әлеуметтік желілерді талдаудың негізгі 4 бағытын атап өтуге болады: құрылымдық, ресурстық, нормативті және динамикалық [1].
Құрылымдық бағытта желінің барлық қатысушылары графтың төбелері ретінде қарастырылады.Олар желінің жалпы конфигурациясына және желінің басқа қатысушыларына әсер етеді. Мұнда желінің геометриялық формасы мен өзара әрекеттесу қарқындылығына баса назар аударылады. Сондықтан да төбелердің өзара орналасуы, орталықтандыру, әрекеттесудің транзитивтілігі сияқты мінездеуіштер зерттеледі. Нәтижелерді интерпретациялау үшін бұл бағытта құрылымдық теория мен желілік алмасу теориясы қолданылады.
Ресурстық бағытта қатысушылардың белгілі бір мақсатқа жетуі үшін жеке және желілік ресурсты тарту мүмкіндіктері қарастырылады және ресурстарына қарай әлеуметтік желінің бірдей құрылымдық позициялы қатысушылары ажыратылады. Жеке ресурстар ретінде білім, бедел, байлық, нәсіл, жыныс алынуы мүмкін. Ал желілік ресурс ретінде ықпал, статус, ақпарат және капитал алынады.
Нормативтік бағыт қатысушылар арасындағы сенім арту деңгейін, сондай-ақ әлеуметтік желіге қатысушылардың мінез-құлқына және олардың өзара әрекеттесу процестеріне әсер ететін нормалар, ережелер мен санкцияларды зерттейді. Бұл жағдайда желінің берілген қабырғасымен байланысты әлеуметтік рөлдер талданады, мысалы, басшы мен қызметкер арасындағы достық немесе туыстық қарым қатынас. Қатысушының жеке және желілік ресурстарының осы әлеуметтік желідегі, қолданыстағы нормалар мен ережелермен үйлесуі оның желілік капиталын құрайды.
Динамикалық бағыт әлеуметтік желілердегі уақыттың өтуіне байланысты болатын өзгерістерді зерттейді. Яғни қандай себептермен белгілі бір бұрышы жоғалады не пайда болады, желінің құрылымы сыртқы әсерлерден қалай өзгереді және т.б.
Әлеуметтік желілердегі байланыстардың әрекетін құрылымдық талдау және байланыс күйлерін талдау желінің ең маңызды төбелерін, байланыстарын, қауымдастықтарын және дамушы аймақтарын анықтау үшін қажет. Мұндай талдау желінің жаһандық эволюциялық тәртібін шолуға мүмкіндік береді. Құрылымдық талдауда және қатынастардың мінез-құлқын талдауда статистикалық талдау әдістері, қауымдастықтарды анықтау әдістері, жіктеу алгоритмдері қолданылады[2].
Әлеуметтік желіні статистикалық талдауда қарапайым әлеуметтік желілер , олардың төбелері арасындағы байланыс, желіні кеңейту мәселелері қарастырылады. Кластеризациялаудағы төбелердің мінез-құлқы талданады.
Әлеуметтік желілердегі қауымдастықтарды анықтау. Бұл мәселе әлеуметтік желілерді талдаудағы маңызды мәселе болып табылады. Мақсаты қатысушылардың белсенді әрекеттесуі болып жатқан желі аймағын анықтау. Есепті графтарды жіктеу есебіне жатқызуға болады. Төбелер арасындағы байланыстардың мінездеуіштері негізінде желіні тығыз аймақтарға бөлеміз. Әлеуметтік желілер динамикалық, сондықтан да онда қауымдастықтарды анықтау қиындық тудырады. Кейбір жағдайларда желі мазмұнын қауымдастықты анықтау процесіне біріктіруге болады. Мұнда контент қызығушылықтары ұқсас қатысушылар топтарын анықтауға арналған көмекші құрал болып табылады.
Әлеуметтік желі мазмұнын талдаудың 4 түрін бөліп көрсетуге болады[3]:
* Кез келген типті деректері бар жалпы ақпаратты талдау;
* Мәтінді талдау;
* Мультимедианы талдау;
* Сенсорлық және ағындық талдау.
Әлеуметтік желілерді талдау барысында көптеген мәселелердің шешіліп, әртүрлі білім салаларындағы әдістер қолданылады.
Әлеуметтік желілерді талдау әдістерінің ішінде негізгілері: графтар теориясының әдістері, атап айтқанда желі қатысушысының құрылымдық байланыстарын зерттеу үшін қолданылатын бағытталған графиктер мен оларды көрсететін матрицаларды зерттеу; қатысушылардың жергілікті қасиеттерін табу әдістері, мысалы, орталықтылық, ықпал ету, ұстаным, белгілі бір топтарға мүшелік; қатысушылардың баламалығын, оның ішінде олардың құрылымдық баламалығын анықтау әдістері; блок модельдері мен рөлдік алгебралар; диадалар мен триадаларды талдау; ықтималдық модельдері, соның ішінде Марков процестерінің үлгілері болып табылады. Зерттеліп отырған жұмыста бұл әдістер жан-жақты қарастырылады.
Әлеуметтік желілер қазіргі таңдағы ең көп қолданысқа ие интернет ресурстарының бірі болып табылады. comScore зерттеу компаниясының мәліметтері бойынша әлемнің Интернет қолданушыларының 85% әлеуметтік желіліерді пайдаланады. Ғалымдардың бірқатарының пікірі бойынша 21 ғасырдың білім парадигмасы үш ірі фундаменталды проблемадан тұрады:
-үзіліссіздік;
-көпшілік;
-сапа.
Дәл осы технологиялық инновациялар көпшілік және үзіліссіз білімді жаңаша ұйымдастыруға мүмкіндік берді. Осы бағытта ерекше ғылыми маңыздылықты профессионалды үзіліссіз дайындықөзіндік дайындық атқарады, ол өз кезегінде ақпараттық мәдениеттің өзіндік сана-сезімі мен өзіндік қалыптасуының дамуының жаңа сатысымен қамтамасыз етеді.
Ғалымдар мен педагогтар компьютерлік оқыту технологиясын тұрғызудың ғылыми-негізделген және тиімді механизмдерін жасауда алғашқы қадамға енді барған болса да, ақпараттық қызметтер нарығында билікке жету үшін бәсеке толыққанды жүруде. Осы бағытта оқытуды қолдайтын жаңа функцияларды іске асыру бойынша сұрақтар қарастырылуда, үзіліссіз түрде жаңа әлеуметтік сервистер енгізілуде, қашықтықтан оқыту мазмұнының психологиялық қамтамасының үлгілері жасалуда, ИКТ негізінде оқытудың конвергенциясы жүргізілуде.
Әлеуметтік желілер қоғамдық құбылыс ретінде ертеректе пайда болған. Соңғы онжылдықта әлеуметтік желілер барлығымыздың күнделікті өмірімізге айтарлықтай сіңісіп кетті, тіпті айырылмас бір бөлігіне айналды. Қазіргі кезде барлығының белгілі бір әлеуметтік желіде өз парақшасы бар; ең танымал әлеуметтік желілер (Instagram-2 миллиард пайланушысы бар,Facebook - 1,8 миллард пайдаланушысы бар, Вконтакте - 140 миллион пайдаланушысы бар) қазіргі кезде өз пайдаланушыларына бір бірімен араласу, жаңалықтармен бөлісу, қызықтыратын бағыттағы қауымдастықтарға қосылу, музыка тындау және видео қарау, сілтемелермен бөлісу сияқты және т.б. мүмкіндіктермен қамтамасыз етуде.
Жалпылай алғанда онлайндық желілерде қазіргі кезде орын алған жағдайды мынадай тезистермен сипаттауға болады:
* әлеуметтік желі пайдаланушыларының арасындағы өзара іс-әрекеттер саны мен қарқыны өте үлкен жылдамдықпен артуда;
* пайдаланушылар желіде өздерінен соң көптеген ақпараттық іздер қалдыруда (бұл іздер айқын емес болуы мүмкін);
* ... жалғасы
Ұқсас жұмыстар
Пәндер
- Іс жүргізу
- Автоматтандыру, Техника
- Алғашқы әскери дайындық
- Астрономия
- Ауыл шаруашылығы
- Банк ісі
- Бизнесті бағалау
- Биология
- Бухгалтерлік іс
- Валеология
- Ветеринария
- География
- Геология, Геофизика, Геодезия
- Дін
- Ет, сүт, шарап өнімдері
- Жалпы тарих
- Жер кадастрі, Жылжымайтын мүлік
- Журналистика
- Информатика
- Кеден ісі
- Маркетинг
- Математика, Геометрия
- Медицина
- Мемлекеттік басқару
- Менеджмент
- Мұнай, Газ
- Мұрағат ісі
- Мәдениеттану
- ОБЖ (Основы безопасности жизнедеятельности)
- Педагогика
- Полиграфия
- Психология
- Салық
- Саясаттану
- Сақтандыру
- Сертификаттау, стандарттау
- Социология, Демография
- Спорт
- Статистика
- Тілтану, Филология
- Тарихи тұлғалар
- Тау-кен ісі
- Транспорт
- Туризм
- Физика
- Философия
- Халықаралық қатынастар
- Химия
- Экология, Қоршаған ортаны қорғау
- Экономика
- Экономикалық география
- Электротехника
- Қазақстан тарихы
- Қаржы
- Құрылыс
- Құқық, Криминалистика
- Әдебиет
- Өнер, музыка
- Өнеркәсіп, Өндіріс
Қазақ тілінде жазылған рефераттар, курстық жұмыстар, дипломдық жұмыстар бойынша біздің қор #1 болып табылады.
Ақпарат
Қосымша
Email: info@stud.kz