Кәсіпорын деректері

Жұмыс түрі: Материал
Тегін: Антиплагиат
Көлемі: 12 бет
Таңдаулыға:

ҚАЗАҚСТАН РЕСПУБЛИКАСЫ БІЛІМ ЖӘНЕ ҒЫЛЫМ МИНИСТРЛІГІ
ҚАЗАҚСТАН ИНЖЕНЕРЛІК-ТЕХНОЛОГИЯЛЫҚ УНИВЕРСИТЕТІ

Махамбетова Жазира Ерсалатовна

ДИПЛОМДЫҚ ЖҰМЫС

Тақырыбы: Үлкен мәліметтерге негізделген машиналық оқыту әдістерінің салыстырмалы талдауы

Мамандық 6В06102 - Есептеу техникасы және бағдарламамен қамтамасыз ету

Алматы, 2022
Қазақстан Республикасы білім және ғылым министрлігі
Қазақстан инженерлік-технологиялық университеті

Кафедра: Есептеу техникасы, автоматтандыру және телекоммуникациялар

Қорғауға жіберіледі
Кафедра меңгерушісі
Бектемесов А.Т.
____________ 2022 ж.
_____________________

ДИПЛОМДЫҚ ЖҰМЫС

Тақырыбы: Үлкен мәліметтерге негізделген машиналық оқыту әдістерінің салыстырмалы талдауы

Мамандық 6В06102 - Есептеу техникасы және бағдарламамен қамтамасыз ету

Орындаған: Махамбетова Ж.Е.
Жоба жетекшісі: Бектемесов А.Т.

Алматы, 2022

Есептеу техникасы, автоматтандыру және телекоммуникациялар кафедрасы
6В06102 - Есептеу техникасы және бағдарламамен қамтамасыз ету мамандығы
дипломдық жобаға

ТАПСЫРМА
студент Махамбетова Жазира Ерсалатовна

Жұмыстың тақырыбы: Үлкен мәліметтерге негізделген машиналық оқыту әдістерінің салыстырмалы талдауы

ректордың бұйрығымен бекітіледі № 2022 ж.

Аяқталған жұмыстың соңғы мерзімі 2022 ж.

Жұмыстың бастапқы деректері:
1) ақпараттық қамтамасыз ету;
2) Бағдарламалық қамтамасыз ету;
3) Техникалық құралдар.

Дипломдық жұмыста әзірленетін сұрақтар тізімі немесе дипломдық жұмыстың қысқаша мазмұны:

1) Кіріспе, әдебиеттік шолу (тақырыптың өзектілігі, жаңалығы мен практикалық маңызы, зерттеу мақсаты мен міндеттері, әдеби дереккөздерге аналитикалық шолу)
2) Негізгі бөлім, техникалық бөлім (объектілер, әдістер, оларды зерттеу нәтижелері)
3) Денсаулық және қауіпсіздік (зертханалық еңбекті қорғау, қоршаған ортаны қорғау)
4) Қорытынды.

Графикалық материалдар тізімі (кесте слайдтары, графиктер және т.б.):
1) Контентті басқару жүйелерінің сипаттамаларын салыстыру
2) UML қолдану жағдайларының диаграммасы
3) Авторизация терезесінің прототипі
4) MVC қолданбасының өмірлік циклін сұрау
5) XCMS класс диаграммасы

Ұсынылатын оқулықтар:

Жұмыс бөлімдерін көрсете отырып, жұмыс бойынша кеңестер:
Бөлім
Консультант
Уақыты
Қолы
Кіріспе
Профессор
Бектемесов А.Т.
27.01.2018
01.02.2018

Негізгі бөлімі, техникалық бөлімі
Профессор
Бектемесов А.Т.
03.02.2018
29.03.2018

Еңбекті қорғау және қауіпсіздік

Профессор
Бектемесов А.Т.
31.03.2018
05.04.2018

Қорытынды, әдебиеттер тізімі
Профессор
Бектемесов А.Т.
07.04.2018
19.04.2018

Дипломдық жұмыс кестесі
рс
Бөлімдердің атауы, әзірленетін мәселелер тізімі

Жетекшіге тексерту уақытысы
Ескерту

Кіріспе
27.01.2018
01.02.2018

Негізгі бөлімі, техникалық бөлімі
03.02.2018
29.03.2018

Еңбекті қорғау және қауіпсіздік

31.03.2018
05.04.2018

Қорытынды, әдебиеттер тізімі
07.04.2018
19.04.2018

Тапсырманың берілген күні _ 2022жг.

Кафедра меңгерушісі Бектемесов А.Т.
қолы Т.А.Ә

Жоба жетекшісі Бектемесов А.Т.
қолы Т.А.Ә

Нормаконтроль Демеубаева Л.К.
қолы Т.А.Ә

Тапсырманы орындауға қабылдаған
студент Махамбетова Ж.Е.
қолы Т.А.Ә

Аңдатпа

Аннотация
Большие данные долгое время были предметом увлечения энтузиастов компьютерных наук во всем мире. И приобрела еще большую известность в последнее время благодаря непрерывному взрыву данных, полученных в результате социальных сетей и стремления технологических гигантов получить доступ к более глубокий анализ. В этой статье обсуждаются различные инструменты технологии больших данных, и проводится сравнение между ними. Различные инструменты, а именно Sqoop, Apache Flume, Apache Kafka, Hive, Для эксперимента используются различные наборы данных. Проводится сравнительное исследование, чтобы выяснить, какой инструмент работает быстрее и эффективнее по сравнению с другим, и объясняет причину этого.

Annotation

МАЗМҰНЫ
Кіріспе
1. Негізгі бөлім. Үлкен деректерді сақтау және өңдеу технологияларына шолу
0.1 Big Date технологиясы
0.2 Apache Hadoop
0.3 Mapreduce
0.4

Кіріспе
Адамзат өзінің дамуында материалдық, энергетикалық, аспаптық және ақпараттық ресурстарды пайдаланады. Өткен, қазіргі және мүмкін болашақ оқиғалары туралы ақпарат болып жатқанды талдау үшін үлкен қызығушылық тудырады. Ежелгі адамдар айтқандай: Praemonitus praemunitus - алдын ала ескертілген қарулы.
Қоғамның заманауи дамуы өнеркәсіпте, саудада, қаржы нарықтарында ақпарат ағындарының бұрын-соңды болмаған өсуімен сипатталады. Қоғамның ақпаратты сақтау және жылдам өңдеу мүмкіндігі жалпы алғанда елдің мемлекеттілігінің даму деңгейін анықтайды.
Қазіргі қоғамда ақпаратты жинау, сақтау және өңдеу мәселесіне үлкен көңіл бөлінеді. Дегенмен, қазіргі уақытта айқын қайшылық бар. Бір жағынан, адамзат өркениеті ақпараттық жарылысты бастан кешіруде, ақпарат көлемі жыл сайын бірнеше есе артып келеді. Екінші жағынан, қоғамдағы ақпараттың қазіргі көлемінің өсуі жеке адамның оны игеру қабілетінен асып түседі. Мұндай проблемалардың болуы технологиялардың, техникалық құралдардың және коммуникацияның жаппай дамуын бастайды.
Қазіргі әлемдегі ақпараттың аса маңызды рөлі ақпараттың энергия, қаржылық, шикізат сияқты маңызды және қажетті өз ресурсы ретінде анықталуына әкелді.
Қоғамның ақпаратты жинау, сақтау және өңдеудегі сұранысы тауар ретіндегі қызметтердің жаңа түрін - ақпараттық технологиялар нарығын тудырды.
Ақпараттық технологияларды барынша толық және толық пайдалану үшін ақпаратты жинау, өңдеу, сақтау және жинақтау орындарын құру, тасымалдау жүйелері мен қолжетімділікті шектеу жүйелерін құру, ең соңында ақпаратты жүйелеу қажет. Соңғы мәселе соңғы кездері өте өзекті болып отыр, өйткені ғаламдық сақтау массивтеріне түсетін ақпараттың үлкен, тіпті орасан мөлшері оны жүйелендірусіз ақпараттың құлдырауына әкелуі мүмкін, ал дұрыс ақпаратқа қол жеткізу немесе іздеу дұрыс ақпаратты іздеуге әкелуі мүмкін.
Дипломдық жұмыстың мақсаты: Үлкен мәліметтерге негізделген машиналық оқыту әдістерінің салыстырмалы талдау.
Сондай-ақ үлкен мәліметтерді талдаудың негізгі мәселесі - үлкен мәліметтердің негізделген машиналық оқыту әдістері туралы мәселе көтеріліп, оны шешу бойынша ұсыныстар беріледі. Бұл жұмыстың өзектілігі үлкен көлемдегі мәліметтерді өңдеудің оңтайлы әдістерін анықтау және ең қысқа мерзімде деректерді жүйелеу мәселелерін шешудің өзекті қажеттілігімен түсіндіріледі. үлкен мәліметтердің негізделген машиналық оқыту әдістерін талдау арқылы алынған мәліметтердің кең практикалық қолданылуы осы зерттеудің өзектілігін анықтайды. Ақпараттық технологиялардың заманауи дамуындағы осындай мәселелердің кейбір аспектілері менің дипломдық жұмысымның тақырыбы болып табылады.

1. Big Data технологиясы

Ақпараттық технологиялардың адам қызметінің барлық салаларына енгізілуіне байланысты, деректер қоймасында тіркелген мәліметтер көлемі үнемі өсіп келеді. Бұл дегеніміз, ақпаратты сақтау құралдары бірдей қарқынмен өзгеруі керек және оның көлемін арттырудың жаңа мүмкіндіктері пайда болуы керек. Бүгінгі таңда ақпараттың негізгі ағымын адамдар емес, бір-бірімен тұрақты байланыста болатын роботтар жасайды. Олар деректер көлемінің өсу қарқынын белгілейді, бұл өндіріс серверлерінің санын көбейту, жаңа деректерді сақтау орталықтарын (деректер орталықтарын) кеңейту және енгізу қажеттілігін тудырады.
Үлкен деректер (Big Data) ұғымы салыстырмалы. Дәстүрлі түрде, Big Data дегеніміз - көлемі жағынан бір дербес компьютердің қатты дискісінен асатын ақпарат жиынтығы, оны кішігірім көлемде қолданылатын классикалық құралдармен өңдеуге болмайды.
Үлкен деректер (Big data) - адам қабылдаған нәтижелерге қол жеткізу үшін үлкен көлемдегі және маңызды әртүрліліктің құрылымдық және құрылымданбаған деректерін өңдеу технологиясы.
Big Data технологиялары - үлкен көлемдегі және айтарлықтай алуан түрлі құрылымдық және құрылымдалмаған деректерді өңдеуге арналған тәсілдер, құралдар мен әдістер сериясы. Бұл технологиялар үздіксіз өсу, ақпаратты компьютерлік желінің көптеген түйіндеріне тарату жағдайында тиімді адам қабылдайтын нәтижелерді алу үшін қолданылады. Олар 2000 жылдардың соңында дәстүрлі деректер қорының басқару жүйелеріне балама ретінде қалыптасты. Қазіргі уақытта ұйымдарға арналған ең ірі ақпараттық технологиялар жеткізушілерінің көпшілігі өздерінің бизнес стратегияларында үлкен деректер тұжырымдамасын пайдаланады, ал ақпараттық технологиялар нарығының негізгі талдаушылары тұжырымдамаға арнайы зерттеулерді арнайды.
Қазіргі уақытта көптеген компаниялар технологияның дамуын мұқият бақылайды. McKinsey компаниясының Жаһандық институт, үлкен деректер: инновация, бәсекелестік және өнімділіктің келесі шекарасы есептеріне сәйкес деректер еңбек және капитал ресурстарымен қатар өндірістің маңызды факторына айналды. Үлкен деректерді пайдалану компаниялардың бәсекелестік өсу мен артықшылығының негізіне айналуда.
Қазіргі жағдайда ұйымдар мен компаниялар құрылымданбаған деректердің үлкен көлемін жасайды: мәтіндер, әртүрлі құжаттар, суреттер, бейнелер, машина кодтары, кестелер және т.б. Бұл ақпараттың барлығы көбінесе ұйымнан тыс бірнеше деректер сақталатын орындарда орналастырылады және сақталады.
Ұйымдар өздерінің деректерінің үлкен массивіне қол жеткізе алады, бірақ сонымен бірге оларда осы деректердің арасында байланыс орнату және олардың негізінде маңызды қорытындылар жасау шынайы болатын қажетті құралдар болмауы мүмкін. Деректердің жылдам және үздіксіз өсуін ескере отырып, талдаудың дәстүрлі әдістерінен Big Data технологиясының неғұрлым озық технологияларына көшу шұғыл қажет болады.
Сипаттамалары. Заманауи дереккөздерде Big Data түсінігі терабайт ретімен көлемдік деректер ретінде анықталады. Үлкен деректердің белгілерін үш V ретінде анықтауға болады: volume - көлем; variety - біртектілік, жиынтық; velocity - жылдамдық (өте жылдам өңдеуді қажет етеді).

Сурет 1.1 Үлкен деректердің белгілері

Көлемі. Технологияның қарқынды дамуы және әлеуметтік желілердің танымал болуы деректер көлемінің өте жылдам өсуіне ықпал етеді. Адамдар да, машиналар да жасаған бұл деректер әртүрлі орындарда және форматтарда үлкен көлемде таратылады.
Жылдамдық. Бұл мүмкіндік деректерді генерациялау жылдамдығы. Қажетті деректерді мүмкіндігінше қысқа мерзімде алу шешім әзірлеушілері үшін маңызды бәсекелестік артықшылық болып табылады, сонымен қатар әртүрлі қолданбаларда әртүрлі кешігу талаптары бар.
Әртүрлілік. Әртүрлілікті әртүрлі деректерді сақтау пішіміне жатқызуға болады. Бүгінгі таңда әлемде құрылымдалмаған деректердің айтарлықтай көлемі ... жалғасы

Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.