Үлкен деректер және оның маңызы

Dr. Aziza SYZDYKOVA

Үлкен Деректер

Мазмұны

Үлкен деректердің компоненттері

Үлкен деректер деген не

Президент жолдауында;

инновациялық және сервистік секторды дамытуға үлкен көңіл бөлу қажет.

Президент жолдауындағы 7 инновациялық термин

«Егер мұны қазір қолға алмасақ, 10 жылдаң соң дамыған елдердің шаңын жұтамыз» !

БАЛАМА ЭНЕРГЕТИКА

ЖАҢА МАТЕРИАЛДАР

БИОМЕДИЦИНА

ҮЛКЕН ДЕРЕКТЕР

ЖАСАНДЫ ИНТЕЛЛЕКТ

ЗАТТАР ИНТЕРНЕТІ

БЛОКЧЕЙН

БАЛАМА ЭНЕРГЕТИКА

Энергияның бұл түрі көмір, газ немесе мұнай сияқты энергия көздері сияқты кең өріс алмаса да, экологияға зиян тигізбей олардың орнын алмастыра алуымен ерекшеленеді. Балама энергия күннен, желден, толқыннан және геотермиялық көздерден алынатын қуат түрі. Қазіргі таңда дамыған елдер бұл қуат көзін энергия деп қана қарастырмайды. Себебі балама энергия экономикалық дамудың да көрсеткіші. Мысалы, күн сәулесінің қуатын қолданатын мемлекеттер (Қытай, Германия, Жапония) индустриалды елдердің көшін бастап тұр. Энергетика саласындағы нарықты қалыптастыру да солардың қолында.

ЖАҢА МАТЕРИАЛДАР

Жаңа материалдар қатарына көмірпластиктер, шыныпластиктер, жоғары технологиялы керамикалар, құрылыс жұмыстары мен жол төсемін жақсартатын материалдар кіреді. Оларды қолдану аясы да кең - медицинадан ғарышқа дейін. Әлемдік сарапшылардың алдағы 20 жылға жасаған болжамдары бойынша, қарапайым материалдардың 90%-ы жаңаға ауысып, ол өз кезегінде технология саласындағы революцияға алып келеді.

БИОМЕДИЦИНА

Биомедицина - медицина және биология ғылымдары тоғысқан сала. Осылайша, биология ғыламдарында жасалып жатқан зерттеулер мен технологиялар медицина саласындағы проблемаларды шешуге бағытталады. Биомедицинаның негізінде науқастың диагнозын ерте анықтауға, тұқым қуалайтын аурулардың алдын алуға, биология мен нанотехнологиялар саласындағы жетістіктердің көмегімен жаңа дәрі-дәрмектерді шығаруға, сондай-ақ ген инженериясының әдістерін қолдануға болады.

ЗАТТАР ИНТЕРНЕТІ

Қарапайым тілмен айтатын болсақ, заттар интернеті - бірнеше заттың өзара біріккен желісі. Ал зат кез келген нәрсе болуы мүмкін: тоңазытқыш, жиһаз, үтік немесе аяқ қиім. Бұл аталғандардың бәрі жиналған деректерге сәйкес адамның көмегінсіз өзара «байланысқа» түсе алатын болады. Мысалы, Сіздің жұмыстан қарныңыз ашып келе жатса, көлігіңіз үйдегі заттарға ол жайлы хабар береді. Осылайша Сіз үйге келгенде кешкі асыңыз дайын тұрады.

Үлкен деректер, басқаша айтқанда Big Data түсінігі жиі жаңартылатын, әрі әр түрлі дереккөзде орналасқан көлемі үлкен, форматы әр алуан ақпаратпен жұмыс жасауды меңзейді.

Жасанды интеллект - түрлі компьютерлік бағдарламалардың көмегімен жүйелі ойлау мен әрекет ету мүмкіндігін зерттейтін ғылым. Ол психология, нейрофизиология, трансгуманизм салаларымен тығыз байланысты.

Блокчейн - ақпаратты сақтау құрылғысы ортақ серверге қосылмаған деректер қоры.

Осыдан 10 жыл бұрын компьютерге арналған дисктердің көлемі 4, 7 Гб-ты құрған. Ал қазіргі таңда күнделікті қолданатын Facebook секілді әлеуметтік желінің өзі жарты миллиард терабайт ақпаратты өңдейді.

Дүние жүзінде ақпараттық деректердің саны жыл сайын 20 пайызға көбейіп отырады. Бүгінде сол сақталған ақпараттар бір жарым зеттабайтқа (ақпараттың өлшем бірлігі) тең.

Егер сақталған ақпараттарды кітапқа түсіретін болса және ол кітапты қатарынан қойса АҚШ аумағын бес рет айналып шығуға болады.

Осыған байланысты оларды сақтау, сұрыптау басты мәселеге айналған.

Деректерді сақтау, сұрыптау басты мәселе

«Үлкен деректер» ұғымы

Үлкен деректер (ағылш. bigdata) - құрылымдалмаған және ішінара құрылымдалған өте үлкен көлемдегі деректерді сипаттау үшін пайдаланылатын жалпы термин. Аталмыш термин 2000-жылдардың соңына таман деректер базасын басқарудағы тәстүрлі жүйелерге және Business Intelligence класс шешімдеріне балама ретінде қалыптасты.

Big data - технологиялық инновациялар нәтижесінде пайда болған үлкен ақпараттар ауқымын өңдей алатын бағдарламалық құралдар. Оған ұзақ жылдар бойы сақталған ұялы байланыс абоненттерінің мәліметтері, іздеу жүйелеріндегі сауалдар тізбегі, әлеуметтік желілердегі белсенділік, тіпті қоғамдық орындардағы бейнебақылау камераларында жазылған материалдар және т. б. ақпараттар кіреді.

Үлкен деректер тек сандар мен әріптерден құралмайды. Оның ауқымы кең. Соның ішіне: әлеуметтік желілер, блогтар, медиа, форумдар, веб-сайттар, заттар интернеті (IoT) т. б дерек көздерін қамтиды.

Үлкен деректер - бұл деректерді өңдеудің қарапайым құралдарымен талдауға және басқаруға болмайтын мәліметтер жиынтығының көп мөлшері.

Деректер 2020 жылы 45 зетабайт және 2025 жылы 163 зетабайт болады деген болжам бар.

Әлемде сандық деректердің көбеюі

Кирк Борнның айтуынша, адамзат тарихының басынан 2003 жылға дейінгі барлық деректер 2011 жылдың басындағы екі күнде және 2013 жылы әр 10 минут сайын шығарылған.

Көп жағдайда үлкен деректермен жасалатын жұмысқа өңделмеген деректерді жинастырудан қолдануға жарамды ақпарат алуға дейінгі қалыпты жұмыс процесі кіреді.

Үлкен деректермен жұмыс жасаудағы негізгі мақсат - бұл олардың негізінде іс жүзінде қолдану үшін құнды аналитикалық тұжырымдар алу.

Үлкен деректер

Барлық жаһандық деректердің 90 пайызы тек соңғы екі жылда жасалған. Сонымен қатар, әлемдегі деректердің 99 пайызы цифрландырылған. Бүкіл әлемдегі 35 миллиард құрылғы деректерді түрлендіреді және оны күн сайын бөліседі. Бұл әлем тұрғындарынан бес есе көп және осы құрылғылардың тек бір пайызын ғана қосуға болады.

Үлкен деректерді ең алғаш рет екі ғалым - NASAның қызметкері Michael Cox және David Ellsworth қолданған.

Cox пен Ellsworth, үлкен деректерді визуализациялау мәселесі; «Мәліметтер жиынтығы соншалықты үлкен, олар негізгі жадқа, жергілікті дискіге және тіпті қашықтағы дискіге сыймай, бұл проблеманы шешу компьютерлік жүйеге үлкен қиындық туғызады».

Олар бұл жағдайды «үлкен деректер мәселесі» деп атады. Мәліметтер жиынтығы негізгі жадқа (ядроға) немесе тіпті жергілікті дискіге сәйкес келмеген кезде сақтау ресурстарының көлемін ұлғайту ең кең таралған шешім болып табылады.

Үлкен деректер тарихы

Құрылымдық деректер

Жартылай құрылымдық деректер

Құрылымдық емес деректер

Үлкен деректер үш нысанда болуы мүмкін

Құрылымдық деректер: құрылымдық деректер дегеніміз модельдеуге, енгізуге, сақтауға, сұрауға, өңдеуге және визуализацияға оңай болатын барлық мәліметтер типіне жатады.

Жалпы алғанда, белгілі бір типтер мен өлшемдер алдын ала анықталған өрістерде ұсынылған және оларды реляциялық деректер базасында немесе кестелерде басқаруға болады. Қатты құрылымы бар бұл деректер түрінде басқа мәліметтер түрлеріне қарағанда пайдалы ақпарат алу оңайырақ, өйткені процестер жоғары өнімділікті немесе параллельді техниканы қажет етпейді.

Құрылымдық деректер

Жартылай құрылымдық деректер: жартылай құрылымдалған немесе өзін-өзі сипаттайтын мәліметтер құрылымдық деректердің түрін көрсетеді, бірақ қатаң үлгіні қамтымайды. Басқаша айтқанда, жартылай құрылымдық деректерге құрылымдық анықталған модельдер, сонымен қатар нақты элементтерді және деректердегі әр түрлі өрістердің иерархиялық көрінісін анықтау үшін қолданылатын этикеткалар мен маркерлер сияқты әртүрлі метадеректер кіреді. Жартылай құрылымдық мәліметтердің ең танымал мысалдарына XML (Extensible Markup Language) және JSON (JavaScript Object Notation) бағдарламалау тілдері жатады.

Жартылай құрылымдық деректер

Құрылымдық емес деректер - бұл белгілі форматтан тыс ұсынылатын және сақталатын жазбалардың түрлері. Ол әдетте кітаптар, мақалалар, құжаттар, электрондық пошталар және суреттер, аудио және видео сияқты медиа файлдар сияқты еркін форматтағы мәтіннен тұрады. Мұндай деректерді қатаң түрде ұсыну деректерді өңдеу процесінде NoSQL (SQL ғана емес) сияқты жаңа механизмдердің пайда болуына әкелді.

Құрылымдық емес деректер

Үлкен деректердің компоненттері

Үлкен деректер саласы

ауқым

алуантүрлілік

жылдамдық

деректердің дұрыстығы

жинақталған ақпараттардың құндылығы

сияқты белгілермен сипатталады.

Үлкен деректердің компоненттері

Веб-қимылдар (Crawl, Click, Navigation)

Ұялы Интернет,

Әлеуметтік желі,

Сенсор DATA,

HD бейне,

Электрондық пошта,

аудио,

SMS, MMS

BIG DATA дереккөздері

мемлекеттік органдар BigData және OpenData (ашық деректер) концептілерін ендіруге күш салуда. eGov-тың мақсатты аудиториясын зерттеу барысында «Үлкен деректер» зертханасы жұмыс жасайды. Онда eGov порталының пайдаланушыларының профилін талдау бойынша зерттеу жұмыстары жүргізіледі.

Сондай-ақ, денсаулық сақтау саласының ақпараттық жүйесіне 2005 жылдан бастап қазіргі уақытқа дейін 14 терабайт мәліметтер жинақталған. Бұл 5, 8 млрд бет мәтінмен пара-пар. Алдағы уақытта Big data технологиясы мен жасанды интеллектіні пайдалана отырып өңдейтін болады.

ТМД-дағы ең үлкен Data орталығы Павлодар қаласында орналасқан. Деректер орталығы электронды ақпаратты өңдеп сақтайтын 11 мыңнан аса құрылғыны қабылдауға қауқарлы. Бұл «Қазақтелеком» АҚ мен Hewlett-Packard компаниясының бірлескен жобасы болып табылады.

Қазақстанда;

Барлық салалар мен өндірістің, сондай-ақ капитал мен жұмыс күшінің ажырамас бөлігі болып табылады.

Мысалы, АҚШ-та 200 терабайттан төмен деректер жоқ сектор жоқ деп есептеледі.

Осы құрылымның көмегімен мәліметтер ғылымы жұмыспен қамтудың жаңа бағыттарын жасайды.

Үлкен деректерден «құндылық жарату»дың төрт әдісі;

деректерді жылдам, ашық және пайдалы ету арқылы бизнес үшін маңызды құндылықтарды жаратуға мүмкіндік береді

Ұйымдар неғұрлым функционалды деректерді құрып, оларды сандық түрде сақтайтын болса, олар өнімділікті неғұрлым дәл және егжей-тегжейлі ақпаратқа қол жеткізу және прогресті бақылау арқылы оңай жақсарта алады

Big Data әлдеқайда ыңғайлы нарық сегментациясын ұсынады.

Үлкен деректер болашақты болжай алатын жаңа өнімдер мен қызметтердің дамуына үлкен үлес қосады.

McKinsey Global Institute’тың баяндамасындағы Үлкен деректердің пайдалары;

шағын және орта бизнес үшін. Үлкен деректер тіпті кішігірім компанияларға бәсекелік ортада әлдеқайда қуатты болуға мүмкіндік береді.

Үлкен деректердің арқасында тұтынушылар әртүрлі тауарлар мен қызметтерге әлдеқайда оңай әрі жылдам қол жеткізе алады.

Мысал; Дүкеннің қасынан өткен кезде тиісті тұтынушының сипаттамаларына сәйкес келетін өнімді жеңілдікке немесе науқанға қатысты хабарлама. Мұнда жеңіске жету стратегиясы басым болады.

Кешенді талдау шешім қабылдауды айтарлықтай жеңілдетеді.

Үлкен деректердің артықшылықтары

Үлкен деректердің пайдасы іс жүзінде адамзаттың қиялымен шектеледі. Деректер жинау технологиясының дамуымен үлкен деректердің арқасында тіпті ғылыми-фантастикалық фильмдерден де асып кетуге болады.

Үлкен деректердің пайдасы

Қиындықтардың біріншісі - деректер бойынша негізгі саясатты анықтау. Себебі деректер саясаты көптеген салаларды, әсіресе құпиялылықты, қауіпсіздік, зияткерлік меншік құқықтарын және деректерді беруді реттейді. Әсіресе денсаулық сақтау және қаржы секторы деректерінде, сондай-ақ жеке қауіпсіздік пен жеке өмірге тікелей қатысты жеке деректерді қорғау, сондай-ақ мемлекеттердің қауіпсіздігіне қатысты протекционистік саясаттың салдарынан үлкен деректердің пайдасы мен құндылықтардың шектелуі мүмкін. Осы шеңберде осы тепе-теңдікті қамтамасыз ететін деректер саясатын қалыптастыру маңызды.

Үлкен деректердің қиындықтары

Үлкен деректерді талдаудың тағы бір маңызды міндеті - деректердің өзіне қол жеткізу. Ауқымды деректерге оңай қол жеткізу сонымен қатар осы үлкен деректер жиынтығының артықшылықтары мен құндылықтарына қол жеткізуді жеңілдетеді.

Алайда, іс жүзінде үлкен деректер жиынтығы бар ұйымдар деректерді бөліскісі келмейді немесе деректер үшін жоғары төлем талап етеді.

Денсаулық сақтау саласы кəсіпорындары күрделі қаржы салғысы келсе де, адамдардың денсаулығы туралы ақпаратты денсаулық сақтау министрліктері бөліспейді.

Үлкен деректердің қиындықтары

Үлкен деректерге қол жеткізудің және оның құндылығын ашудың тағы бір міндеті - ұйымдардың үлкен деректерді қалай толық пайдалану керектігі туралы институционалды мәдениеті жоқтығында.

Үлкен деректердің пайдасын көргісі келетін мекемелерде / ұйымдарда менеджерлер, мәлімет талдаушылары, үлкен деректер талап ететін технологиялық инфрақұрылым, менеджерлер мен қызметкерлердің алынған деректер мен тәжірибені бүлкенктіру мүмкіндігі болуы керек.

Үлкен деректердің қиындықтары

деректерді қорғау, деректерге негізделген дискриминация және құпиялылық мәселелері, әсіресе құқықтық доктринада, үлкен деректерді талдаудағы негізгі қиындықтар ретінде талқылануда. Жеке мүдделер, ұстанымдар, әуесқойлық және физикалық ерекшеліктер сияқты көптеген жеке деректердің жеке тұлғалардың нақты келісімінсіз, әсіресе деректерді екінші рет пайдалану арқылы ашылуы фактісі дау-дамайды тудырады, өйткені бұл жеке өмірге қол сұғушылықты тудырады.

Үлкен деректердің қиындықтары

Деректердің үлкен талдауы бизнеске маркетологтар мен қызмет көрсетушілердің қызметтерінің жақсаруына көмектеседі. Алайда, сол кәсіпорындарда әр түрлі көздерден жеке тұлғаларды кемсіту негізінде әрекет ету еркіндігі болуы мүмкін (мысалы, тұтынушыларға несие беру, сақтандыру сыйлықақыларының тәуекелін бағалау және т. б. ) .

Федералды сауда комиссиясы (FTC) дайындаған баяндама;

“Big Data: a tool to exclude or participate”.

Үлкен деректердің қиындықтары

Сонымен қатар, жеке тұлғалардың нақты келісімі болса да, заңды деректерді жазу, айырбастау немесе пайдалану кезіндегі ағып кетулер, қызмет провайдерлерінен туындаған қауіпсіздік кемшіліктері және оператордың қателігі сияқты деректер, деректер қауіпсіздігі саласында маңызды проблемалар туғызады.

Жеке өмірдің құпиялылығы үлкен деректерді талдаумен аяқталады деп сенетін зерттеушілер, жеке тұлғалардың келісімі мен деректердің қауіпсіздігі саласында барлық техникалық сақтық шаралары қолданылса да, бұл қуатты пайдаланушылар теріс пайдалануы мүмкін.

Үлкен деректердің қиындықтары

үлкен деректермен ұсынылған экономикалық пайданың жаһандық дамыған елдерге пропорционалды түрде ауып кету қаупі. Себебі, көптеген инновациялық кәсіпорындар, әсіресе деректерді үлкен талдау негізінде бизнесті дамытатын АКТ секторындағы үлкен компаниялар деректер нарығы ретінде дамыған елдерге назар аударады. Қазірдің өзінде бірнеше әлемдік орталықтарда деректер жиналып, ақшаға айналатыны белгілі болды.

үлкен деректерден күтілетін пайда деректердің құпиялылығы және жасырындықты қамтамасыз ету қиындықтарымен байланысты тиімділікті жоғалту қаупін қамтиды.

Үлкен деректерді толық пайдалану барлық деректерге қатысты процестердің күшті үстемдігін талап етеді.

Үлкен деректер тудыратын қатерлер

Деректерді өңдеу- бұл жай ғана өңделмеген деректерді маңызды ақпаратқа процесс арқылы түрлендіру.

Деректер проблеманы шешуге немесе бар жағдайды жақсартуға әкелетін нәтижелерді алу үшін өңделеді. Өндірістік процеске ұқсас, ол кіріс сигналдары (шикі деректер) процеске (компьютерлік жүйелерге, бағдарламалық қамтамасыз етуге және т. б. ) берілген циклден кейін нәтижелерді (ақпарат пен талдау материалдарын) дайындау.

Әдетте, ұйымдар ақпаратты ұсыну, түсіндіру немесе алу үшін деректермен бірқатар операцияларды орындау үшін компьютерлік жүйелерді пайдаланады. Пайдалы және ақпараттық қорытынды диаграммалар, есептер, графиктер және т. б. сияқты түрлі нысандарда ұсынылған.

Үлкен көлемді деректерді өңдеу әдістері

Негізінен, шағын бизнестің көптеген фирмаларында, сондай-ақ мемлекеттік мекемелер мен мекемелерде қолмен өңделеді. Оқу орнында, мысалы, қолмен төлем туралы белгілер, түбіртектер және басқа да қаржылық есептер (немесе операциялар) орындалады.

Бұл деректер өңдеу түрі технология қол жетімсіз немесе қол жетімсіз болған кезде өте қарапайым кезең болып табылады. Технологиялардың дамуымен, қол әдістеріне тәуелділік күрт төмендейді.

Деректерді Қолмен Өңдеу