Құрылымдық деректер

Презентация қосу

1. ҮЛКЕН ДЕРЕКТЕРДІҢ СИПАТТАМАСЫ ЖӘНЕ ОНЫҢ ТҮРЛЕРІ
2. АҚПАРАТТЫҚ КОММУНИКАЦИЯЛЫҚ ТЕХНОЛОГИЯ АРҚЫЛЫ
ҮЛКЕН ДЕРЕКТЕРДІ ЖҮРГІЗУ

Орындағандар:
Көлібайқызы А
Тұғырова А
Нурсагатова Ж
Үмбет Ж
Үлкен деректер ( ағылш.bigdata ) - құрылымдалмаған және ішінара құрылымдалған өте үлкен
көлемдегі деректерді сипаттау үшiн пайдаланылатын жалпы термин . Аталмыш термин 2000-
жылдардың соңына таман деректер базасын басқарудағы дәстүрлi жүйелерге және Eusiness
Intelligence класс шешiмдерiне балама ретiнде калыптасты .
Big data - технологиялык инновациялар нәтижесінде пайда болған үлкен ақпараттар ауқымын
өңдей алатын бағдарламалық құралдар . Оған ұзақ жылдар бойы ұялы байланыс абоненттерiнiң
мәліметтерi , iздеу жуйелерiндегiі , әлеуметтік желілердегi белсендiлiк , тiптi коғамдық
орындардағы бейнебақылау камераларында жазылған материалдар және т.б. ақпараттар кіреді .
Үлкен деректер тек сандар мен әрiптерден құралмайды . Оның ауқымы кең . Соның ішіне :
әлеуметтік желілер , блогтар , медиа , форумдар , веб - сайттар , заттар интернеті ( loT ) т.б
дерек көздерiн қамтиды .
Үлкен деректер - бұл деректерді өңдеудің қарапайым құралдарымен талдауға және ббасқаруға
болмайтын мәліметтер жиынтығының көп мөлшері .
Үлкен деректермен жұмыс жасаудағы негізгі мақсат - бұл олардың негiзiнде iс жүзiнде
қолдану үшiн құнды аналитикалық тұжырдар aлy .

Көп жағдайда үлкен деректермен жасалатын жұмысқа өңделмеген деректерді
жинастырудан колдануға жарамды ақпарат алуға дейінгі калыпты жұмыс процесі кіреді.
Үлкен деректер тарихы

Үлкен деректердi ең алғаш рет екі ғалым - NASAның қызметкері Michael Cox және
David Ellsworth қолданған.

Сох пен Ellsworth , үлкен деректерді визуализациялау кезінде мынандай нәтиже алды:
Мәліметтер жиынтығы соншалықты үлкен , олар негiзгi жадка , жергiлiктi дискіге
және тiптi қашықтағы дискiге сыймай , бұл проблеманы шешу компьютерлік жүйеге
үлкен қиындық туғызады.

Және олар бұл жағдайды «үлкен деректер мәселесі» деп атады. Мәліметтер
жиынтығы негізгі жадка ( ядрога ) немесе тiптi жергiлiктi дискіге сәйкес келмеген
кезде сақтау ресурстарының көлемін ұлғайту ең кең таралған шешім болып
табылды.
Үлкен деректер 3 нысанда болуы мүмкін

Құрылымдық Жартылай Құрылымдық емес
деректер құрылымдық деректер деректер
Құрылымдық деректер

Құрылымдык деректер дегенiмiз модельдеуге, енгiзуге, сақтауға, сұрауға, өңдеуге
және визуализацияға оңай болатын барлық мәліметтер типіне жатады.

Жалпы алғанда , белгiлi бiр типтер мен өлшемдер алдын ала анықталған өрістерде
ұсынылған және оларды реляциялык деректер базасында немесе кестелерде
басқаруға болады. Қатты құрылымы бар бұл деректер түрінде басқа мәліметтер
түрлеріне қарағанда пайдалы ақпарат алу оңайырақ , өйткені процестер жоғары
қнiмдiлiктi немесе параллельдi техниканы қажет етпейді.
Жартылай құрылымдық деректер

Жартылай құрылымдық деректер : жартылай құрылымдалған немесе өзін - өзі
сипаттайтын мәліметтер құрылымдық деректердің түрін көрсетедi , бiрақ
қатаң үлгiнi қамтымайды.

Басқаша айтқанда , жартылай құрылымдық деректерге құрылымдық
анықталған модельдер , сонымен қатар нақты элементтерді және деректердегі
әр түрлi өрiстердiң иерархиялық көрінісін анықтау үшін қолданылатын
этикеткалар мен маркерлер сияқты әртүрлі метадеректер кiредi.

Жартылай құрылымдық мәліметтердің ең танымал мысалдарына XML
(Extensible Markup Language ) жǝне JSON ( JavaScript Object Notation )
бағдарламалау тiлдерi жатады.
Құрылымдық емес деректер

Құрылымдық емес деректер - бұл белгiлi форматтан тыс ұсынылатын және
сақталатын жазбалардың түрлерi .

Ол әдетте кітаптар , мақалалар , құжаттар , электрондық пошталар жене суреттер ,
аудио және видео секілді медиа файлдар сияқты еркін форматтағы мәтіннен тұрады .
Мұндай деректердi катаң түрде ұсыну деректерді еңдеу процесінде NoSQL сияқты
жаңа механизмдердің пайда болуына әкелді.
Үлкен деректер саласы

Ауқым

Алуантүрлік

Жылдамдық

Деректердің дұрыстығы

Жинақталған ақпараттардың
құндылығы

сияқты белгілермен сипатталады.
BigData дереккөздері

Веб-қимылдар(Crawl,Click,Navigation)

Ұялы интернет

Әлеуметтік желі

Сенсор DATA

HD бейне

Электрондық пошта

Аудио

SMS,MMS
Қазақстанда

мемлекеттік органдар BigData және OpenData ( ашық деректер ) концептiлерiн өндiруге күш салуда.
eGoV - тың мақсатты аудиториясын зерттеу барысында «Yлкен деректер» зертханасы жұмыс
жасайды . Онда eGov порталынын пайдаланушыларының профилін талдау бойынша зерттеу
жұмыстары жургiзiледi.
Сондай-ақ денсаулық сақтау саласының ақпараттық жүйесіне 2005 жылдан бастап қазіргі уақытқа
дейін 14 терабайт мәліметтер жинақталған . Бұл 5,8 млрд мәтінмен пара - пар . Алдағы уақытта
Big data технологиясы мен жасанды интеллектәнi пайдалана отырып ендейтін болады.
ТМД - дагы ен үлкен Data орталығы Павлодар қаласында орналаскан . Деректер орталығы
электронды ақпаратты өңдеп сақтайтын 11 мыңнан аса құрылғыны қабылдауға қауқарлы . Бұл
«Қазақтелеком» АҚ мен Hewlett - Packard компаниясының бірлескен жобасы болып табылады.
Үлкен деректердің артықшылықтары

o шағын және орта бизнес үшiн. Үлкен деректер тiптi
кішiгiрiм компанияларга бәсекелік ортада әлдеқайда
қуатты болуға мүмкіндік береді.

o Үлкен деректердің арқасында тұтынушылар әртүрлі тауарлар мен қызметтерге
әлдекайда оңай әрі жылдам қол жеткізе алады . Мысалы: үкеннің қасынан өткен кезде
тиiстi сипаттамаларына сәйкес женiлдiкке немесе науқанға қатысты хабарлама . Мұнда
жеңіске жету стратегиясы басым болады.

o Кешенді талдау шешім қабылдауды айтарлықтай
жеңілдетеді.
Үлкен деректердің қиыншылықтары

Қиындықтардың бастысы - деректер бойынша негiзгi саясатты анықтау . Себебі
деректер саясаты көптеген салаларды, әсіресе құпиялылықты, қауiпсiздiк ,
зияткерлік меншік құқықтарын және деректерді беруді реттейді. Әсiресе
денсаулық сақтау және қаржы секторы деректерінде , сондай - ақ жеке қауіпсiздiк
пен жеке өмiрге тікелей қатысты жеке деректерді қорғау , сондай - ақ
мемлекеттердің қауiпсiздiгiне катысты протекционистік саясаттың салдарынан
үлкен деректердің пайдасы мен құндылықтардың шектелуi мүмкiн. Осы шеңберде
осы тепе - теңдікті қамтамасыз ететін деректер саясатын қалыптастыру
маңызды.

Ұқсас жұмыстар

Деректердің реляциялық моделі

Үлкен деректер және оның маңызы

Деректердің реляциялық моделі. Реляциялық деректер қорын жобалау

Жаңа ақпараттық технология

БИОЛОГИЯЛЫҚ ДЕРКҚОРЛАРДЫ АҚПАРАТТЫ ІЗДЕУ

Астана медицина университеі

Практикалық тапсырма

Мәліметтерді алу

Деректер базасының архитектурасы

Мәліметтер қоры объектілерімен жұмыс істеу интерфейсі біртұтас

Пәндер