Құрылымдық деректер

1. Үлкен деректердің сипаттамасы және оның түрлері 2. Ақпараттық коммуникациялық технология арқылы үлкен деректерді жүргізу

Орындағандар:

Көлібайқызы А

Тұғырова А

Нурсагатова Ж

Үмбет Ж

Үлкен деректер ( ағылш. bigdata ) - құрылымдалмаған және ішінара құрылымдалған өте үлкен көлемдегі деректерді сипаттау үшiн пайдаланылатын жалпы термин . Аталмыш термин 2000-жылдардың соңына таман деректер базасын басқарудағы дәстүрлi жүйелерге және Eusiness Intelligence класс шешiмдерiне балама ретiнде калыптасты .

Big data - технологиялык инновациялар нәтижесінде пайда болған үлкен ақпараттар ауқымын өңдей алатын бағдарламалық құралдар . Оған ұзақ жылдар бойы ұялы байланыс абоненттерiнiң мәліметтерi, iздеу жуйелерiндегiі, әлеуметтік желілердегi белсендiлiк, тiптi коғамдық орындардағы бейнебақылау камераларында жазылған материалдар және т. б. ақпараттар кіреді .

Үлкен деректер тек сандар мен әрiптерден құралмайды . Оның ауқымы кең . Соның ішіне : әлеуметтік желілер, блогтар, медиа, форумдар, веб - сайттар, заттар интернеті ( loT ) т. б дерек көздерiн қамтиды .

Үлкен деректер - бұл деректерді өңдеудің қарапайым құралдарымен талдауға және ббасқаруға болмайтын мәліметтер жиынтығының көп мөлшері .

Үлкен деректермен жұмыс жасаудағы негізгі мақсат - бұл олардың негiзiнде iс жүзiнде қолдану үшiн құнды аналитикалық тұжырдар aлy .

Көп жағдайда үлкен деректермен жасалатын жұмысқа өңделмеген деректерді жинастырудан колдануға жарамды ақпарат алуға дейінгі калыпты жұмыс процесі кіреді.

Үлкен деректердi ең алғаш рет екі ғалым - NASAның қызметкері Michael Cox және David Ellsworth қолданған.

Сох пен Ellsworth, үлкен деректерді визуализациялау кезінде мынандай нәтиже алды: Мәліметтер жиынтығы соншалықты үлкен, олар негiзгi жадка, жергiлiктi дискіге және тiптi қашықтағы дискiге сыймай, бұл проблеманы шешу компьютерлік жүйеге үлкен қиындық туғызады.

Және олар бұл жағдайды «үлкен деректер мәселесі» деп атады. Мәліметтер жиынтығы негізгі жадка ( ядрога ) немесе тiптi жергiлiктi дискіге сәйкес келмеген кезде сақтау ресурстарының көлемін ұлғайту ең кең таралған шешім болып табылды.

Үлкен деректер тарихы

Үлкен деректер 3 нысанда болуы мүмкін

Құрылымдық деректер

Жартылай құрылымдық деректер

Құрылымдық емес деректер

Құрылымдық деректер

Құрылымдык деректер дегенiмiз модельдеуге, енгiзуге, сақтауға, сұрауға, өңдеуге және визуализацияға оңай болатын барлық мәліметтер типіне жатады.

Жалпы алғанда, белгiлi бiр типтер мен өлшемдер алдын ала анықталған өрістерде ұсынылған және оларды реляциялык деректер базасында немесе кестелерде басқаруға болады. Қатты құрылымы бар бұл деректер түрінде басқа мәліметтер түрлеріне қарағанда пайдалы ақпарат алу оңайырақ, өйткені процестер жоғары қнiмдiлiктi немесе параллельдi техниканы қажет етпейді.

Жартылай құрылымдық деректер

Жартылай құрылымдық деректер : жартылай құрылымдалған немесе өзін - өзі сипаттайтын мәліметтер құрылымдық деректердің түрін көрсетедi, бiрақ қатаң үлгiнi қамтымайды.

Басқаша айтқанда, жартылай құрылымдық деректерге құрылымдық анықталған модельдер, сонымен қатар нақты элементтерді және деректердегі әр түрлi өрiстердiң иерархиялық көрінісін анықтау үшін қолданылатын этикеткалар мен маркерлер сияқты әртүрлі метадеректер кiредi.

Жартылай құрылымдық мәліметтердің ең танымал мысалдарына XML (Extensible Markup Language ) жǝне JSON ( JavaScript Object Notation ) бағдарламалау тiлдерi жатады.

Құрылымдық емес деректер

Құрылымдық емес деректер - бұл белгiлi форматтан тыс ұсынылатын және сақталатын жазбалардың түрлерi .

Ол әдетте кітаптар, мақалалар, құжаттар, электрондық пошталар жене суреттер, аудио және видео секілді медиа файлдар сияқты еркін форматтағы мәтіннен тұрады . Мұндай деректердi катаң түрде ұсыну деректерді еңдеу процесінде NoSQL сияқты жаңа механизмдердің пайда болуына әкелді.

Үлкен деректер саласы

сияқты белгілермен сипатталады.

BigData дереккөздері

Қазақстанда

мемлекеттік органдар BigData және OpenData ( ашық деректер ) концептiлерiн өндiруге күш салуда. eGoV - тың мақсатты аудиториясын зерттеу барысында «Yлкен деректер» зертханасы жұмыс жасайды . Онда eGov порталынын пайдаланушыларының профилін талдау бойынша зерттеу жұмыстары жургiзiледi.

Сондай-ақ денсаулық сақтау саласының ақпараттық жүйесіне 2005 жылдан бастап қазіргі уақытқа дейін 14 терабайт мәліметтер жинақталған . Бұл 5, 8 млрд мәтінмен пара - пар . Алдағы уақытта Big data технологиясы мен жасанды интеллектәнi пайдалана отырып ендейтін болады.

Ұқсас жұмыстар

Деректердің реляциялық моделі

Үлкен деректер және оның маңызы

Деректердің реляциялық моделі. Реляциялық деректер қорын жобалау

Жаңа ақпараттық технология

БИОЛОГИЯЛЫҚ ДЕРКҚОРЛАРДЫ АҚПАРАТТЫ ІЗДЕУ

Астана медицина университеі

Практикалық тапсырма

Мәліметтерді алу

Деректер базасының архитектурасы

Мәліметтер қоры объектілерімен жұмыс істеу интерфейсі біртұтас

Пәндер