Мәліметтерді өңдеу орталықтарының желілері
МАЗМҰНЫ
НОРМАТИВТІК СІЛТЕМЕЛЕР ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
7
АНЫҚТАМАЛАР, ҚЫСҚАРТУЛАР МЕН БЕЛГІЛЕУЛЕР ... ... ... ... ... ..
7
КІРІСПЕ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
8
1 Шымкент қаласының қолданыстағы желісін талдау ... ... ... ... ... ... ... ...
10
1.1 Қазіргі желілерде мәліметтер беруге талаптар ... ... ... ... ... ... ... ... ... ...
13
1.2 Желідегі мәлімет ағындары ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
15
1.3 Мәліметтерді өңдеу орталықтарының желілері ... ... ... ... ... ... ... ... ... ..
16
1.4 Технология таңдау ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
17
1.5 Қандай жаңа технологиялар телекоммуникация нарығын өзгертуі мүмкін: қалай жәненеліктен ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
19
1.6 Жобаның мақсаты ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
21
2 SDN келесі буын желісі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
22
2.1 SDN технологиясы туралы жалпы ақпарат ... ... ... ... ... ... ... ... ... ... ... .
22
2.2. Виртуалды коммутаторлардың негізінде БКЖ іске асыру тәсілдері ..
25
2.3 Желілік функцияларды виртуалдандыру ... ... ... ... ... ... ... ... ... ... ... ... .
29
2.4 Желілік операциялық жүйе ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
31
2.5 Модульдерді жүктеуге және олардың арасындағы әрекеттестікті қамтамасыз етуге арналған сервистер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
35
2.6 БКЖ қолданылатын басқару платформасына талаптарды құру ... ... ...
37
2.7 Open vSwitch құрылымы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
42
3 Техникалық есептеулер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
46
3.1 Кезектердің өсу жылдамдығы кезінде желілік тораптардың асқын жүктемелерін табу әдісі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
46
3.2 Трафиктің фрактальдылығын ескере отырып, дестелердің маршрутизатордың буферінде жоғалтылу ықтималдығының модельдерін талдау ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
49
3.3 Мультисервистік кіру желісінің параметрлерін талдау ... ... ... ... ... ...
52
3.4 Әртүрлі кодектерді қолдана отырып, кіру желісі жасайтын жүктемені есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
53
3.5 Қызметтердің әр алуан түрлерін пайдаланатын абоненттерден келіп түсетін жүктеменің құрылымын ескере отырып, тораптың өнімділігін есептеп шығару ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
58
3.6 Қарастырылып отырған желіде бейнеконтенттің кідірістерін модельдеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
69
3.7 Модельдеу ортасы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
70
4 Өмір тіршілік қауіпсіздігі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
72
4.1 Потенциалды зиянды факторларды анықтау ... ... ... ... ... ... ... ... ... ... ...
72
4.2 Қызмет көрсететін персоналдың қауіпсіздігін қамтамасыз ету ... ... ...
74
4.3 Жартылай өткізгіш лазердің сәуле шығаруының шекті-жол берілетін деңгейлерін есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
76
4.4 Жабдықтың жерге тұйықталуын есептеу ... ... ... ... ... ... ... ... ... ... ... ...
78
5 Бизнес жоспар ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
82
5.1 Түйіндеме ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
82
5.2 Мақсаттар мен міндеттер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
82
5.3 Компания және сала ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
83
5.4 Маркетинг стратегиясы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
83
5.5 Ұйымдық жоспар ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
84
5.6 Инвестициялық шығындарды есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... .
85
5.7 Жылдық эксплуатациялық шығындарды есептеу ... ... ... ... ... ... ... ... ..
87
5.8 Табыстарды есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
91
5.9 Экономикалық тиімділік көрсеткіштерін есептеу ... ... ... ... ... ... ... ... .
92
ҚOPЫТЫНДЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
94
ПАЙДАЛАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ ... ... ... ... ... ... ... ... ... ... ... ...
95
ҚОСЫМША А ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
97
ҚОСЫМША Б ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
99
АНЫҚТАМАЛАР, ҚЫСҚАРТУЛАР МЕН БЕЛГІЛЕУЛЕР
DWDМ тexнaлoгияcы тaлшықты - oптикaлық apнaның өткiзy жoлaғын жүз ece үлкeйтy кeзiндeгi eң мacштaбты жәнe тиiмдi әдic.
ROADM - бұл cызықты күшeйткiштiң нұcқacы, мұндa әp диaпaзoндaғы кeзкeлгeн дaнaдaғы oптикaлық apнaлap ayыcтыpылyы нeмece шығapылып тacтaлyы мүмкiн.
Эквaлaйзep - жүйeнiң тұpaқтaндыpyшы күшeйтy элeмeнтi, apнaдaғы қyaт дeңгeйiнiң ayытқyын өтey үшiн қoлдaнылaды.
Интepкoнeкция түйiнi - бipнeшe бaғыттaғы тapaлымдapды apнaлық қocылыc мүмкiндiгi, oптикaлық дeмyльтиплeкcop мeн мyльтиплeкcopлық блoктap apaлapынa кoммyтaциялық пaнeлдi қoлдaнyмeн нeгiздeлeдi.
DWDМ - Dense Wave Division Multiplexing
FADU - Fixed Add Drop Unit
CCU - Channel Control Unit
PMU - Power Monitor Unit
ТОМ - Tapaтyшы oптoэлeктpoнды мoдyль
ҚОМ - Қaбылдayшы oптoэлeтpoнды мoдyль
ASE - Amplified Spontaneous Emission
LWEDFA - Long Wavelength EDFA
КІРІСПЕ
Компьютерлік желілердің қазіргі жағдайы және даму тенденциялары дәстүрлі технологиялардың негізіндегі желілердің өнімділігінің, өткізу қабілетінің өсу потенциалының іс жүзінде таусылғандығын көрсетті. Бұл маршруттауға уақыт шығындарының өсуімен, әсіресе саясаттарға, жылдамдығы жоғары жаһандық желілер мен мәліметтерді өңдеу орталық- тарының сервис сапасына деген жаңа қажеттіліктерді ескере отырып, желіні конфигурациялаудағы және ондағы ағындарды басқарудағы қиындықтармен, желілерді визуалдандыруға, яғни тәуелсіз сапа саясаттары бар бірнеше логикалық оқшауланған желіні желілік ресурстардың ортақ жинағына бейнелеуге деген қажеттіліктің өсуімен байланысты болып отыр.
Тақырыптың өзектілігі. Кеңістікте айтарлықтай қашықтықтарға таратылған қолданбалы процестер арасындағы байланыс арналарының өткізу қабілетінің тапшылығы елеулі проблема болып табылады. Байланыс арналарын жасаудың жоғары құнына орай, өткізу қабілетінің ресурсын пайдалану тиімділігін арттыру міндеті біздің кезімізде өзекті болып қалып отыр.
Жұмыстың жаңалығы мен практикалық маңыздылығы. Мәліметтер алмасу арнасының өткізу қабілетінің тапшылығының себебі болып физикалық және арналық деңгейлердің өткізу қабілетінің нақты таусылуы да, байланыс арналарының жұмысының тұрақсыздығы да қызмет ете алады. Бұл ретте осы мәселемен ұшырасқан қолданушы (процесс) қалыптасқан проблеманы жеке-дара шешуге қауқарсыз болып шығады. Оның себептерін анықтау үшін желінің құрылуының принциптеріне және оның құрылысына кешенді көзқарасқа, сондай-ақ оның жұмыс істеуінің принциптерін және хаттамаларын, байланыстардың сипаттамаларын және топологиясын білуге ие болуқажет.
Заманауи ғылыми мәселенің шешетін жағдайы. Тіптен өткізу қабілетін шектеудің шектелген және классификацияланған көзі, оның ішінде форс-мажорлық немесе қарсы тұруға болмайтын күші бар өзге жағдайлар бойынша физикалық тұрғыдан қол жеткізбейтіндей болып шығуы мүмкін. Сондықтан мәселені шешу көбінесе әкімшілік және қаржылай ресурсты, бөтен тұлғалармен және ұйымдармен келісуді талап етеді, осы себеппен созылып кетеді, ал кей кездері бюрократиялық, конъюнктуралық және басқа да себептермен қиындай түсіп, тоқтап та қалады. Солай болса да, мәліметтер алмасу арналарының өткізу қабілетінің тапшылығымен желілер мен жүйелер үнемі ұшырасып отырады, сондықтан бұл мәселені шешу өзекті және қажетті. Жоғарыда аталған мәселелерге жауап ретінде 2006 жылы бағдарламалық-конфигурацияланатын желілердің (БКЖ) SDN концепциясы пайда болды (және де сол кезден бастап қарқынды дамып отыр). Осы концеп- цияны ұстану желілердегі марштруттауды жылдамдатуға, конфигура- циялаудың, визуалдандырудың, қызмет көрсету сапасын ретке келтірудің ыңғайлылығын арттыруға мүмкіндік береді, бірақ қосымша зерттеулерді және пысықтауларды, жекелей алғанда, желіні басқаруға және оларды орындауға арналған платформаны басқаруға арналған бағдарламалық қосымшаларды, желілік коммутаторлардың аппаратурасын ұйымдастыру саласындағы зерттеулер мен жетілдірулерді қажет етеді. Тақырыптық саланы алдын ала талдау және патенттік іздестіру БКЖ арналған өнеркәсіптік пен өндірістік жабдықтың және бағдарламалық құралдардың, сондай-ақ ғылыми-зерттеу жобаларының көп санының бар екендігіне қарамастан, ағымдағы сәтте БКЖ технологиясын кемеліне жеткен деп тануға болмайтындығын, нарықтың тек дамып отырғандығын, оның 2015-2016 жылдарға күрт өсуі болжанып отырғандығын көрсетті.
Диплом жұмыстың негізгі мақсаты мен міндеті - Шымкент қаласының Абай ауданы аумағына SDN технологиясын енгізу.
Алға қойылған мақсатқа қол жеткізу үшін келесі міндеттер ескерілді:
- Технология таңдау;
- желілік ОЖ БКЖ құру мақсаты бойынша салыстыру;
- маршрутизатордың буферінде асқын жүктемелерді табу алгоритмдерін және әдістемелерін талдау;
- әртүрлі кодектердің өткізу жолақтарына әсерінталдау.
1 Шымкент қаласының қолданыстағы желісін талдау
Зерттеу нысаны ретінде Шымкент қаласының Абай ауданының тұрғындарына көрсетілетін желілік қызметтер таңдап алынды. Аймақ қаланың батыс аймағында орналасқан және шамамен 375,4 мың адам тұрғынымен 31,34 шаршы км алып отыр. Әрқайсысында орташа алғанда 30 көп пәтерлі тұрғын ғимарат бар шамамен 50 шағын ауданды қосып отыр. Шағын ауданның картасы 1.1-суретте бейнеленген.
Сурет 1.1. Абай ауданының картасы
Бұл ауданда бірнеше байланыс операторы жұмыс істеп отыр және олардың арасынан ID-netсауда белгісімен Қазақтелеком АҚ және Интернет үйдесауда белгісіменКар-Тел ЖШС секілді ірілерін бөліп көрсетуге болады.Бұл компанияның екеуі де мұндағы орташа жылдамдық кемінде 20 Мбитс құрайтын интернет желісіне кең жолақты кіру мүмкіндігін береді.
Желіні құрудың принциптік сұлбасы мен құрылымын толығырақ қарастыру үшін осы ауданның кішірек бірлігін таңдап алу керек. Сондықтан,есептеулер мен салыстырулар үшін зерттеу жобасының негізі ретінде 7 шағын ауданды аламыз. 1.1-кестеде шағын ауданның көшелері мен олардың ұзындықтары келтірілген. Үйлердің арасындағы орташа қашықтық 15 м бастап 50 м дейін. Әкімшілік ғимараттарды ескермегенде, үйлердің саны 36 құрайды.Тұрғындары шамамен 10 000адам.
Кесте 1.1. Шағын ауданның көшелері және олардыңұзындықтары
Көшелер
Ұзындығы, м
Абай даңғылы
450
Янтарная көшесі
500
Алтынсарин көшесі
440
Желіні қалыптастырудың негізгі қозғаушы күші деп қосымшалар есептеледі.Желіде жылдамдығы жоғары жаңа технологиялар пайда болуда.Трафиктің жаңа түрлерін, мысалға, IP-телефонияны, аудио- және бейнетаратуды компьютерлік желілерге көшіру дестелердің кідірістерінің төмен мәнін қамтамасыз етумен, дестелерді топпен жеткізуді қолдаумен және т.с. байланысты жаңа талаптардың пайда болуына алып келді [1].
Телекоммуникациялық желілердің жағдайын зерттеу жуырдағы кезеңде интеграцияланған, мультисервистік желілерді құруға бағытталғандықтың сақталып қалатындығын көрсетіп отыр.Internet желісінің қазіргі жағдайы көрсетіп отырғанындай, шектеулі өткізу қабілеті жағдайларында жалпы алғанда трафикті тең құқықпен өңдеу айтарлықтай проблемаларға алып келіп отыр.Осылайша, маңызды мәліметтерді жөнелту өлшемі үлкен файлды жіберумен уақытша тосқауыл қойылуы мүмкін. Сондықтан құрама функциялары бар телекоммуникациялық желілерді құрған кезде кез келген қосымша үшін қызмет көрсетудің ниет етілген дәрежесіне кепілдік беру қажет. Кері жағдайда қолданушылар тар мамандандырылған желінің пайдасына мультисервистік желіден бас тартуға мәжбүрболады.
Ең көп қиыншылықтар бір мультисервистік желіге тар маандандырылған желілердің көп санын жинап алуға әрекет еткен кезде пайда болады. Мүлдем барлық мәселелерді шешіп тастайтын желіні алу одан да қиын. Жаңа сервистердің пайда болуына байланысты, желінің функциялары пайдалану барысында өзгеріп отыруы мүмкін. Желіде жұмыс істеуді көздеген қосымшалардың өзгерістері телекоммуникациялық желіге жаңа талаптаржүктейді.
Әуезов ауданында қолданылып келе жатқан желі желілік қондырғылардың буферінде 3 кезекке классификациялай отырып, трафиктің приоритезациясын қолданады. Желінің құрылымдық сұлбасы технологияның типтік архитектуралық-топологиялық шешімдерін талдаудың негізінде қалыптасқан, 1.2-суретте келтіріліп отыр.
Зерттеу бірлігі ретінде №7 шағын аудан таңдап алынды. Болу нүктесінде агрегация тораптар орналасқан, оларға кіру желісі қосылады. Бірлесе отырып, тораптар магистральдік желіні құрайды. Магистральдік желінің тораптары 10 Gigabit Ethernet технологиясын қолдана отырып, сақина топологиясымен байланыстырылған.
Магистральдік желі жоғары деңгейдегі провайдердің мәліметтерді беру желісіне қосылудың екі нүктесінде: 1 алаңда және 50 алаңда қосылады. Осындай қосылудың есебінен іркіліске төзімділік айтарлықтай артады, өйткені жақтардың бірі жұмыс істемей қалған кезде бүкіл трафик сақинаның екінші жағы арқылы жүреді. Бірден екі учаскенің де жұмыс істемей қалуы екіталай, сондықтан магистральдік желінің сенімділігі аса жоғары.
Сурет 1.2. Желінің құрылымдықархитектуралық-топологиял ық
сұлбасы
Магистральдік желіден трафик ядроның орталығына келіп түседі.Ядрода жоғарғы деңгейдегі провайдерлерге қосылу қамтамасыз етіледі және бейнеконтенті бар серверлер, файлдық, почталық, ойындық серверлер орналасқан.Сондай-ақ ядрода softswitch және тірек-транзит станциясы орналасқан, осылардың арқасында IP телефонияның трафигін өңдеу (қаларалық және халықаралық бағыттарға жалпы пайдаланылатын телефон желісіне шығу) қамтамасыз етіледі.
Зерттеліп отырған ауданда агрегация желісі оптикалық-талшықты кабельді үнемдеу үшін, магистральдік желідегідей принцип бойынша құрылған, сондай-ақ сызықтық сақина технологиясы қолданылады. Агрегация желісінің жабдығы үйлердің шатырларына монтаждалған. Оптикалық- талшықты кабель үйлердің арасында аспалы тәсілмен байланыстырылған, алегер қашықтықтар жол берілетін нормалардан асып кетіп жатса, кабель канализацияларына жатқызылады. Зерттеуліп отырған ауданда агрегация деңгейінің желісі 1.3-суретте көрсетілгендей көрінеді.
Кіру желісі ҒТТН технологиясы бойынша ұйымдастырылған және Ethernet (P2P) технологиясынан тұрады. Агрегация тарапынан пәтерлер немесе кеңселер оптикалық кабельдердің көмегімен тікелей СРЕ қондырғыларына қосылады. Осылайша, бір оптикалық арнаға жазылулары бар абоненттердің қажетті саны қосылады.Абоненттерді СРЕ қондырғысы арқылы желіге 100 Мбитс дейінгі жылдамдықта оптикалық кабель бойынша тікелей қосужүргізіледі.
Сурет 1.3. 7 шағын аудандағы желініңқұрылымы
1.1 Қазіргі желілерде мәліметтер беруге талаптар
Қызметтердің интеграциясы бар кез келген желіде таралып отыратын мәліметтердің негізгі ағындарын зерттеу және салыстыру желіні құрудың трафиктің екі түрін, атап айтқанда: изохронды (сөз, бейне, факсимиле) және асинхронды (мәліметтер, файлдар) біріктіру мәселесін шешуді талап ететіндігін көрсетіп отыр.
Изохронды трафикке тән белгі - оны нақты уақытта берген кезде сандық тракттың беретін және қабылдайтын порттарындағы мәліметтердің порциялары арасындағы нақты уақыт аралықтарына қатысты сақтауға деген қажеттілік, яғни изохрондылық деп мәліметтер ағынының белгіленген дәлдікпен берген кезде өзінің жекелеген элементтерінің уақыттық орналасуын сақтап қалу қасиетін түсінуге болады. Трафикті нақты уақытта жіберу байланыс сеансында желілік кідірістің өзгеріссіз құрамдас бөлігінің (желілік кідіріс - network delay деп, жіберудің кідірісі немесе транзиттік кідіріс - transit delay, сондай-ақ кешігу-latency деп аталатын) белгіленген шамасын ұстап отыруды талап етеді, ал изохрондылықтың аталған деңгейі желілік кідірістің айнымалы құрамдас бөлігінің немесе оның флуктуациясының (jitter) мәніне себепкер болады. АТМ желісінде жол берілуі мүмкін изохрондылықтың қажетті дәрежесін беру екі себеппен айтарлықтай. Біріншіден, дестенік коммутациясы бар әртүрлі желілерде желілік кідірістің айнымалы құрамдас бөлігінің өлшемі жіберудің талап етілетін изохрондылығының өлшемінен азырақ болуға тиіс (мысалға, сөзді беру үшін [2,3], адамның психологиялық- физиологиялық қасиеттеріне орай, ол қайтадан келген сөздік сегменттердің жіберілген жерінде естілуі қайтадан басталған уақытқа қарай аяқталуға және дыбыс сегменттерінің осындай қалпына келуі осындаймен жүруге тиісті дәлдікті пайдалы түсінуге тиіс). Екіншіден, жобаланып отырған АТМ желілері изохронды трафиктің әр алуан түрлері үшін белгіленген шектерде айнымалы кідірістің ұстап отырылуына кепілдік беруге тиіс және осындай шекаралар белгілі болуға тиіс.Одан арғы жерде изохронды трафик деп осы класстан ең тән трафик ретінде сандық сөзді түсінетін боламыз.
Изохронды трафиктен өзгешелігі, асинхронды трафик тұрақты кідірістің салыстырмалы түрде үлкен вариацияларына жол береді, мәліметтерді берудің жоғары растылығын талап етеді және байланыс арналары бойынша берген кезде изохрондылықты ұстап отыруға шекті емес.Одан арғы жерде асинхронды трафик деп өзінің жөнелтілуі үшін осы класстағы трафиктің басқа түрлерімен салыстырғанда, аз желілік кідірісті қажет ететін диалогтық мәліметтерді түсінетін боламыз.
Байланыс желісі бойынша мәліметтерді жіберудің маңызды спецификалары келесілерден тұрады:
- жіберудің жоғары шынайылығы қажет, мәліметтердің жекелеген порцияларының енгізілуіне және түсіп қалуына жол берілмейді. Қателерді анықтаудың және ақпараттың тиісті блоктарын екінші қайтара жіберудің сенімді тәсілдерін қолдануқажет;
- орнатылған интерактивті қосымшалар үшін транзиттік кідіріске жауап қайтару уақытының талаптарымен сипатталатын шектеулер бар болуы мүмкін болғанымен, желінің мәліметтерінің тұрақты кідірісінің шамасына және оның дисперсиясына қатаң шарттарболмайды;
- желіде мәліметтерді жіберудің және қабылдаудың кездейсоқ және тәуелсіз қарқындарына жолберіледі;
- мәліметтерді көп режимдік алмасуды (диалогтық жіберу, файлдар жәберу және т.б.) ұйымдастыру және басымдылықтардың таралған жүйесі қажет;
- әдетте, ақаулықтың ықтималдығы 10-4 төмен болмайтын, жоғары сапалы байланыс арналарықолданылады;
- өткізу жолағының еніне қойылатын талаптар үлкен аралықтарда: төменгі сортты интерактивті қосымшалар үшін ондаған кбитс бастап графикалық мәліметтермен жұмыс істеуге бағытталған қосымшалар үшін мыңдаған Мбитс дейінгі аралықтарда жатыр.
1.2 Желідегі мәлімет ағындары
Тарихи тұрғыдан алғанда, маршрутизаторлардың мәліметтер жіберу желілеріндегі ең елеулі функциялардың көбін іске асыратындай етіп қалыптасты.Ақпараттық технологиялардың өсіп, өрлеуі Ethernet желілерінде жіберілетін мәліметтердің жылдамдықтарының және көлемдерінің аяқ астынан артуына алып келді.Онымен қоса, ақпарат алмасудың құрамы да айтарлықтай өзгерді. Интернет-технологиялардың және VLAN-сегменттеудің жаппай қолданылуы қазіргі ақпарат жіберу желілерінде жіберілетін және қабылданатын трафиктің 80% астамының арналық сегменттің шектеріне шығуына және, демек, желілік деңгейде өңдеуден өтуге міндетті болуына алып келді. Мәліметтерді берудің қазіргі желісінде маршрутизатордыңнегізгі және қосымша функцияларының сенімді іске асырылуы желінің мәліметтер жіберуге дайындық дәрежесін толығымен анықтайтындығы айдан анық болып отыр.
Мәліметтерді жіберудің қазіргі заманғы желілерінің хаттамалары. Қазіргі желілердің көбірек саны 2 технологияны - Интернет (TCPIP) және Ethernet (IEEE 802.3) қолдануға негізделеді.1.2-кестеде қазіргі заманғы мәліметтер жіберу желілерінде ақпарат алмасуды ұйымдастыру үшін ең жиі қолданылатын негізгі хаттамалардың сипаттамаларыкелтірілген.
Кесте 1.2. Қазіргі желілерде мәліметтер алмасу үшін қолданылатын хаттамалар
Хаттаманың атауы
ISO 7498 деңгейі
PDU белгіленуі
Құжат
TCP (Transmission Control Protocol)
Транспорттық
Сегмент
IETF RFC 793
UDP (User Datagram Protocol)
Транспорттық
Дейтаграмма
IETF RFC 768
IP (Internet Protocol)
Желілік
Пакет
IETF RFC 791
Ethernet
Арналық
Кадр
IEEE 802 3
Ethernet хаттамаларына танымалдықты олардың абоненттердің бірыңғай кіруі бар мәліметтер жіберу ортасында (оптикалық кабель - Ethernet-II, IEEE - 10 Base 5)зерттелетін жергілікті желілерде арналық деңгейде ақпараттық әрекеттестікті ұйымдастыру үшін қолданылуыәкелді.
Бүгінгі таңда бұл хаттама абоненттердің әртүрлі кіруі бар мәліметтер беру орталарында (коаксиальды және талшықты-оптикалық кабель) тұрғызылып жатқан жергілікті, аудандық және қалалық желілерде қолданылады.
IP (Internet Protocol) хаттамасы Интернет желісінде хабарламаларды жеткізу жағдайының негізгі принциптерін және желілік адрестің құрамын қамтамасыз етеді.
Интернет желісінде тасымал деңгейіндегі екі хаттама қолданылады:
- UDP (User Datagram Protocol) - қолданушының дейтаграммаларының хаттамасы;
- TCP (Transmission Control Protocol) - жіберуді басқару хаттамасы [4];
- UDP хаттамасы дейтаграммаларды жеткізудің тасымал хаттамаларына жатады және жеткізу процесіне желінің сенімділігін қамтамасыз ету, жеткізудің кепілдік берілгендігі және ақпарат алмасу қарқынын басқару бөлігінде жоғары талаптар қойылмайтын жағдайда қолданылады.
ТСР хаттамасы Интернет желісінің негізгі тасымал хаттамасы деп есептеледі және ақпарат ағынын бақылау мүмкіндігіне және қолданушының қосымшаларының ақпарат блоктарын кепілдікпен жеткізуге кепілдік береді.
1.3 Мәліметтерді өңдеу орталықтарының желілері
Қазіргі мәліметтерді өңдеу орталықтары (МӨО) міндеттердің ең кең аясын шешу үшін қолданылатын ондаған мың физикалық серверді және жүздеген мың виртуалды машинаны біріктіре алады. Бұл МӨОжелілерін құрған кезде белгілі бір проблемалар жасайды.
МӨО қолданушылардың көпшілігі үшін олар жалға алып отырған машиналардың TCP\IP стекінің арналық деңгейіндегі байланыстылығы қажет, алайда, қажетті өлшемдегі жергілікті желілерді құрған кезде бірқатар шешілуі қиын проблема пайда болады. Мысалға, ірі МӨО ауқымында арналық деңгейдегі хаттамалар әртүрлі қолданушылардың арасындағы оқшаулануды қамтамасыз етуге қауқарсыз. Онымен қоса, Ethernet хаттамасы циклдардың пайда болуына жол бермейді, сондықтан оның үстінен тұрғызылған МӨО желісі әрқашан тиімді емес тармақталған топологияны қолданатын болады.Дәл сол кезде ІР желілері іс жүзінде шектелмеген өлшемге ие болуымүмкін.
Тағы бір елеулі мәселе МӨО-да көбінесе әртүрлі проператориетарлы фирмалық хаттамалардың пайдаланылуымен байланысты үйлеспеушілік проблемасын бастан кешетін және, сөз жоқ, оларға қызмет көрсету және желілік инфрақұрылымды басқару үшін біліктілігі жоғары мамандардың көп санын қажет ететін, әртүрлі өндірушілер шығарған желілік жабдықтың қолданылуы болып табылады.
Желілік инфрақұрылымды құрған кезде көбінесе келісімді іздестіруге тура келеді. Мысалға, тіректі ToR (top-of-rack switch) коммутаторлары келесі артықшылықтарға ие: құны төмен, кабельдік қосылыстардың саны аз, жақсы салқындайды, архитектурасы икемдірек, барлық қосылыстар оптикалық. Алайда, бұл схеманы қолдану басқарылатын құрылғылардың көп санының болуын қарастырады.EoR (end-of-row switch) коммутаторларын тіректердің тұтастай қатарына қолданған кезде басқару, резервтеу және қызмет көрсету анағұрлым жеңілдейді, бірақ кабель қосылыстарының саны көбейеді.
Қазіргі МӨО-ның желілеріне келесідей негізгі талаптар қойылады:
Масштабталатындық - жүздеген мың серверді және миллиондаған виртуалды машинаны байланыстыру мүмкіндігінен тұратын, барлық үлкен мәліметтер өңдеу орталықтары үшін ортақ, ең өзекті талап.
Орналасуының тәуелсіздігі,яғни, егер ресурстар олардың желідегі орналасуына тәуелсіз белгілене алса және виртуалды машиналар қызмет көрсетудегі үзілістерсіз еркін миграция жасай алса, мәліметтерді өңдеу орталықтарында ресурстарды динамикалық бөлу анағұрлым тиімдірек болып табылады.
Сервистің сапасы (QoS). Жаһандық желілерден өзгешелігі,мәліметтерді өңдеу орталықтарының желілеріөнімділіктің жоғары деңгейін қамтамасыз етуге тиіс. Бұл өзіне желідегі іркілістерге орнықтылықты және сенімділікті, жалға алушылардың желілерін бір бірінен оқшаулауды (multi-tenant МӨО үшін), желідегі асқын жүктемелерді болдырмау үшін, жүктемені баланстауды қосады.
Бағдарламалық-конфигурацияланатын желілер концепциясы дестелердің жылдам коммутациясын стандартты емес ережелер бойынша жылдам іске асыруға қабілеттілігінің арқасында МӨО жобалаудың қазірде бар проблемаларының көпшілігін шешуге және МӨО қойылатын талаптарды қамтамасыз етуге қабілетті. БКЖ концепциясы желінің нақты құрылымынан абстракциялануға мүмкіндік жасай отырып, екінші деңгейдегі сегменттердің өлшеміне шектеулерді алып тастайды.
Онымен қоса, МӨО желілік инфрақұрылымын басқару икемділін арттырудан өзге, бұрынырақта қол жеткізе алмаған міндеттерді шешу мүмкіндігі пайда болады.Мысалға, осында серверлік желілік құрылғылардың және салқындату жүйелерінің үздіксіз жұмыс істеп тұруы қуаттың орасан зор мөлшерінің тұтынылуына алып келетін, ірі МӨО ауқымдарында қуат тұтыну мәселесі әсіресе қатаң болып отыр.МӨО қуат тұтынуын қысқартудың негізгі тәсілдерінің бірі қолданылмайтын жабдықты динамикалық қосудан ажыратудан тұрады.
1.4 Технология таңдау
Осының алдында мультисервистік желі құру жөніндегі міндет тұрған әрбір операторосы желі бұған негізделетін болатын технологияны таңдауды жасауға тиіс. Бұл үшін келесі мәселелерді шешу керек: бірінші кезекте операторға өзінің желісінің қандай қызмет түрлерін көрсететіндігін анықтап алу, ағымдағы сәттегі трафиктің әр алуан түрлерінің ара қатынасын бағалау және жуырдағы келешекке жағдайды болжау керек. Бүгінгі күні оператордың желісінде шешілетін дәстүрлі міндеттер:
- Интернет мәліметтерінің трафигін беру (жеке тұлғалар жәненемесе компанияларүшін);
- корпоративтік желілердің мәліметтерінің трафигін беру(ЖВЖЛ);
- IP-телефония трафигін беру (жеке тұлғалар үшін жәненемесе корпоративтікжеліде);
- сапасы салыстырмалы жоғары емес бейнетрафик беру (серверлерден бейнеконференциялар немесе бейнетрансляцияларұйымдастыру);
- CATV студиясынан бейнетрафик беру (broadcast бейне және сұрау салу бойынша бейне, VoD) болыптабылады.
Бүгінгі таңда бар болып отырған, тізіп көрсетілген сервистердің көпшілігінің қызметтерін бірыңғай дестеге біріктіруге деген тенденция нарықтың нақты және болжанып отырған сұранысымен де, сервис-провайдерлер арасындағы бәсекелестік күреспен де байланысты болып отыр.
Қызметтердің басым түрлерін анықтап алғаннан кейін, операторға өзінің желісі немесе оның учаскесі үшін магистральдық технологияны таңдап алу керек.
Қазіргі заманғы магистраль келесі талаптарға жауап беруге тиіс:
- масштабталатындық, ықтимал айтарлықтай өсуді ескере отырып, желінің дамуын қамтамасыз ету;
- берудің жоғары жылдамдығы;
- басқарылушылық;
- үздіксіз жұмыс істеудің жеткілікті уақытына, сондай-ақ апат болған жағдайда қалпына келтірудің қолайлы уақытына кепілдік беретін, резервтеудің сенімділігі жәнемүмкіндігі;
- ақпараттың қауіпсіздігі;
- талап етіліп отырған өткізу жолағын қамтамасызету;
- клиенттерге қызмет көрсетудің талап етілетін сапасын қамтамасыз ету.
Сондай-ақ магистральдың маңызды сипаттамасы, оның MAN (Metropolitan Area Network) жағдайында ондаған километрге жететін ұзындығы. Оптикалық кабельдің осындай желілер үшін жіберудің ең артық ортасы болып табылатындығы айдан анық болып отыр:
- оператор үшін маңызы кем түспейтін нәрсе абоненттік кіруді қамтамасыз етуге арналған технологияны таңдап алу болып табылады. Төменіректе кірудің қандай да болсын технологиясының артықшылығын анықтайтын факторлар тізіпкөрсетілген:
- абонентке келетін қосылу құны, маңызды факторлардың бірі, жабдыққа кететін барлық шығынды нақты абонент өзіне алатындықтан - қолданушылардың санының көбеюімен құн іс жүзіндетөмендемейді;
- қосылудың оңайлығы + абоненттерді қамту процесінің жылдамдығын және, қосылу құнының өзін анықтайтынфактор;
- абонент үшін жеткіліктіжылдамдық;
- қажетті өткізу жолағын қамтамасызету;
- клиенттерге қызмет көрсетудің талап етілетін сапасын қамтамасыз ету; қолданылып отырған кабельдік инфрақұрылымға (коаксильді кабель, бұралған жұп, телефон сымы, оптикалық талшық жәнет.с.).
Бүгінгі таңда ең сәтті технология болып SDN технологиясы табылады. GigabitEthernet технологиясы магистральдық технологиялар қатарында шамамен бес жыл бұрын пайда болды. Мәліметтерді беруінің жоғары жылдамдығының және төмен құнының арқасында технология мәліметтер беру магистралі ретінде кең таралымын алды. Қазіргі Gigabit Ethernet жабдығының негізгі сипаттамалары:
- алысқа ататын оптикалық интерфейстердің болуы (Optical Access компаниясында 90 кмаса);
- қазірде бар Ethernet желілерімен толық үйлесімділік;
- масштабталатындық, желілердің бірқалыпты дамуын қамтамасыз ету, транктық магистральдық қосылыстар жасау;
- аса жоғары жылдамдық (10 Gigabit Ethernet стандарты шығарылуға дайындалып жатыр);
- Ethernet трафигін берген кезде LANE ATM және SDH тән басы артықтықтың және күрделіліктің болмауына орай, қарапайымдылық және жоғары тиімділік;
- DiffServ және MPLS секілді, QoSCoSқамтамасыз ету саласындағы ең жаңа жасалымдарды қолдау.
Осылайша, Шымкент қаласында мультисервистік желі құру үшін қалалық талшықты-оптикалық ортада күңгірт талшықтардың негізінде SDN технологиясын қолдана отырып, Gigabit Ethernet технологиясы ұсынылып отыр (А қосымшасы).
Коммутаторды таңдау.
Open vSwitch - гипервизорларда және виртуалды машиналармен компьютерлерде жұмыс істеуге арналған, ашық бастапқы мәтіні бар бағдарламалық көп деңгейді коммутатор. 2.6.15 версиясынан бастап және жоғарырақ Linux-те жұмыс істейді. Коммутатордың негізгі мүмкіндіктері:
- SPANRSPAN, sFlow және Netflow қолдана отырып трафикті, оның ішінде виртуалды машиналардың арасында өтетін трафикті есепке алу;
- VLAN (IEEE 802.1q) қолдау;
- нақты физикалық интерфейстерге байланыстыру және жүктемені шығатын МАС-адрестер бойынша баланстау;
- Ядро деңгейінде жұмыс істеу, көпір ретіндегі жұмыс бойынша Linux бар мүмкіндіктерін қолдау;
- Коммутацияның логикасын басқаруға арналған Openflow қолдайды.
Ядро деңгейіндегі жұмыстан өзге, open vSwitch азырақ өнімділікпен қолданушының құқықтарымен де (ядродан тыс) жұмыс істей алады.
Қолданылуының негізгі салалары:
- әдеттегі bridge tools алмастыру.
- Xen Server, Xen Cloud құрамында пайдалану.
- Platform, KVM, VirtualBox, QEMU [5], ProxMox (2.3-тен бастап) [6,7].
1.5 Қандай жаңа технологиялар телекоммуникация нарығын өзгертуі мүмкін: қалай және неліктен
1.5.1 SDN және NFV нарығы: жолдың ең басында. Қазақстандағы бұлттық қызметтердің интернет-сервистерін ірі жеткізушілердің және мегаМӨО иелерінің тарапынан SDN деген қызығушылық түсінікті: жаңа технологиялар оларға өз міндеттерін тиімдірек және, ең бастысы, азырақ ақшаға шешуге мүмкіндік беріп отыр. Жаңа егістікті игеруге стартаптар бәрінен ерте кірісті. SDN саласындағы ізашарлардың бірі Nicira компаниясы желілерді виртуалдандырудың платформасын және контроллерін жасап шығарды. Белгілі компаниялар да шетте қалып отырған жоқ. Мысалға, NECOpenFlow қолдайтын контроллер және коммутаторлар жасап шығарды. IBM
OpenFlow-үйлесімді коммутаторлардың бағытыншығарды, сондай-ақ олардың контроллермен үйлесімділігіне қамтамасыз ету мақсатында NEC компаниясымен ынтымақтасып отыр. НР OpenFlow қолдауды коммутаторлардың модельдерінің көп санына қосты және SDN контроллерін жасап жатыр. Brocade, Cisco, Extreme Networks және Juniper Networks қоса отырып, көптеген жетекші коммутаторлар мен маршрутизаторлар өндірушілер қазірдің өзінде-ақ OpenFlow-үйлесімді коммутаторлар маршрутизаторлар шығарды. БКЖ нарығы қазіргі кезде тек қалыптасып келеді, онда жаңа технологияларды зерттеулерді, келешегі бар жасалымдарды немесе пилоттық енгізулерді жүргізіп отырған техникалық ілгері жылжыған клиенттер (жаңашылдар) басымдылық танытып отыр. Қазіргі кезде БКЖ технологиясы әзірге жаппай енгізуге дайын емес және ертенарық деп аталатынның қалыптасу сатысынан өтіп жатыр.
Сірә, технологияның жастығына және оның дамуының ықтимал жолдары және жалпы нарықтағы тағдыры туралы толастамай отырған дау- дамайға орай, БКЖ шешімдер нарығының жуырдағы 3-5 жылға өсу потенциалының бірнеше айтарлықтай әртүрлі бағалаулары бар болып отыр. Алайда, нарықтың потенциалын бағалау және нарықтағы негізгі трендтерді талдау тұрғысынан, бұл есептер үлкен қызығушылық тудыруда.
БКЖ шешімдер нарығы тек зертханалық зерттеулерден нарықтық өнімге қарай қозғалып отыр, әлі күнге деін БКЖ анық стандарттар болмай отыр. Markets&Markets аналитикалық агенттігі 2016 ж. БКЖ-өнімдер нарығының көлемі $2 млрд асатын болады деп болжап отыр. Бұл агенттіктің БКЖ және OpenFlow нарығына арналған болжамы өзіне тек коммутаторлар мен маршрутизаторлар нарығын ғана емес, сервистер мен бағдарламалық қамтамасыз ету нарығында бағалауды қосады. Dell'Oro Group агенттігі 2010 жылдан бастап 2016 жылға дейінгі кезеңде компаниялардың БКЖ шығындарының жалпы жиынтығы 17 еседен аса өседі деп шамалайды. Dell'Oro Group берген есебіне сәйкес, желілік жабдықты барлық дерлік өндірушілер 2016 жылы БКЖ қолдайтын және осы технологияның негізіндегі өнімдерін ұсынатын болады, бірақ ол осы технологияның потенциалының тек бір бөлігін ғана пайдаланатын болады.
Forrester консалтингтік корпорациясы БКЖ негізіндегі шешімдер мен өнімдер оларды бизнесте жаппай қолдану үшін дайындықтың қажетті деңгейінде болуына дейін кемінде 5 жыл өтеді деп шамалауда. Алдағы уақытта барлық бытыраңқы компоненттерді үйлестірумен, оларды басқарудың қазіргі жүйелеріне біріктірумен, бағдарламалық қамтамасыз етуді сүйемелдеумен, гипевизор негізіндегі шешімдерді басқарумен және L4-L7 желісінің деңгейіндегі сервистердің жұмысын қамтамасыз етумен байланысты жұмыстардың орасан зор санын атқару күтіп тұр. Бір жыл бұрын SDN Central агенттігінің, Plexxi компаниясының және Lightspeed Ventures венчурлық агенттігінің нарықтың болжанып отырған көлемін күрт көбейтіп жіберген маркетингік есебі жарияланған болатын.
1.6 Жобаның мақсаты
Шымкент қаласындағы абоненттерге SDN технология негізіндегі әртүрлі мультисервистік қызметтерді ұйымдастыру үшін, жобаланатын сымсыз керекті рұқсат сұлбасын құру үшін және түйін аумағында мәліметтерді таратуда жоғары жылдамдыққа (10 Мбитс дейін) қол жеткізуді ұсыну үшін келесідей негізгі мәселелерді қарастыру керек:
- SDN технологиясына қажетті контроллерлер және vSwicth коммутаторының косып үйрену;
- мультисервистік кіру желісінің параметрлерін талдау;
- әртүрлі кодектерді қолдана отырып, кіру желісі жасайтын жүктемені есептеу;
- SDN желіде бейнеконтенттің кідірістерін модельдеу;
- бизнес-жоспaр құру;
- өміртіршілік қауіпсіздігі бойыншa мәселелерді қaрaстыру.
2 SDN келесі буын желісі
2.1 SDN технологиясы туралы жалпы ақпарат
Жаһандық желінің қазіргі архитектурасы өткен ғасырдың 70-ші жылдарының өзінде жасалған болатын және өзгеріссіз қалды, ол кезде жасап шығарушылар тұтынылатын ақпараттың болашақтағы көлемін шамалай да алмаған еді.Қазіргі заманның компьютерлік желілерінде мәліметтерді басқару және беру функциялары қатар атқарылады, бұл бақылау мен басқаруды өте күрделі етіп отыр. Жуырдағы уақытқа дейін желілердің қазіргі қолданылатын архитектурасы қарлығаш ұясы әдісі бойынша дамып келді, яғни, проблемалардың айқындалуына қарай TCPIP хаттамаларының стекіне осы проблеманы шешетін жаңасы қосылып отырды. Бірақ жыл өткен сайын бұл қиынырақ бола бастауда [8].
Бағдарламалық-конфигурацияланатын желілер (software defined network, SDN) деген атау алған тәсіл - бұл желіні басқару және мәліметтер беру деңгейін басқару (маршрутизаторларды, коммутаторларды және т.с.) функцияларын жеке серверде (контроллерде) жұмыс істейтін қосымшаларға көшіру есебінен бөлу. Осындай желілердің идеясын Стэнфорд және Беркли университеттерінің мамандары 2006 жылы-ақ тұжырымдаған болатын, ал олар түрткі болған зерттеулер тек академиялық топтарда ғана қолдау тауып қоймай, оларды 2011 жылғы наурызда Open Networking Foundation (ONF) консорциумын құрған жетекші желілік жабдық өндірушілер белсене қабылдады. Оның құрылтайшылары болып Google, Deutsche Telekom, Facebook, Microsoft, Verizon және Yahoo секілді халықаралық корпорациялар әрекет етті. ONF құрамы жылдам кеңейіп отыр және 90-нан аса мүшені қосады, олардың арасында Brocade, Citrix, Oracle, Dell, Ericsson, HP, IBM, Marvell, NECбар
БКЖ технологиясы келесі мәселелерді шешуге бағытталған:
- арналардың өткізу қабілеттілігін арттыру, желідегі жүктемелерді баланстау;
- желіні басқаруды жеңілдету, желінің масштабталынуын арттыру;
- желілердің қауіпсіздігін арттыру;
- тиімді маршруттау;
- күрделі шығындарды азайту.
Жаңа тәсіл байланыс операторларының, компьютерлік- телекоммуникациялық жабдық өндірушілердің, дата-орталықтардың иелерінің, қаржы құрылымларының - банктердің, хостингтердің және сервис- провайдерлердің тілек-сұранымдарына жауапбереді.
БКЖ қызығушылықтымұндай технологиялардың желілік жабдықтың өнімділігін 25 - 30%арттыруға, желілерді пайдалануға кететін шығындарды 30% азайтуға, желіні басқаруды өнерден инженерияға айналдыруға, қауіпсіздікті арттыруға және қолданушыларға жаңа сервистерді бағдарламамен жасауға және оларды желілік жабдыққа жедел жүктеуге мүмкіндік беретіндігі тудырып отыр. Бұл технологияға бірінші кезекте SDN енгізу олардың жұмысының тиімділігін арттыруға мүмкіндік беретін хостерлер мен провайдерлер, дата-орталықтардың иелері және байланыс операторлары, қаржы және банк құрылымдары, телекоммуникациялық компаниялар қызығушылық танытатынболады.
Жаңа SDN тәсілінің негізгі идеялары:
- мәліметтерді беруді және басқарудыбөлу;
- мәліметтерді басқару деңгейі мен беру деңгейі арасындағы бірыңғай, біркелкі етілген, жеткізушіге тәуелді емесинтерфейс;
- орнатылған желілік операциялық жүйемен және үстінен іске асырылған желілік қосымшалармен контроллердің көмегімен жүргізілетін, желіні логикалық орталықтандырылғанбасқару;
- желінің физикалық ресурстарын визуалдандыру [9]. Желіні логикалық орталықтандырудыңартықшылықтары:
- мәліметтерді беру сапасын, трафиктің инжинирингін және маршруттандыруды нақтыбасқару;
- желілікресурстарды және сервистерді виртуалдандырудың және абстракциялаудың ыңғайлымеханизмі;
- желіде ресурстардың бөлінуінің және сервистердің орналастырылуының тиімділігінарттыру;
- data plane қарапайымету.
Бүгінгі таңда БКЖ-тәсілді іске асырудың үш тәсілі бар (2.1 сурет).
SDN арналған Open Flow хаттамасы.Атауынан келіп шығатынындай, OpenFlow хаттамасы трафиктің идентификациялаған кезде ағын түсінігін пайдаланады.Осы хаттаманы қолдайтын коммутатордың маңызды элементі Flow Table ағындар кестесі болып табылады. Кестенің сол бөлігіндегі бағандар тобы осында ағындардың сипаттамалары көрсетілген сәйкестікалаңдарын қалыптастырады: бұл жіберушінің және алушының МАС- және IP- адрестерін қоса отырып әртүрлі параметрлер, VLANидентификатор, TCP және UDP хаттамалық порттарының номерлері, сондай-ақ басқа да ақпарат болуы мүмкін.
Сурет 2.1. БКЖ( Software Defined Networks )сұлбасы
Бұл мәліметтерді OpenFlow хаттамасының көмегімен кестеге контроллер (2.2 сурет) жазып отырады, әртүрлі ағындардың басымдылықтарын да ол анықтайды: басымдылық неғұрлым жоғарырақ болса, ағындар кестесіндегі тиісті жазба да соғұрлымжоғарырақ.
Сурет 2.2. OpenFlow қолдайтын желілікқондырғыдағы ағындардың типтік кестесі
Кіретін дестелер кестеде көрсетілген параметрлерге сәйкестікке тексеріледі.Егер сәйкестік анықталған болса, дестелерге кестенің келесі бағанында көрсетілген әрекет қолданылады. Сипатты әрекет болып дестені бір немесе бірнеше шығыс портқа қайта жіберу табылады. Онымен қоса, коммутатор дестенің қызметтік алаңдарының ішіндегіні өзгерте, оны лақтырып тастай, талдау үшін контроллерге жөнелте және т.с. алады. Сәйкестік табылмаған жағдайда пакет лақтырылып тасталады немесе контроллерге жөнелтіледі, контроллер бұл ағынды қалай өңдеу керектігін анықтайды және кестеге тиісті жазбаны қосады. Өтіп жатқан трафик бойынша статистика - дестелердің, байттардың және т.с. саны - тиісті алаңдарға орналастырылады (2.1-суретте олар Count ретінде белгіленген). OpenFlow хаттамасын қолдана отырып, контроллер ағындар кестесіндегі жазбаларды қосады, модификациялайды және алып тастайды. Онымен қоса, контроллеркоммутатордан оның сипаттамаларын және жиналған статистиканы сұрай, коммутаторды және оның жекелеген порттарын конфигурациялай алады. Әрекеттердің дәл тізімі өзгеріп отыруы мүмкін, бірақ олардың негізгілері мыналар: форвардинг (мәліметтердің - дестенің, фреймнің үзінділерін - белгіленген портқа қайта жіберу), мәліметтердің үзінділерін одан әрі зерттеу үшін қауіпсіз арна арқылы контроллерге қайта жіберу, мәліметтердің үзіндісін лақтырып тастау (drop). openflow және дестелерді құрылғының шағын бағдарламасының құралдарымен әдеттегі өңдеуді қоса атқаратын құрылғылар үшін әрекеттің төртінші типі: мәліметтердің үзіндісін әдеттегі құралдармен өңдеу қосылады. Осы төрт әрекетті қолдайтын жабдық Type0-құрылғылар болыптабылады.
OpenFlow құрылғысы кем дегенде үш компоненттен:
- ағындар кестесінен (ағылш.flowtable);
- коммутаторды сыртқы интеллектуалдық құрылғымен (контроллермен) басқару үшін қолданылатын қауіпсіз арнадан (ағылш.secure channel);
- басқару үшін қолданылатын OpenFlow protocol хаттамасын қолдаудан тұрады. Осы хаттаманы пайдалану басқарылатын құрылғы үшін бағдарлама жазу қажеттілігін болдырмауға мүмкіндік береді.
2.2. Виртуалды коммутаторлардың негізінде БКЖ іске асыру тәсілдері
БКЖ дәстүрлі желілерден жаңашылдығы.1-тәсіл. Overlay технологиясы (VLAN, NVGRE және т.с. хаттамалары) бойынша виртуалды коммутаторлардың негізінде БКЖ іске асыру тәсілдері: яғни, осыларда виртуалды машиналар айналатын серверлерде виртуалды порттарды өзара коммутациясы ретке келтірілетін және виртуалды порттарды физикалық порттарға бейнелейтін кезде және енді физикалық порттарды өзара туннелмен байланыстырған кезде. Виртуалды коммутатордың өзін бағдарламалау бағдарламалық-конфигурацияланатын контроллер деп аталатын арнайы бөлінген ресурстың көмегімен жүргізіледі. Бағдарламалық-конфигурацияланатын контроллер - бұланығын айтқанда желінің ресурстарын басқаратын, бөлетін, бақылайтын және мониорингтейтін операциялық жүйе. Бірінші тәсілді іске асыру сұлбасы 2.3-суретте келтірілген.
Сурет 2.3. Виртуалды коммутаторлардың негізінде БКЖ Overlay технологиясы бойынша іске асырутәсілдері
2-тәсіл.Екінші бір тәсіл арнайы сервер бөлініп, бұған туннельдеудің көмегімен мәліметтерді берудің тиісті класстары келтірілетіндігінен, одан әрі осы туннельдеу механизмі арқылы бұл сервердің БКЖ-контроллердің басқаруымен мәліметтерді коммутациялауды және жіберуді жүргізетіндігінен тұрады.Бұл тәсілді іске асыру сұлбасы 2.4-суретте көрсетілген.
Сурет 2.4. Трафикті агрегациялау трафиктерінің негізіндегіБКЖ
Екі тізіп көрсетілген тәсіл - бұл әрине, барлық осыдан келіп шығатын нәтижелері бар, бөлудің бағдарламалық іске асырылған әдістері, және ең алдымен бұл нәтижелер мәліметтерді беру жылдамдығына әсерін тигізеді.
3-тәсіл.БКЖ арнайы коммутаторлардың (Openflow, XMPP және т.с. хаттамалар) негізінде іске асыру.
БКЖ желісі OpenFlow коммутаторлардан және БКЖ контроллерлерден тұрады. БКЖ коммутатор тек мәліметтер беру функцияларын іске асырады. Сондықтан бұл бірнеше қарапайым команданы орындай алатын өте қарапайым бағдарламаланатын құрылғы. Қарапайымдылықтың нәтижесі ретінде - ол қазіргі қолданылатын маршрутизаторлардан және коммутаторлардан анағұрлым арзанырақ. БКЖ коммутатордың жұмысының дәстүрлі коммутатордан айырмашылығы келіп түсетін мәліметтер пакетінен тақырыпты бөліп көрсетуден тұрады; егер коммутатор осындай тақырыптары бар дестелерді қалай өңдеу керек екендігімен таныс болса, онда ол өзіне алдын ала жүктелген бағдарлама бойынша әрекет етеді. Басқаша айтқанда, коммутатор қорғалған OpenFlow арна бойынша контроллерге сұрау жібереді. Жауап ретінде контроллерOpenFlow арна бойынша осындай тақырыптары бар дестелерді өңдей бағдарламасынжүктейді.
Контроллер мұның жұмысын Желілік операциялық жүйе (ЖОЖ) басқарып отыратын сервер болып келеді.Дәстүрлі операциялық жүйе тәрізді, ЖОЖ желінің барлық ресурстарын басқарады.БКЖ терминологиясында контроллер деп ЖОЖ атау қабылданған.Контроллердің үстінде маршруттандыру, жүктемені баланстау секілді желілік сервистерді іске асыратын алуан түрлі қосымшалар, алуан түрлі хаттамалар, шлюздер, желілік экрандар (Firewall), шифрлеу, DPI, NAT және т.с. жұмыс істейді.Қосымшаконтроллер басқаратын желі туралы ақпараттың және қосымша контроллерден алатын ақпараттың негізінде ережелер жинағын құрайды, оларды контроллер тиісті коммутаторларға жүктейді.
Контроллер әрқашан өзі басқарып (бағдарламалап) отыратын коммутаторлар желісінің құрылымы және топологиясы туралы ақпаратқа ие болады. Бұл мәліметтер дестелерінің алға жылжуын оптималдандыруға, жекелеген дестелерді емес, мәліметтер ағындарын динамикалы басқаруға, жүктемені баланстауға, желідегі ақпараттық қауіпсіздік талаптарының орындалуын бақылап отыруға мүмкіндік береді.
Желінің жұмыс істеуінің осылайша ұйымдастырылуы сонымен қатар қандай да болсын нақты жеткізушінің желілік жабдығына тәуелділік секілді мәселені шешеді, өйткені БКЖ осыларды желілік операциялық жүйе желілік коммутаторларды басқару үшін қолданатын дестелерді қайта жіберу үшін бағдарламалық деңгейде үлкен абстракцияларды қолданады.Тәсілді іске асыру сұлбасы 2.5-суреттекелтірілген.
Әр тәсілдің өз артықшылықтары мен кемшіліктері бар. БКЖOverlay арқылы іске асырудың артықшылықтары:
- адрестер мен топологияларды виртуалдандырудың қарапайымдылығы;
- физикалық желінің ұйымдастырылуына тәуелсіздік (кез келген ІР желі).
Сурет 2.5. БКЖ арнайы коммутаторлар негізінде іскеасыру
Бірақ бұл ретте осындай іске асыру инкапсуляция процесіне қосымша ілеспе шығындар жасайды, тасымалдың сапасын басқаруға мүмкіндік бермейді, инкапсуляцияланған трафикті бақылаудың және ретке келтірудің жоғары күрделілігіне ие, сондай-ақжелінің конфигурациясы бойынша айтарлықтай шектеулерге ие.
БКЖ OpenFlow арқылы іске асырудың артықшылықтары:
- өнімділік: (инкапсуляцияға және бағдарламалық коммутаторлардың жұмысына қосымша шығындардыңболмауы);
- тасымалдың сапасын басқару;
- трафикті икемді басқару;
- trouble shooting автоматтандыру;
- виртуалдандыру және абстракция;
- айтарлықтай қарапайым желілік жабдық.
Бірақ бұл іске асыру арнайы желілік жабдықты енгізуді қажет етеді. БКЖ архитектурасында үш деңгейді бөліп көрсетуге болады:
- желілік құрылғылардың (коммутаторлардың және мәліметтерді беру арналарының) жинағын беретін инфрақұрылымдық деңгей;
- өзіне қосымшаларға желілік сервистерді желілік қондырғылар мен желіні басқаруға арналған бағдарламалық интерфейсті қамтамасыз ететін желілік операциялық жүйені қосатын басқарудеңгейі;
- желіні икемді және тиімді басқаруға арналған желілік қосымшалар деңгей.
БКЖ аясында белсенді дамытылып отырған идеялардың бірі - бұл желілік ресурстарды одан да тиімдірек пайдалану мақсатында желілерді виртуалдандыру. Желілерді виртуалдандыру деп желілік трафикті оқшаулау - әртүрлі сипаттамалары бар бірнеше мәліметтер ағындарын бірыңғай физикалық желіні логикалық желілермен немесе желілік қималармен (network slices) бөліп отыруы мүмкін бір логикалық желінің шеңберінде топтастыру (мультиплекстендіру) түсініледі. Осындай әрбір қима өзінің адресациясын, өзінің маршруттандыру, сервистердің сапасын басқару алгоритмдерін және т.с. пайдалануымүмкін.
Желіні виртуалдандыру мыналарға:
- желілік ресурстардың таралу тиімділігін арттыруға және оларға түсетін күштібаланстауға;
- әртүрлі қолданушылардың және қосымшалардың ағындарын бір физикалық желінің шеңберіндеоқшаулауға;
- әртүрлі қималардың әкімшілеріне өзінің маршруттандыру саясаттарын және мәліметтер ағындарын басқару ережелерінпайдалануға;
- нақты физикалық желілік инфрақұрылымды пайдалана отырып, желіде эксперименттержүргізуге;
- әрбір қимада нақты қосымшаларға қажетті сервистерді ғана пайдалануға мүмкіндікбереді.
БКЖ ресурстарын виртуалдандырудың, желіні қималарға бөлудің және оларды басқарудың мысалдарының бірі Flow Visor - Open Flow коммутаторлар мен әртүрлі БКЖ контроллерлерінің арасындағы ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
НОРМАТИВТІК СІЛТЕМЕЛЕР ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
7
АНЫҚТАМАЛАР, ҚЫСҚАРТУЛАР МЕН БЕЛГІЛЕУЛЕР ... ... ... ... ... ..
7
КІРІСПЕ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
8
1 Шымкент қаласының қолданыстағы желісін талдау ... ... ... ... ... ... ... ...
10
1.1 Қазіргі желілерде мәліметтер беруге талаптар ... ... ... ... ... ... ... ... ... ...
13
1.2 Желідегі мәлімет ағындары ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
15
1.3 Мәліметтерді өңдеу орталықтарының желілері ... ... ... ... ... ... ... ... ... ..
16
1.4 Технология таңдау ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
17
1.5 Қандай жаңа технологиялар телекоммуникация нарығын өзгертуі мүмкін: қалай жәненеліктен ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
19
1.6 Жобаның мақсаты ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
21
2 SDN келесі буын желісі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
22
2.1 SDN технологиясы туралы жалпы ақпарат ... ... ... ... ... ... ... ... ... ... ... .
22
2.2. Виртуалды коммутаторлардың негізінде БКЖ іске асыру тәсілдері ..
25
2.3 Желілік функцияларды виртуалдандыру ... ... ... ... ... ... ... ... ... ... ... ... .
29
2.4 Желілік операциялық жүйе ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
31
2.5 Модульдерді жүктеуге және олардың арасындағы әрекеттестікті қамтамасыз етуге арналған сервистер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
35
2.6 БКЖ қолданылатын басқару платформасына талаптарды құру ... ... ...
37
2.7 Open vSwitch құрылымы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
42
3 Техникалық есептеулер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
46
3.1 Кезектердің өсу жылдамдығы кезінде желілік тораптардың асқын жүктемелерін табу әдісі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
46
3.2 Трафиктің фрактальдылығын ескере отырып, дестелердің маршрутизатордың буферінде жоғалтылу ықтималдығының модельдерін талдау ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
49
3.3 Мультисервистік кіру желісінің параметрлерін талдау ... ... ... ... ... ...
52
3.4 Әртүрлі кодектерді қолдана отырып, кіру желісі жасайтын жүктемені есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
53
3.5 Қызметтердің әр алуан түрлерін пайдаланатын абоненттерден келіп түсетін жүктеменің құрылымын ескере отырып, тораптың өнімділігін есептеп шығару ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
58
3.6 Қарастырылып отырған желіде бейнеконтенттің кідірістерін модельдеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
69
3.7 Модельдеу ортасы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
70
4 Өмір тіршілік қауіпсіздігі ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
72
4.1 Потенциалды зиянды факторларды анықтау ... ... ... ... ... ... ... ... ... ... ...
72
4.2 Қызмет көрсететін персоналдың қауіпсіздігін қамтамасыз ету ... ... ...
74
4.3 Жартылай өткізгіш лазердің сәуле шығаруының шекті-жол берілетін деңгейлерін есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
76
4.4 Жабдықтың жерге тұйықталуын есептеу ... ... ... ... ... ... ... ... ... ... ... ...
78
5 Бизнес жоспар ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
82
5.1 Түйіндеме ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
82
5.2 Мақсаттар мен міндеттер ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
82
5.3 Компания және сала ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
83
5.4 Маркетинг стратегиясы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..
83
5.5 Ұйымдық жоспар ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .
84
5.6 Инвестициялық шығындарды есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... .
85
5.7 Жылдық эксплуатациялық шығындарды есептеу ... ... ... ... ... ... ... ... ..
87
5.8 Табыстарды есептеу ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
91
5.9 Экономикалық тиімділік көрсеткіштерін есептеу ... ... ... ... ... ... ... ... .
92
ҚOPЫТЫНДЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
94
ПАЙДАЛАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ ... ... ... ... ... ... ... ... ... ... ... ...
95
ҚОСЫМША А ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
97
ҚОСЫМША Б ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
99
АНЫҚТАМАЛАР, ҚЫСҚАРТУЛАР МЕН БЕЛГІЛЕУЛЕР
DWDМ тexнaлoгияcы тaлшықты - oптикaлық apнaның өткiзy жoлaғын жүз ece үлкeйтy кeзiндeгi eң мacштaбты жәнe тиiмдi әдic.
ROADM - бұл cызықты күшeйткiштiң нұcқacы, мұндa әp диaпaзoндaғы кeзкeлгeн дaнaдaғы oптикaлық apнaлap ayыcтыpылyы нeмece шығapылып тacтaлyы мүмкiн.
Эквaлaйзep - жүйeнiң тұpaқтaндыpyшы күшeйтy элeмeнтi, apнaдaғы қyaт дeңгeйiнiң ayытқyын өтey үшiн қoлдaнылaды.
Интepкoнeкция түйiнi - бipнeшe бaғыттaғы тapaлымдapды apнaлық қocылыc мүмкiндiгi, oптикaлық дeмyльтиплeкcop мeн мyльтиплeкcopлық блoктap apaлapынa кoммyтaциялық пaнeлдi қoлдaнyмeн нeгiздeлeдi.
DWDМ - Dense Wave Division Multiplexing
FADU - Fixed Add Drop Unit
CCU - Channel Control Unit
PMU - Power Monitor Unit
ТОМ - Tapaтyшы oптoэлeктpoнды мoдyль
ҚОМ - Қaбылдayшы oптoэлeтpoнды мoдyль
ASE - Amplified Spontaneous Emission
LWEDFA - Long Wavelength EDFA
КІРІСПЕ
Компьютерлік желілердің қазіргі жағдайы және даму тенденциялары дәстүрлі технологиялардың негізіндегі желілердің өнімділігінің, өткізу қабілетінің өсу потенциалының іс жүзінде таусылғандығын көрсетті. Бұл маршруттауға уақыт шығындарының өсуімен, әсіресе саясаттарға, жылдамдығы жоғары жаһандық желілер мен мәліметтерді өңдеу орталық- тарының сервис сапасына деген жаңа қажеттіліктерді ескере отырып, желіні конфигурациялаудағы және ондағы ағындарды басқарудағы қиындықтармен, желілерді визуалдандыруға, яғни тәуелсіз сапа саясаттары бар бірнеше логикалық оқшауланған желіні желілік ресурстардың ортақ жинағына бейнелеуге деген қажеттіліктің өсуімен байланысты болып отыр.
Тақырыптың өзектілігі. Кеңістікте айтарлықтай қашықтықтарға таратылған қолданбалы процестер арасындағы байланыс арналарының өткізу қабілетінің тапшылығы елеулі проблема болып табылады. Байланыс арналарын жасаудың жоғары құнына орай, өткізу қабілетінің ресурсын пайдалану тиімділігін арттыру міндеті біздің кезімізде өзекті болып қалып отыр.
Жұмыстың жаңалығы мен практикалық маңыздылығы. Мәліметтер алмасу арнасының өткізу қабілетінің тапшылығының себебі болып физикалық және арналық деңгейлердің өткізу қабілетінің нақты таусылуы да, байланыс арналарының жұмысының тұрақсыздығы да қызмет ете алады. Бұл ретте осы мәселемен ұшырасқан қолданушы (процесс) қалыптасқан проблеманы жеке-дара шешуге қауқарсыз болып шығады. Оның себептерін анықтау үшін желінің құрылуының принциптеріне және оның құрылысына кешенді көзқарасқа, сондай-ақ оның жұмыс істеуінің принциптерін және хаттамаларын, байланыстардың сипаттамаларын және топологиясын білуге ие болуқажет.
Заманауи ғылыми мәселенің шешетін жағдайы. Тіптен өткізу қабілетін шектеудің шектелген және классификацияланған көзі, оның ішінде форс-мажорлық немесе қарсы тұруға болмайтын күші бар өзге жағдайлар бойынша физикалық тұрғыдан қол жеткізбейтіндей болып шығуы мүмкін. Сондықтан мәселені шешу көбінесе әкімшілік және қаржылай ресурсты, бөтен тұлғалармен және ұйымдармен келісуді талап етеді, осы себеппен созылып кетеді, ал кей кездері бюрократиялық, конъюнктуралық және басқа да себептермен қиындай түсіп, тоқтап та қалады. Солай болса да, мәліметтер алмасу арналарының өткізу қабілетінің тапшылығымен желілер мен жүйелер үнемі ұшырасып отырады, сондықтан бұл мәселені шешу өзекті және қажетті. Жоғарыда аталған мәселелерге жауап ретінде 2006 жылы бағдарламалық-конфигурацияланатын желілердің (БКЖ) SDN концепциясы пайда болды (және де сол кезден бастап қарқынды дамып отыр). Осы концеп- цияны ұстану желілердегі марштруттауды жылдамдатуға, конфигура- циялаудың, визуалдандырудың, қызмет көрсету сапасын ретке келтірудің ыңғайлылығын арттыруға мүмкіндік береді, бірақ қосымша зерттеулерді және пысықтауларды, жекелей алғанда, желіні басқаруға және оларды орындауға арналған платформаны басқаруға арналған бағдарламалық қосымшаларды, желілік коммутаторлардың аппаратурасын ұйымдастыру саласындағы зерттеулер мен жетілдірулерді қажет етеді. Тақырыптық саланы алдын ала талдау және патенттік іздестіру БКЖ арналған өнеркәсіптік пен өндірістік жабдықтың және бағдарламалық құралдардың, сондай-ақ ғылыми-зерттеу жобаларының көп санының бар екендігіне қарамастан, ағымдағы сәтте БКЖ технологиясын кемеліне жеткен деп тануға болмайтындығын, нарықтың тек дамып отырғандығын, оның 2015-2016 жылдарға күрт өсуі болжанып отырғандығын көрсетті.
Диплом жұмыстың негізгі мақсаты мен міндеті - Шымкент қаласының Абай ауданы аумағына SDN технологиясын енгізу.
Алға қойылған мақсатқа қол жеткізу үшін келесі міндеттер ескерілді:
- Технология таңдау;
- желілік ОЖ БКЖ құру мақсаты бойынша салыстыру;
- маршрутизатордың буферінде асқын жүктемелерді табу алгоритмдерін және әдістемелерін талдау;
- әртүрлі кодектердің өткізу жолақтарына әсерінталдау.
1 Шымкент қаласының қолданыстағы желісін талдау
Зерттеу нысаны ретінде Шымкент қаласының Абай ауданының тұрғындарына көрсетілетін желілік қызметтер таңдап алынды. Аймақ қаланың батыс аймағында орналасқан және шамамен 375,4 мың адам тұрғынымен 31,34 шаршы км алып отыр. Әрқайсысында орташа алғанда 30 көп пәтерлі тұрғын ғимарат бар шамамен 50 шағын ауданды қосып отыр. Шағын ауданның картасы 1.1-суретте бейнеленген.
Сурет 1.1. Абай ауданының картасы
Бұл ауданда бірнеше байланыс операторы жұмыс істеп отыр және олардың арасынан ID-netсауда белгісімен Қазақтелеком АҚ және Интернет үйдесауда белгісіменКар-Тел ЖШС секілді ірілерін бөліп көрсетуге болады.Бұл компанияның екеуі де мұндағы орташа жылдамдық кемінде 20 Мбитс құрайтын интернет желісіне кең жолақты кіру мүмкіндігін береді.
Желіні құрудың принциптік сұлбасы мен құрылымын толығырақ қарастыру үшін осы ауданның кішірек бірлігін таңдап алу керек. Сондықтан,есептеулер мен салыстырулар үшін зерттеу жобасының негізі ретінде 7 шағын ауданды аламыз. 1.1-кестеде шағын ауданның көшелері мен олардың ұзындықтары келтірілген. Үйлердің арасындағы орташа қашықтық 15 м бастап 50 м дейін. Әкімшілік ғимараттарды ескермегенде, үйлердің саны 36 құрайды.Тұрғындары шамамен 10 000адам.
Кесте 1.1. Шағын ауданның көшелері және олардыңұзындықтары
Көшелер
Ұзындығы, м
Абай даңғылы
450
Янтарная көшесі
500
Алтынсарин көшесі
440
Желіні қалыптастырудың негізгі қозғаушы күші деп қосымшалар есептеледі.Желіде жылдамдығы жоғары жаңа технологиялар пайда болуда.Трафиктің жаңа түрлерін, мысалға, IP-телефонияны, аудио- және бейнетаратуды компьютерлік желілерге көшіру дестелердің кідірістерінің төмен мәнін қамтамасыз етумен, дестелерді топпен жеткізуді қолдаумен және т.с. байланысты жаңа талаптардың пайда болуына алып келді [1].
Телекоммуникациялық желілердің жағдайын зерттеу жуырдағы кезеңде интеграцияланған, мультисервистік желілерді құруға бағытталғандықтың сақталып қалатындығын көрсетіп отыр.Internet желісінің қазіргі жағдайы көрсетіп отырғанындай, шектеулі өткізу қабілеті жағдайларында жалпы алғанда трафикті тең құқықпен өңдеу айтарлықтай проблемаларға алып келіп отыр.Осылайша, маңызды мәліметтерді жөнелту өлшемі үлкен файлды жіберумен уақытша тосқауыл қойылуы мүмкін. Сондықтан құрама функциялары бар телекоммуникациялық желілерді құрған кезде кез келген қосымша үшін қызмет көрсетудің ниет етілген дәрежесіне кепілдік беру қажет. Кері жағдайда қолданушылар тар мамандандырылған желінің пайдасына мультисервистік желіден бас тартуға мәжбүрболады.
Ең көп қиыншылықтар бір мультисервистік желіге тар маандандырылған желілердің көп санын жинап алуға әрекет еткен кезде пайда болады. Мүлдем барлық мәселелерді шешіп тастайтын желіні алу одан да қиын. Жаңа сервистердің пайда болуына байланысты, желінің функциялары пайдалану барысында өзгеріп отыруы мүмкін. Желіде жұмыс істеуді көздеген қосымшалардың өзгерістері телекоммуникациялық желіге жаңа талаптаржүктейді.
Әуезов ауданында қолданылып келе жатқан желі желілік қондырғылардың буферінде 3 кезекке классификациялай отырып, трафиктің приоритезациясын қолданады. Желінің құрылымдық сұлбасы технологияның типтік архитектуралық-топологиялық шешімдерін талдаудың негізінде қалыптасқан, 1.2-суретте келтіріліп отыр.
Зерттеу бірлігі ретінде №7 шағын аудан таңдап алынды. Болу нүктесінде агрегация тораптар орналасқан, оларға кіру желісі қосылады. Бірлесе отырып, тораптар магистральдік желіні құрайды. Магистральдік желінің тораптары 10 Gigabit Ethernet технологиясын қолдана отырып, сақина топологиясымен байланыстырылған.
Магистральдік желі жоғары деңгейдегі провайдердің мәліметтерді беру желісіне қосылудың екі нүктесінде: 1 алаңда және 50 алаңда қосылады. Осындай қосылудың есебінен іркіліске төзімділік айтарлықтай артады, өйткені жақтардың бірі жұмыс істемей қалған кезде бүкіл трафик сақинаның екінші жағы арқылы жүреді. Бірден екі учаскенің де жұмыс істемей қалуы екіталай, сондықтан магистральдік желінің сенімділігі аса жоғары.
Сурет 1.2. Желінің құрылымдықархитектуралық-топологиял ық
сұлбасы
Магистральдік желіден трафик ядроның орталығына келіп түседі.Ядрода жоғарғы деңгейдегі провайдерлерге қосылу қамтамасыз етіледі және бейнеконтенті бар серверлер, файлдық, почталық, ойындық серверлер орналасқан.Сондай-ақ ядрода softswitch және тірек-транзит станциясы орналасқан, осылардың арқасында IP телефонияның трафигін өңдеу (қаларалық және халықаралық бағыттарға жалпы пайдаланылатын телефон желісіне шығу) қамтамасыз етіледі.
Зерттеліп отырған ауданда агрегация желісі оптикалық-талшықты кабельді үнемдеу үшін, магистральдік желідегідей принцип бойынша құрылған, сондай-ақ сызықтық сақина технологиясы қолданылады. Агрегация желісінің жабдығы үйлердің шатырларына монтаждалған. Оптикалық- талшықты кабель үйлердің арасында аспалы тәсілмен байланыстырылған, алегер қашықтықтар жол берілетін нормалардан асып кетіп жатса, кабель канализацияларына жатқызылады. Зерттеуліп отырған ауданда агрегация деңгейінің желісі 1.3-суретте көрсетілгендей көрінеді.
Кіру желісі ҒТТН технологиясы бойынша ұйымдастырылған және Ethernet (P2P) технологиясынан тұрады. Агрегация тарапынан пәтерлер немесе кеңселер оптикалық кабельдердің көмегімен тікелей СРЕ қондырғыларына қосылады. Осылайша, бір оптикалық арнаға жазылулары бар абоненттердің қажетті саны қосылады.Абоненттерді СРЕ қондырғысы арқылы желіге 100 Мбитс дейінгі жылдамдықта оптикалық кабель бойынша тікелей қосужүргізіледі.
Сурет 1.3. 7 шағын аудандағы желініңқұрылымы
1.1 Қазіргі желілерде мәліметтер беруге талаптар
Қызметтердің интеграциясы бар кез келген желіде таралып отыратын мәліметтердің негізгі ағындарын зерттеу және салыстыру желіні құрудың трафиктің екі түрін, атап айтқанда: изохронды (сөз, бейне, факсимиле) және асинхронды (мәліметтер, файлдар) біріктіру мәселесін шешуді талап ететіндігін көрсетіп отыр.
Изохронды трафикке тән белгі - оны нақты уақытта берген кезде сандық тракттың беретін және қабылдайтын порттарындағы мәліметтердің порциялары арасындағы нақты уақыт аралықтарына қатысты сақтауға деген қажеттілік, яғни изохрондылық деп мәліметтер ағынының белгіленген дәлдікпен берген кезде өзінің жекелеген элементтерінің уақыттық орналасуын сақтап қалу қасиетін түсінуге болады. Трафикті нақты уақытта жіберу байланыс сеансында желілік кідірістің өзгеріссіз құрамдас бөлігінің (желілік кідіріс - network delay деп, жіберудің кідірісі немесе транзиттік кідіріс - transit delay, сондай-ақ кешігу-latency деп аталатын) белгіленген шамасын ұстап отыруды талап етеді, ал изохрондылықтың аталған деңгейі желілік кідірістің айнымалы құрамдас бөлігінің немесе оның флуктуациясының (jitter) мәніне себепкер болады. АТМ желісінде жол берілуі мүмкін изохрондылықтың қажетті дәрежесін беру екі себеппен айтарлықтай. Біріншіден, дестенік коммутациясы бар әртүрлі желілерде желілік кідірістің айнымалы құрамдас бөлігінің өлшемі жіберудің талап етілетін изохрондылығының өлшемінен азырақ болуға тиіс (мысалға, сөзді беру үшін [2,3], адамның психологиялық- физиологиялық қасиеттеріне орай, ол қайтадан келген сөздік сегменттердің жіберілген жерінде естілуі қайтадан басталған уақытқа қарай аяқталуға және дыбыс сегменттерінің осындай қалпына келуі осындаймен жүруге тиісті дәлдікті пайдалы түсінуге тиіс). Екіншіден, жобаланып отырған АТМ желілері изохронды трафиктің әр алуан түрлері үшін белгіленген шектерде айнымалы кідірістің ұстап отырылуына кепілдік беруге тиіс және осындай шекаралар белгілі болуға тиіс.Одан арғы жерде изохронды трафик деп осы класстан ең тән трафик ретінде сандық сөзді түсінетін боламыз.
Изохронды трафиктен өзгешелігі, асинхронды трафик тұрақты кідірістің салыстырмалы түрде үлкен вариацияларына жол береді, мәліметтерді берудің жоғары растылығын талап етеді және байланыс арналары бойынша берген кезде изохрондылықты ұстап отыруға шекті емес.Одан арғы жерде асинхронды трафик деп өзінің жөнелтілуі үшін осы класстағы трафиктің басқа түрлерімен салыстырғанда, аз желілік кідірісті қажет ететін диалогтық мәліметтерді түсінетін боламыз.
Байланыс желісі бойынша мәліметтерді жіберудің маңызды спецификалары келесілерден тұрады:
- жіберудің жоғары шынайылығы қажет, мәліметтердің жекелеген порцияларының енгізілуіне және түсіп қалуына жол берілмейді. Қателерді анықтаудың және ақпараттың тиісті блоктарын екінші қайтара жіберудің сенімді тәсілдерін қолдануқажет;
- орнатылған интерактивті қосымшалар үшін транзиттік кідіріске жауап қайтару уақытының талаптарымен сипатталатын шектеулер бар болуы мүмкін болғанымен, желінің мәліметтерінің тұрақты кідірісінің шамасына және оның дисперсиясына қатаң шарттарболмайды;
- желіде мәліметтерді жіберудің және қабылдаудың кездейсоқ және тәуелсіз қарқындарына жолберіледі;
- мәліметтерді көп режимдік алмасуды (диалогтық жіберу, файлдар жәберу және т.б.) ұйымдастыру және басымдылықтардың таралған жүйесі қажет;
- әдетте, ақаулықтың ықтималдығы 10-4 төмен болмайтын, жоғары сапалы байланыс арналарықолданылады;
- өткізу жолағының еніне қойылатын талаптар үлкен аралықтарда: төменгі сортты интерактивті қосымшалар үшін ондаған кбитс бастап графикалық мәліметтермен жұмыс істеуге бағытталған қосымшалар үшін мыңдаған Мбитс дейінгі аралықтарда жатыр.
1.2 Желідегі мәлімет ағындары
Тарихи тұрғыдан алғанда, маршрутизаторлардың мәліметтер жіберу желілеріндегі ең елеулі функциялардың көбін іске асыратындай етіп қалыптасты.Ақпараттық технологиялардың өсіп, өрлеуі Ethernet желілерінде жіберілетін мәліметтердің жылдамдықтарының және көлемдерінің аяқ астынан артуына алып келді.Онымен қоса, ақпарат алмасудың құрамы да айтарлықтай өзгерді. Интернет-технологиялардың және VLAN-сегменттеудің жаппай қолданылуы қазіргі ақпарат жіберу желілерінде жіберілетін және қабылданатын трафиктің 80% астамының арналық сегменттің шектеріне шығуына және, демек, желілік деңгейде өңдеуден өтуге міндетті болуына алып келді. Мәліметтерді берудің қазіргі желісінде маршрутизатордыңнегізгі және қосымша функцияларының сенімді іске асырылуы желінің мәліметтер жіберуге дайындық дәрежесін толығымен анықтайтындығы айдан анық болып отыр.
Мәліметтерді жіберудің қазіргі заманғы желілерінің хаттамалары. Қазіргі желілердің көбірек саны 2 технологияны - Интернет (TCPIP) және Ethernet (IEEE 802.3) қолдануға негізделеді.1.2-кестеде қазіргі заманғы мәліметтер жіберу желілерінде ақпарат алмасуды ұйымдастыру үшін ең жиі қолданылатын негізгі хаттамалардың сипаттамаларыкелтірілген.
Кесте 1.2. Қазіргі желілерде мәліметтер алмасу үшін қолданылатын хаттамалар
Хаттаманың атауы
ISO 7498 деңгейі
PDU белгіленуі
Құжат
TCP (Transmission Control Protocol)
Транспорттық
Сегмент
IETF RFC 793
UDP (User Datagram Protocol)
Транспорттық
Дейтаграмма
IETF RFC 768
IP (Internet Protocol)
Желілік
Пакет
IETF RFC 791
Ethernet
Арналық
Кадр
IEEE 802 3
Ethernet хаттамаларына танымалдықты олардың абоненттердің бірыңғай кіруі бар мәліметтер жіберу ортасында (оптикалық кабель - Ethernet-II, IEEE - 10 Base 5)зерттелетін жергілікті желілерде арналық деңгейде ақпараттық әрекеттестікті ұйымдастыру үшін қолданылуыәкелді.
Бүгінгі таңда бұл хаттама абоненттердің әртүрлі кіруі бар мәліметтер беру орталарында (коаксиальды және талшықты-оптикалық кабель) тұрғызылып жатқан жергілікті, аудандық және қалалық желілерде қолданылады.
IP (Internet Protocol) хаттамасы Интернет желісінде хабарламаларды жеткізу жағдайының негізгі принциптерін және желілік адрестің құрамын қамтамасыз етеді.
Интернет желісінде тасымал деңгейіндегі екі хаттама қолданылады:
- UDP (User Datagram Protocol) - қолданушының дейтаграммаларының хаттамасы;
- TCP (Transmission Control Protocol) - жіберуді басқару хаттамасы [4];
- UDP хаттамасы дейтаграммаларды жеткізудің тасымал хаттамаларына жатады және жеткізу процесіне желінің сенімділігін қамтамасыз ету, жеткізудің кепілдік берілгендігі және ақпарат алмасу қарқынын басқару бөлігінде жоғары талаптар қойылмайтын жағдайда қолданылады.
ТСР хаттамасы Интернет желісінің негізгі тасымал хаттамасы деп есептеледі және ақпарат ағынын бақылау мүмкіндігіне және қолданушының қосымшаларының ақпарат блоктарын кепілдікпен жеткізуге кепілдік береді.
1.3 Мәліметтерді өңдеу орталықтарының желілері
Қазіргі мәліметтерді өңдеу орталықтары (МӨО) міндеттердің ең кең аясын шешу үшін қолданылатын ондаған мың физикалық серверді және жүздеген мың виртуалды машинаны біріктіре алады. Бұл МӨОжелілерін құрған кезде белгілі бір проблемалар жасайды.
МӨО қолданушылардың көпшілігі үшін олар жалға алып отырған машиналардың TCP\IP стекінің арналық деңгейіндегі байланыстылығы қажет, алайда, қажетті өлшемдегі жергілікті желілерді құрған кезде бірқатар шешілуі қиын проблема пайда болады. Мысалға, ірі МӨО ауқымында арналық деңгейдегі хаттамалар әртүрлі қолданушылардың арасындағы оқшаулануды қамтамасыз етуге қауқарсыз. Онымен қоса, Ethernet хаттамасы циклдардың пайда болуына жол бермейді, сондықтан оның үстінен тұрғызылған МӨО желісі әрқашан тиімді емес тармақталған топологияны қолданатын болады.Дәл сол кезде ІР желілері іс жүзінде шектелмеген өлшемге ие болуымүмкін.
Тағы бір елеулі мәселе МӨО-да көбінесе әртүрлі проператориетарлы фирмалық хаттамалардың пайдаланылуымен байланысты үйлеспеушілік проблемасын бастан кешетін және, сөз жоқ, оларға қызмет көрсету және желілік инфрақұрылымды басқару үшін біліктілігі жоғары мамандардың көп санын қажет ететін, әртүрлі өндірушілер шығарған желілік жабдықтың қолданылуы болып табылады.
Желілік инфрақұрылымды құрған кезде көбінесе келісімді іздестіруге тура келеді. Мысалға, тіректі ToR (top-of-rack switch) коммутаторлары келесі артықшылықтарға ие: құны төмен, кабельдік қосылыстардың саны аз, жақсы салқындайды, архитектурасы икемдірек, барлық қосылыстар оптикалық. Алайда, бұл схеманы қолдану басқарылатын құрылғылардың көп санының болуын қарастырады.EoR (end-of-row switch) коммутаторларын тіректердің тұтастай қатарына қолданған кезде басқару, резервтеу және қызмет көрсету анағұрлым жеңілдейді, бірақ кабель қосылыстарының саны көбейеді.
Қазіргі МӨО-ның желілеріне келесідей негізгі талаптар қойылады:
Масштабталатындық - жүздеген мың серверді және миллиондаған виртуалды машинаны байланыстыру мүмкіндігінен тұратын, барлық үлкен мәліметтер өңдеу орталықтары үшін ортақ, ең өзекті талап.
Орналасуының тәуелсіздігі,яғни, егер ресурстар олардың желідегі орналасуына тәуелсіз белгілене алса және виртуалды машиналар қызмет көрсетудегі үзілістерсіз еркін миграция жасай алса, мәліметтерді өңдеу орталықтарында ресурстарды динамикалық бөлу анағұрлым тиімдірек болып табылады.
Сервистің сапасы (QoS). Жаһандық желілерден өзгешелігі,мәліметтерді өңдеу орталықтарының желілеріөнімділіктің жоғары деңгейін қамтамасыз етуге тиіс. Бұл өзіне желідегі іркілістерге орнықтылықты және сенімділікті, жалға алушылардың желілерін бір бірінен оқшаулауды (multi-tenant МӨО үшін), желідегі асқын жүктемелерді болдырмау үшін, жүктемені баланстауды қосады.
Бағдарламалық-конфигурацияланатын желілер концепциясы дестелердің жылдам коммутациясын стандартты емес ережелер бойынша жылдам іске асыруға қабілеттілігінің арқасында МӨО жобалаудың қазірде бар проблемаларының көпшілігін шешуге және МӨО қойылатын талаптарды қамтамасыз етуге қабілетті. БКЖ концепциясы желінің нақты құрылымынан абстракциялануға мүмкіндік жасай отырып, екінші деңгейдегі сегменттердің өлшеміне шектеулерді алып тастайды.
Онымен қоса, МӨО желілік инфрақұрылымын басқару икемділін арттырудан өзге, бұрынырақта қол жеткізе алмаған міндеттерді шешу мүмкіндігі пайда болады.Мысалға, осында серверлік желілік құрылғылардың және салқындату жүйелерінің үздіксіз жұмыс істеп тұруы қуаттың орасан зор мөлшерінің тұтынылуына алып келетін, ірі МӨО ауқымдарында қуат тұтыну мәселесі әсіресе қатаң болып отыр.МӨО қуат тұтынуын қысқартудың негізгі тәсілдерінің бірі қолданылмайтын жабдықты динамикалық қосудан ажыратудан тұрады.
1.4 Технология таңдау
Осының алдында мультисервистік желі құру жөніндегі міндет тұрған әрбір операторосы желі бұған негізделетін болатын технологияны таңдауды жасауға тиіс. Бұл үшін келесі мәселелерді шешу керек: бірінші кезекте операторға өзінің желісінің қандай қызмет түрлерін көрсететіндігін анықтап алу, ағымдағы сәттегі трафиктің әр алуан түрлерінің ара қатынасын бағалау және жуырдағы келешекке жағдайды болжау керек. Бүгінгі күні оператордың желісінде шешілетін дәстүрлі міндеттер:
- Интернет мәліметтерінің трафигін беру (жеке тұлғалар жәненемесе компанияларүшін);
- корпоративтік желілердің мәліметтерінің трафигін беру(ЖВЖЛ);
- IP-телефония трафигін беру (жеке тұлғалар үшін жәненемесе корпоративтікжеліде);
- сапасы салыстырмалы жоғары емес бейнетрафик беру (серверлерден бейнеконференциялар немесе бейнетрансляцияларұйымдастыру);
- CATV студиясынан бейнетрафик беру (broadcast бейне және сұрау салу бойынша бейне, VoD) болыптабылады.
Бүгінгі таңда бар болып отырған, тізіп көрсетілген сервистердің көпшілігінің қызметтерін бірыңғай дестеге біріктіруге деген тенденция нарықтың нақты және болжанып отырған сұранысымен де, сервис-провайдерлер арасындағы бәсекелестік күреспен де байланысты болып отыр.
Қызметтердің басым түрлерін анықтап алғаннан кейін, операторға өзінің желісі немесе оның учаскесі үшін магистральдық технологияны таңдап алу керек.
Қазіргі заманғы магистраль келесі талаптарға жауап беруге тиіс:
- масштабталатындық, ықтимал айтарлықтай өсуді ескере отырып, желінің дамуын қамтамасыз ету;
- берудің жоғары жылдамдығы;
- басқарылушылық;
- үздіксіз жұмыс істеудің жеткілікті уақытына, сондай-ақ апат болған жағдайда қалпына келтірудің қолайлы уақытына кепілдік беретін, резервтеудің сенімділігі жәнемүмкіндігі;
- ақпараттың қауіпсіздігі;
- талап етіліп отырған өткізу жолағын қамтамасызету;
- клиенттерге қызмет көрсетудің талап етілетін сапасын қамтамасыз ету.
Сондай-ақ магистральдың маңызды сипаттамасы, оның MAN (Metropolitan Area Network) жағдайында ондаған километрге жететін ұзындығы. Оптикалық кабельдің осындай желілер үшін жіберудің ең артық ортасы болып табылатындығы айдан анық болып отыр:
- оператор үшін маңызы кем түспейтін нәрсе абоненттік кіруді қамтамасыз етуге арналған технологияны таңдап алу болып табылады. Төменіректе кірудің қандай да болсын технологиясының артықшылығын анықтайтын факторлар тізіпкөрсетілген:
- абонентке келетін қосылу құны, маңызды факторлардың бірі, жабдыққа кететін барлық шығынды нақты абонент өзіне алатындықтан - қолданушылардың санының көбеюімен құн іс жүзіндетөмендемейді;
- қосылудың оңайлығы + абоненттерді қамту процесінің жылдамдығын және, қосылу құнының өзін анықтайтынфактор;
- абонент үшін жеткіліктіжылдамдық;
- қажетті өткізу жолағын қамтамасызету;
- клиенттерге қызмет көрсетудің талап етілетін сапасын қамтамасыз ету; қолданылып отырған кабельдік инфрақұрылымға (коаксильді кабель, бұралған жұп, телефон сымы, оптикалық талшық жәнет.с.).
Бүгінгі таңда ең сәтті технология болып SDN технологиясы табылады. GigabitEthernet технологиясы магистральдық технологиялар қатарында шамамен бес жыл бұрын пайда болды. Мәліметтерді беруінің жоғары жылдамдығының және төмен құнының арқасында технология мәліметтер беру магистралі ретінде кең таралымын алды. Қазіргі Gigabit Ethernet жабдығының негізгі сипаттамалары:
- алысқа ататын оптикалық интерфейстердің болуы (Optical Access компаниясында 90 кмаса);
- қазірде бар Ethernet желілерімен толық үйлесімділік;
- масштабталатындық, желілердің бірқалыпты дамуын қамтамасыз ету, транктық магистральдық қосылыстар жасау;
- аса жоғары жылдамдық (10 Gigabit Ethernet стандарты шығарылуға дайындалып жатыр);
- Ethernet трафигін берген кезде LANE ATM және SDH тән басы артықтықтың және күрделіліктің болмауына орай, қарапайымдылық және жоғары тиімділік;
- DiffServ және MPLS секілді, QoSCoSқамтамасыз ету саласындағы ең жаңа жасалымдарды қолдау.
Осылайша, Шымкент қаласында мультисервистік желі құру үшін қалалық талшықты-оптикалық ортада күңгірт талшықтардың негізінде SDN технологиясын қолдана отырып, Gigabit Ethernet технологиясы ұсынылып отыр (А қосымшасы).
Коммутаторды таңдау.
Open vSwitch - гипервизорларда және виртуалды машиналармен компьютерлерде жұмыс істеуге арналған, ашық бастапқы мәтіні бар бағдарламалық көп деңгейді коммутатор. 2.6.15 версиясынан бастап және жоғарырақ Linux-те жұмыс істейді. Коммутатордың негізгі мүмкіндіктері:
- SPANRSPAN, sFlow және Netflow қолдана отырып трафикті, оның ішінде виртуалды машиналардың арасында өтетін трафикті есепке алу;
- VLAN (IEEE 802.1q) қолдау;
- нақты физикалық интерфейстерге байланыстыру және жүктемені шығатын МАС-адрестер бойынша баланстау;
- Ядро деңгейінде жұмыс істеу, көпір ретіндегі жұмыс бойынша Linux бар мүмкіндіктерін қолдау;
- Коммутацияның логикасын басқаруға арналған Openflow қолдайды.
Ядро деңгейіндегі жұмыстан өзге, open vSwitch азырақ өнімділікпен қолданушының құқықтарымен де (ядродан тыс) жұмыс істей алады.
Қолданылуының негізгі салалары:
- әдеттегі bridge tools алмастыру.
- Xen Server, Xen Cloud құрамында пайдалану.
- Platform, KVM, VirtualBox, QEMU [5], ProxMox (2.3-тен бастап) [6,7].
1.5 Қандай жаңа технологиялар телекоммуникация нарығын өзгертуі мүмкін: қалай және неліктен
1.5.1 SDN және NFV нарығы: жолдың ең басында. Қазақстандағы бұлттық қызметтердің интернет-сервистерін ірі жеткізушілердің және мегаМӨО иелерінің тарапынан SDN деген қызығушылық түсінікті: жаңа технологиялар оларға өз міндеттерін тиімдірек және, ең бастысы, азырақ ақшаға шешуге мүмкіндік беріп отыр. Жаңа егістікті игеруге стартаптар бәрінен ерте кірісті. SDN саласындағы ізашарлардың бірі Nicira компаниясы желілерді виртуалдандырудың платформасын және контроллерін жасап шығарды. Белгілі компаниялар да шетте қалып отырған жоқ. Мысалға, NECOpenFlow қолдайтын контроллер және коммутаторлар жасап шығарды. IBM
OpenFlow-үйлесімді коммутаторлардың бағытыншығарды, сондай-ақ олардың контроллермен үйлесімділігіне қамтамасыз ету мақсатында NEC компаниясымен ынтымақтасып отыр. НР OpenFlow қолдауды коммутаторлардың модельдерінің көп санына қосты және SDN контроллерін жасап жатыр. Brocade, Cisco, Extreme Networks және Juniper Networks қоса отырып, көптеген жетекші коммутаторлар мен маршрутизаторлар өндірушілер қазірдің өзінде-ақ OpenFlow-үйлесімді коммутаторлар маршрутизаторлар шығарды. БКЖ нарығы қазіргі кезде тек қалыптасып келеді, онда жаңа технологияларды зерттеулерді, келешегі бар жасалымдарды немесе пилоттық енгізулерді жүргізіп отырған техникалық ілгері жылжыған клиенттер (жаңашылдар) басымдылық танытып отыр. Қазіргі кезде БКЖ технологиясы әзірге жаппай енгізуге дайын емес және ертенарық деп аталатынның қалыптасу сатысынан өтіп жатыр.
Сірә, технологияның жастығына және оның дамуының ықтимал жолдары және жалпы нарықтағы тағдыры туралы толастамай отырған дау- дамайға орай, БКЖ шешімдер нарығының жуырдағы 3-5 жылға өсу потенциалының бірнеше айтарлықтай әртүрлі бағалаулары бар болып отыр. Алайда, нарықтың потенциалын бағалау және нарықтағы негізгі трендтерді талдау тұрғысынан, бұл есептер үлкен қызығушылық тудыруда.
БКЖ шешімдер нарығы тек зертханалық зерттеулерден нарықтық өнімге қарай қозғалып отыр, әлі күнге деін БКЖ анық стандарттар болмай отыр. Markets&Markets аналитикалық агенттігі 2016 ж. БКЖ-өнімдер нарығының көлемі $2 млрд асатын болады деп болжап отыр. Бұл агенттіктің БКЖ және OpenFlow нарығына арналған болжамы өзіне тек коммутаторлар мен маршрутизаторлар нарығын ғана емес, сервистер мен бағдарламалық қамтамасыз ету нарығында бағалауды қосады. Dell'Oro Group агенттігі 2010 жылдан бастап 2016 жылға дейінгі кезеңде компаниялардың БКЖ шығындарының жалпы жиынтығы 17 еседен аса өседі деп шамалайды. Dell'Oro Group берген есебіне сәйкес, желілік жабдықты барлық дерлік өндірушілер 2016 жылы БКЖ қолдайтын және осы технологияның негізіндегі өнімдерін ұсынатын болады, бірақ ол осы технологияның потенциалының тек бір бөлігін ғана пайдаланатын болады.
Forrester консалтингтік корпорациясы БКЖ негізіндегі шешімдер мен өнімдер оларды бизнесте жаппай қолдану үшін дайындықтың қажетті деңгейінде болуына дейін кемінде 5 жыл өтеді деп шамалауда. Алдағы уақытта барлық бытыраңқы компоненттерді үйлестірумен, оларды басқарудың қазіргі жүйелеріне біріктірумен, бағдарламалық қамтамасыз етуді сүйемелдеумен, гипевизор негізіндегі шешімдерді басқарумен және L4-L7 желісінің деңгейіндегі сервистердің жұмысын қамтамасыз етумен байланысты жұмыстардың орасан зор санын атқару күтіп тұр. Бір жыл бұрын SDN Central агенттігінің, Plexxi компаниясының және Lightspeed Ventures венчурлық агенттігінің нарықтың болжанып отырған көлемін күрт көбейтіп жіберген маркетингік есебі жарияланған болатын.
1.6 Жобаның мақсаты
Шымкент қаласындағы абоненттерге SDN технология негізіндегі әртүрлі мультисервистік қызметтерді ұйымдастыру үшін, жобаланатын сымсыз керекті рұқсат сұлбасын құру үшін және түйін аумағында мәліметтерді таратуда жоғары жылдамдыққа (10 Мбитс дейін) қол жеткізуді ұсыну үшін келесідей негізгі мәселелерді қарастыру керек:
- SDN технологиясына қажетті контроллерлер және vSwicth коммутаторының косып үйрену;
- мультисервистік кіру желісінің параметрлерін талдау;
- әртүрлі кодектерді қолдана отырып, кіру желісі жасайтын жүктемені есептеу;
- SDN желіде бейнеконтенттің кідірістерін модельдеу;
- бизнес-жоспaр құру;
- өміртіршілік қауіпсіздігі бойыншa мәселелерді қaрaстыру.
2 SDN келесі буын желісі
2.1 SDN технологиясы туралы жалпы ақпарат
Жаһандық желінің қазіргі архитектурасы өткен ғасырдың 70-ші жылдарының өзінде жасалған болатын және өзгеріссіз қалды, ол кезде жасап шығарушылар тұтынылатын ақпараттың болашақтағы көлемін шамалай да алмаған еді.Қазіргі заманның компьютерлік желілерінде мәліметтерді басқару және беру функциялары қатар атқарылады, бұл бақылау мен басқаруды өте күрделі етіп отыр. Жуырдағы уақытқа дейін желілердің қазіргі қолданылатын архитектурасы қарлығаш ұясы әдісі бойынша дамып келді, яғни, проблемалардың айқындалуына қарай TCPIP хаттамаларының стекіне осы проблеманы шешетін жаңасы қосылып отырды. Бірақ жыл өткен сайын бұл қиынырақ бола бастауда [8].
Бағдарламалық-конфигурацияланатын желілер (software defined network, SDN) деген атау алған тәсіл - бұл желіні басқару және мәліметтер беру деңгейін басқару (маршрутизаторларды, коммутаторларды және т.с.) функцияларын жеке серверде (контроллерде) жұмыс істейтін қосымшаларға көшіру есебінен бөлу. Осындай желілердің идеясын Стэнфорд және Беркли университеттерінің мамандары 2006 жылы-ақ тұжырымдаған болатын, ал олар түрткі болған зерттеулер тек академиялық топтарда ғана қолдау тауып қоймай, оларды 2011 жылғы наурызда Open Networking Foundation (ONF) консорциумын құрған жетекші желілік жабдық өндірушілер белсене қабылдады. Оның құрылтайшылары болып Google, Deutsche Telekom, Facebook, Microsoft, Verizon және Yahoo секілді халықаралық корпорациялар әрекет етті. ONF құрамы жылдам кеңейіп отыр және 90-нан аса мүшені қосады, олардың арасында Brocade, Citrix, Oracle, Dell, Ericsson, HP, IBM, Marvell, NECбар
БКЖ технологиясы келесі мәселелерді шешуге бағытталған:
- арналардың өткізу қабілеттілігін арттыру, желідегі жүктемелерді баланстау;
- желіні басқаруды жеңілдету, желінің масштабталынуын арттыру;
- желілердің қауіпсіздігін арттыру;
- тиімді маршруттау;
- күрделі шығындарды азайту.
Жаңа тәсіл байланыс операторларының, компьютерлік- телекоммуникациялық жабдық өндірушілердің, дата-орталықтардың иелерінің, қаржы құрылымларының - банктердің, хостингтердің және сервис- провайдерлердің тілек-сұранымдарына жауапбереді.
БКЖ қызығушылықтымұндай технологиялардың желілік жабдықтың өнімділігін 25 - 30%арттыруға, желілерді пайдалануға кететін шығындарды 30% азайтуға, желіні басқаруды өнерден инженерияға айналдыруға, қауіпсіздікті арттыруға және қолданушыларға жаңа сервистерді бағдарламамен жасауға және оларды желілік жабдыққа жедел жүктеуге мүмкіндік беретіндігі тудырып отыр. Бұл технологияға бірінші кезекте SDN енгізу олардың жұмысының тиімділігін арттыруға мүмкіндік беретін хостерлер мен провайдерлер, дата-орталықтардың иелері және байланыс операторлары, қаржы және банк құрылымдары, телекоммуникациялық компаниялар қызығушылық танытатынболады.
Жаңа SDN тәсілінің негізгі идеялары:
- мәліметтерді беруді және басқарудыбөлу;
- мәліметтерді басқару деңгейі мен беру деңгейі арасындағы бірыңғай, біркелкі етілген, жеткізушіге тәуелді емесинтерфейс;
- орнатылған желілік операциялық жүйемен және үстінен іске асырылған желілік қосымшалармен контроллердің көмегімен жүргізілетін, желіні логикалық орталықтандырылғанбасқару;
- желінің физикалық ресурстарын визуалдандыру [9]. Желіні логикалық орталықтандырудыңартықшылықтары:
- мәліметтерді беру сапасын, трафиктің инжинирингін және маршруттандыруды нақтыбасқару;
- желілікресурстарды және сервистерді виртуалдандырудың және абстракциялаудың ыңғайлымеханизмі;
- желіде ресурстардың бөлінуінің және сервистердің орналастырылуының тиімділігінарттыру;
- data plane қарапайымету.
Бүгінгі таңда БКЖ-тәсілді іске асырудың үш тәсілі бар (2.1 сурет).
SDN арналған Open Flow хаттамасы.Атауынан келіп шығатынындай, OpenFlow хаттамасы трафиктің идентификациялаған кезде ағын түсінігін пайдаланады.Осы хаттаманы қолдайтын коммутатордың маңызды элементі Flow Table ағындар кестесі болып табылады. Кестенің сол бөлігіндегі бағандар тобы осында ағындардың сипаттамалары көрсетілген сәйкестікалаңдарын қалыптастырады: бұл жіберушінің және алушының МАС- және IP- адрестерін қоса отырып әртүрлі параметрлер, VLANидентификатор, TCP және UDP хаттамалық порттарының номерлері, сондай-ақ басқа да ақпарат болуы мүмкін.
Сурет 2.1. БКЖ( Software Defined Networks )сұлбасы
Бұл мәліметтерді OpenFlow хаттамасының көмегімен кестеге контроллер (2.2 сурет) жазып отырады, әртүрлі ағындардың басымдылықтарын да ол анықтайды: басымдылық неғұрлым жоғарырақ болса, ағындар кестесіндегі тиісті жазба да соғұрлымжоғарырақ.
Сурет 2.2. OpenFlow қолдайтын желілікқондырғыдағы ағындардың типтік кестесі
Кіретін дестелер кестеде көрсетілген параметрлерге сәйкестікке тексеріледі.Егер сәйкестік анықталған болса, дестелерге кестенің келесі бағанында көрсетілген әрекет қолданылады. Сипатты әрекет болып дестені бір немесе бірнеше шығыс портқа қайта жіберу табылады. Онымен қоса, коммутатор дестенің қызметтік алаңдарының ішіндегіні өзгерте, оны лақтырып тастай, талдау үшін контроллерге жөнелте және т.с. алады. Сәйкестік табылмаған жағдайда пакет лақтырылып тасталады немесе контроллерге жөнелтіледі, контроллер бұл ағынды қалай өңдеу керектігін анықтайды және кестеге тиісті жазбаны қосады. Өтіп жатқан трафик бойынша статистика - дестелердің, байттардың және т.с. саны - тиісті алаңдарға орналастырылады (2.1-суретте олар Count ретінде белгіленген). OpenFlow хаттамасын қолдана отырып, контроллер ағындар кестесіндегі жазбаларды қосады, модификациялайды және алып тастайды. Онымен қоса, контроллеркоммутатордан оның сипаттамаларын және жиналған статистиканы сұрай, коммутаторды және оның жекелеген порттарын конфигурациялай алады. Әрекеттердің дәл тізімі өзгеріп отыруы мүмкін, бірақ олардың негізгілері мыналар: форвардинг (мәліметтердің - дестенің, фреймнің үзінділерін - белгіленген портқа қайта жіберу), мәліметтердің үзінділерін одан әрі зерттеу үшін қауіпсіз арна арқылы контроллерге қайта жіберу, мәліметтердің үзіндісін лақтырып тастау (drop). openflow және дестелерді құрылғының шағын бағдарламасының құралдарымен әдеттегі өңдеуді қоса атқаратын құрылғылар үшін әрекеттің төртінші типі: мәліметтердің үзіндісін әдеттегі құралдармен өңдеу қосылады. Осы төрт әрекетті қолдайтын жабдық Type0-құрылғылар болыптабылады.
OpenFlow құрылғысы кем дегенде үш компоненттен:
- ағындар кестесінен (ағылш.flowtable);
- коммутаторды сыртқы интеллектуалдық құрылғымен (контроллермен) басқару үшін қолданылатын қауіпсіз арнадан (ағылш.secure channel);
- басқару үшін қолданылатын OpenFlow protocol хаттамасын қолдаудан тұрады. Осы хаттаманы пайдалану басқарылатын құрылғы үшін бағдарлама жазу қажеттілігін болдырмауға мүмкіндік береді.
2.2. Виртуалды коммутаторлардың негізінде БКЖ іске асыру тәсілдері
БКЖ дәстүрлі желілерден жаңашылдығы.1-тәсіл. Overlay технологиясы (VLAN, NVGRE және т.с. хаттамалары) бойынша виртуалды коммутаторлардың негізінде БКЖ іске асыру тәсілдері: яғни, осыларда виртуалды машиналар айналатын серверлерде виртуалды порттарды өзара коммутациясы ретке келтірілетін және виртуалды порттарды физикалық порттарға бейнелейтін кезде және енді физикалық порттарды өзара туннелмен байланыстырған кезде. Виртуалды коммутатордың өзін бағдарламалау бағдарламалық-конфигурацияланатын контроллер деп аталатын арнайы бөлінген ресурстың көмегімен жүргізіледі. Бағдарламалық-конфигурацияланатын контроллер - бұланығын айтқанда желінің ресурстарын басқаратын, бөлетін, бақылайтын және мониорингтейтін операциялық жүйе. Бірінші тәсілді іске асыру сұлбасы 2.3-суретте келтірілген.
Сурет 2.3. Виртуалды коммутаторлардың негізінде БКЖ Overlay технологиясы бойынша іске асырутәсілдері
2-тәсіл.Екінші бір тәсіл арнайы сервер бөлініп, бұған туннельдеудің көмегімен мәліметтерді берудің тиісті класстары келтірілетіндігінен, одан әрі осы туннельдеу механизмі арқылы бұл сервердің БКЖ-контроллердің басқаруымен мәліметтерді коммутациялауды және жіберуді жүргізетіндігінен тұрады.Бұл тәсілді іске асыру сұлбасы 2.4-суретте көрсетілген.
Сурет 2.4. Трафикті агрегациялау трафиктерінің негізіндегіБКЖ
Екі тізіп көрсетілген тәсіл - бұл әрине, барлық осыдан келіп шығатын нәтижелері бар, бөлудің бағдарламалық іске асырылған әдістері, және ең алдымен бұл нәтижелер мәліметтерді беру жылдамдығына әсерін тигізеді.
3-тәсіл.БКЖ арнайы коммутаторлардың (Openflow, XMPP және т.с. хаттамалар) негізінде іске асыру.
БКЖ желісі OpenFlow коммутаторлардан және БКЖ контроллерлерден тұрады. БКЖ коммутатор тек мәліметтер беру функцияларын іске асырады. Сондықтан бұл бірнеше қарапайым команданы орындай алатын өте қарапайым бағдарламаланатын құрылғы. Қарапайымдылықтың нәтижесі ретінде - ол қазіргі қолданылатын маршрутизаторлардан және коммутаторлардан анағұрлым арзанырақ. БКЖ коммутатордың жұмысының дәстүрлі коммутатордан айырмашылығы келіп түсетін мәліметтер пакетінен тақырыпты бөліп көрсетуден тұрады; егер коммутатор осындай тақырыптары бар дестелерді қалай өңдеу керек екендігімен таныс болса, онда ол өзіне алдын ала жүктелген бағдарлама бойынша әрекет етеді. Басқаша айтқанда, коммутатор қорғалған OpenFlow арна бойынша контроллерге сұрау жібереді. Жауап ретінде контроллерOpenFlow арна бойынша осындай тақырыптары бар дестелерді өңдей бағдарламасынжүктейді.
Контроллер мұның жұмысын Желілік операциялық жүйе (ЖОЖ) басқарып отыратын сервер болып келеді.Дәстүрлі операциялық жүйе тәрізді, ЖОЖ желінің барлық ресурстарын басқарады.БКЖ терминологиясында контроллер деп ЖОЖ атау қабылданған.Контроллердің үстінде маршруттандыру, жүктемені баланстау секілді желілік сервистерді іске асыратын алуан түрлі қосымшалар, алуан түрлі хаттамалар, шлюздер, желілік экрандар (Firewall), шифрлеу, DPI, NAT және т.с. жұмыс істейді.Қосымшаконтроллер басқаратын желі туралы ақпараттың және қосымша контроллерден алатын ақпараттың негізінде ережелер жинағын құрайды, оларды контроллер тиісті коммутаторларға жүктейді.
Контроллер әрқашан өзі басқарып (бағдарламалап) отыратын коммутаторлар желісінің құрылымы және топологиясы туралы ақпаратқа ие болады. Бұл мәліметтер дестелерінің алға жылжуын оптималдандыруға, жекелеген дестелерді емес, мәліметтер ағындарын динамикалы басқаруға, жүктемені баланстауға, желідегі ақпараттық қауіпсіздік талаптарының орындалуын бақылап отыруға мүмкіндік береді.
Желінің жұмыс істеуінің осылайша ұйымдастырылуы сонымен қатар қандай да болсын нақты жеткізушінің желілік жабдығына тәуелділік секілді мәселені шешеді, өйткені БКЖ осыларды желілік операциялық жүйе желілік коммутаторларды басқару үшін қолданатын дестелерді қайта жіберу үшін бағдарламалық деңгейде үлкен абстракцияларды қолданады.Тәсілді іске асыру сұлбасы 2.5-суреттекелтірілген.
Әр тәсілдің өз артықшылықтары мен кемшіліктері бар. БКЖOverlay арқылы іске асырудың артықшылықтары:
- адрестер мен топологияларды виртуалдандырудың қарапайымдылығы;
- физикалық желінің ұйымдастырылуына тәуелсіздік (кез келген ІР желі).
Сурет 2.5. БКЖ арнайы коммутаторлар негізінде іскеасыру
Бірақ бұл ретте осындай іске асыру инкапсуляция процесіне қосымша ілеспе шығындар жасайды, тасымалдың сапасын басқаруға мүмкіндік бермейді, инкапсуляцияланған трафикті бақылаудың және ретке келтірудің жоғары күрделілігіне ие, сондай-ақжелінің конфигурациясы бойынша айтарлықтай шектеулерге ие.
БКЖ OpenFlow арқылы іске асырудың артықшылықтары:
- өнімділік: (инкапсуляцияға және бағдарламалық коммутаторлардың жұмысына қосымша шығындардыңболмауы);
- тасымалдың сапасын басқару;
- трафикті икемді басқару;
- trouble shooting автоматтандыру;
- виртуалдандыру және абстракция;
- айтарлықтай қарапайым желілік жабдық.
Бірақ бұл іске асыру арнайы желілік жабдықты енгізуді қажет етеді. БКЖ архитектурасында үш деңгейді бөліп көрсетуге болады:
- желілік құрылғылардың (коммутаторлардың және мәліметтерді беру арналарының) жинағын беретін инфрақұрылымдық деңгей;
- өзіне қосымшаларға желілік сервистерді желілік қондырғылар мен желіні басқаруға арналған бағдарламалық интерфейсті қамтамасыз ететін желілік операциялық жүйені қосатын басқарудеңгейі;
- желіні икемді және тиімді басқаруға арналған желілік қосымшалар деңгей.
БКЖ аясында белсенді дамытылып отырған идеялардың бірі - бұл желілік ресурстарды одан да тиімдірек пайдалану мақсатында желілерді виртуалдандыру. Желілерді виртуалдандыру деп желілік трафикті оқшаулау - әртүрлі сипаттамалары бар бірнеше мәліметтер ағындарын бірыңғай физикалық желіні логикалық желілермен немесе желілік қималармен (network slices) бөліп отыруы мүмкін бір логикалық желінің шеңберінде топтастыру (мультиплекстендіру) түсініледі. Осындай әрбір қима өзінің адресациясын, өзінің маршруттандыру, сервистердің сапасын басқару алгоритмдерін және т.с. пайдалануымүмкін.
Желіні виртуалдандыру мыналарға:
- желілік ресурстардың таралу тиімділігін арттыруға және оларға түсетін күштібаланстауға;
- әртүрлі қолданушылардың және қосымшалардың ағындарын бір физикалық желінің шеңберіндеоқшаулауға;
- әртүрлі қималардың әкімшілеріне өзінің маршруттандыру саясаттарын және мәліметтер ағындарын басқару ережелерінпайдалануға;
- нақты физикалық желілік инфрақұрылымды пайдалана отырып, желіде эксперименттержүргізуге;
- әрбір қимада нақты қосымшаларға қажетті сервистерді ғана пайдалануға мүмкіндікбереді.
БКЖ ресурстарын виртуалдандырудың, желіні қималарға бөлудің және оларды басқарудың мысалдарының бірі Flow Visor - Open Flow коммутаторлар мен әртүрлі БКЖ контроллерлерінің арасындағы ... жалғасы
Сіз бұл жұмысты біздің қосымшамыз арқылы толығымен тегін көре аласыз.
Ұқсас жұмыстар
Пәндер
- Іс жүргізу
- Автоматтандыру, Техника
- Алғашқы әскери дайындық
- Астрономия
- Ауыл шаруашылығы
- Банк ісі
- Бизнесті бағалау
- Биология
- Бухгалтерлік іс
- Валеология
- Ветеринария
- География
- Геология, Геофизика, Геодезия
- Дін
- Ет, сүт, шарап өнімдері
- Жалпы тарих
- Жер кадастрі, Жылжымайтын мүлік
- Журналистика
- Информатика
- Кеден ісі
- Маркетинг
- Математика, Геометрия
- Медицина
- Мемлекеттік басқару
- Менеджмент
- Мұнай, Газ
- Мұрағат ісі
- Мәдениеттану
- ОБЖ (Основы безопасности жизнедеятельности)
- Педагогика
- Полиграфия
- Психология
- Салық
- Саясаттану
- Сақтандыру
- Сертификаттау, стандарттау
- Социология, Демография
- Спорт
- Статистика
- Тілтану, Филология
- Тарихи тұлғалар
- Тау-кен ісі
- Транспорт
- Туризм
- Физика
- Философия
- Халықаралық қатынастар
- Химия
- Экология, Қоршаған ортаны қорғау
- Экономика
- Экономикалық география
- Электротехника
- Қазақстан тарихы
- Қаржы
- Құрылыс
- Құқық, Криминалистика
- Әдебиет
- Өнер, музыка
- Өнеркәсіп, Өндіріс
Қазақ тілінде жазылған рефераттар, курстық жұмыстар, дипломдық жұмыстар бойынша біздің қор #1 болып табылады.
Ақпарат
Қосымша
Email: info@stud.kz