Есептеу жүйелері

1. Есептеу жүйелері дегеніміз не? Жалпы түсінік
2. Есептеуіш машинаның есептеуінің негізгі үлгілері
3. Операцияларды қатарластыра орналастыру. Жасанды қатарластық
4. Табиғи және объектілер жиынтығының қатарластығы
5. Тәуелсіз тармақтар және шектес операциялар қатарластығы
6. Қатарластық деңгейлері
7. Жүйелерді логикалық ұйымдастырудың түрлері
8. Жеңіл байланысты ағымдар жиынтығы
9. Жалпы түрлі қатарластық құрылым
10. Параллель есептеу жүйелері элементтері арасындағы байланыс
11. Статикалық сызба құрылымдар
12. Есептеу жүйелерінің сәулеті
13. «Жуан бұтақ» сызба құрылымы
14. Динамикалық сызба құрылымдар
15. Көпкаскадты желілер
16. Атқаратын міндетіне қарай есептеу жүйелерінің түрлері
17. Есептеу жүйелерінің командалар мен деректер ағының түріне байланысты жіктелуі
18. Бекітілген құрылымды әмбебап жүйелер
19. Бекітілген құрылымды арнайыланған жүйелер
20. Бекітілген және бағдарламаланатын құрылымды әмбебап жүйелер айырмашылығы


ΙΙ блок

1. Матрицалық есептеу жүйелері
2. Векторлық есептеу жүйелері
3. Конвейерлік есептеу жүйелері
4. Есептеу жүйесіндегі векторлық өңдеу
5. Параллель . векторлық суперкомпьютерлер
6. Симметриялық көп процессорлық жүйелер
7. Жаппай қатарластықты жүйелер
8. Класстерлер:метокомпьютерлер
9. Жады ұйымдастыру түрі бойынша есептеу жүйелерінің түрлері
10. Көптік ағынды командалар және жеке ағынды деректері бар есептеу жүйелерінің Көппроцессорлық жеке ағынды командалары және жеке ағынды деректері бар есептеу жүйелерінен айырмашылығы
11. Есептеу жүйесіндегі деректер когеренттігі
12. Қатарластық және конвейерлеу дәрежесі
13. Ортақ құрсымды есептеу жүйелері
14. Процессор .жады құрсымдары
15. Есептеу жүйесіндегі жергілікті құрсым
16. Енгізу .шығару және жергілікті құрсым ерекшеліктері
17. POWERpath.2 жүйелік құрсымы
18. Ерсілі.қарсылы коммутациялы есептеу жүйелері
19. Көпкірісті жадылы есептеу жүйелері
20. Ортақ құрсымды, ерсілі.қарсылы коммутациялы және кірісті жадылы есептеу жүйелері айырмашылықтары.


ІІІ блок

1. Есептеу желілері туралы жалпы түсінік.
2. Есептеу желілерінің негізгі элементері
3. Есептеу желілерінің қарым қатынастық құралдары
4. Есептеу желілерінің жіктелігі
5. Жергілікті, өңірлік (қалалық) және ауқымды есептеу желісі
6. Есептеу желісіндегі желілік сызба құрылымдар
7. Есептеу желісіндегі деректерді тасымалдау ортасы
8. Есептеу желісіндегі деректерді тасымалдаудың шектелген ортасы
9. Есептеу желісіндегі деректерді тасымалдау ортасына қатынас құру әдістері
10. Есептеу желісіндегі кездейсоқ қатынас құру әдістері
11. Есептеу желісіндегі детерминалдық қатынас құру әдістері
12. Есептеу желісіндегі сұратымның артықшылығы бойынша қатынас құру әдістері
13. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісі
14. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің қолданбалық деңгейі
15. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің көрсетімдік деңгейі
16. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің сеанстық деңгейі
17. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің көліктік деңгейі
18. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің желілік деңгейі
19. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің арналық деңгейі
20. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің физикалық деңгейі
Есептеу жүйесін біртұтас жүйе құрайтын және арифметика-логикалық операцияларды қатарластыра орындауды қамтамасыз ететін, физикалық және бағдарламалық түрде біріктірілген процессорлар немесе ЭЕМ (компьютерлер), шеткері құрылғылар және бағдарламалық қамтама жиынтығы деп қарауға болады. Оны ақпарат қабылдауға, сақтауға, өңдеуге және оның нәтижесін пайдаланушыға ыңғайлы түрде шығарып беруге арналған деректер өңдеудің автоматтандырылған жүйесі деп санауға болады.
Бөлініп-таралған есептеу жүйесінің негізгі белгісі – деректер өңдеудің бірнеше орталығының болуы. Сондықтан бөлініп-таралған есептеу жүйелеріне есептеу желілерін, көрпроцессорлық және көпмашиналық есептеу жүйелерін жатқызуға болады.
Есептеу кешені – ортақ бағдарламалық қолдау арқылы ақпаратты қатарластыра өңдеуді қамтамасыз ететін, өзара байланысқан ЭЕМ-дер жиынтығы.
Көп машиналық есептеу жүйесі – құрамына бірнеше компьютерлер (ЭЕМ) және барлық ЭЕМ-нің біртұтастығын қамтамасыз ететін компьютерлер байланысының бағдарламалық және аппараттық құралдары кіретін есептеу кешені. Әрбір ЭВМ өзінің операциялық жүйесінің басқаруымен жұмыс істейді.
Көп санашықты (көппроцессорлық) есептеу жүйесі (Multiprocessing system). Оның құрамына (ақпарат және басқару жағынан өзара байланысқан) бірнеше процессор кіреді. Көппроцессорлық жүйеде есептеу жүктемесін процессорлар арасында бөліп-таратып отыратын, барлық процессорларға ортақ операциялық жүйе болады. Жеке процессорлар арасындағы өзара әрекеттестік ең қарапайым тәсіл (ортақ жедел жады) арқылы жүзеге асырылады. Сонымен қатар, барлық шеткері құрылғылар да жүйенің процессорларына ортақ болып табылады. Жүйенің барлық бөлшектері, әдетте, бір немесе бір-біріне жақын орналасқан бірнеше ғимараттарда орналасады.
        
        Ι блок
* Есептеу жүйелері дегеніміз не? Жалпы түсінік
* Есептеуіш машинаның есептеуінің негізгі үлгілері
* Операцияларды ... ... ... қатарластық
* Табиғи және объектілер жиынтығының қатарластығы
* Тәуелсіз тармақтар және шектес ... ... ... деңгейлері
* Жүйелерді логикалық ұйымдастырудың түрлері
* Жеңіл байланысты ағымдар жиынтығы
* Жалпы түрлі қатарластық құрылым
* Параллель есептеу жүйелері элементтері арасындағы байланыс
* Статикалық ... ... ... ... сәулеті
* сызба құрылымы
* Динамикалық сызба құрылымдар
* Көпкаскадты желілер
* Атқаратын міндетіне қарай есептеу жүйелерінің түрлері
* Есептеу жүйелерінің командалар мен ... ... ... ... жіктелуі
* Бекітілген құрылымды әмбебап жүйелер
* Бекітілген құрылымды арнайыланған жүйелер
* Бекітілген және бағдарламаланатын құрылымды әмбебап жүйелер айырмашылығы
ΙΙ блок
* Матрицалық ... ...
* ... ... ...
* ... ... жүйелері
* Есептеу жүйесіндегі векторлық өңдеу
* Параллель - векторлық суперкомпьютерлер
* Симметриялық көп ... ... ... ... ... Класстерлер:метокомпьютерлер
* Жады ұйымдастыру түрі бойынша есептеу жүйелерінің түрлері
* Көптік ағынды командалар және жеке ... ... бар ... ... ... жеке ... командалары және жеке ағынды деректері бар есептеу жүйелерінен айырмашылығы
* Есептеу жүйесіндегі деректер когеренттігі
* Қатарластық және ... ... ... ... есептеу жүйелері
* Процессор - жады құрсымдары
* Есептеу жүйесіндегі жергілікті құрсым
* Енгізу - ... және ... ... ... ... ... құрсымы
* Ерсілі-қарсылы коммутациялы есептеу жүйелері
* Көпкірісті жадылы есептеу жүйелері
* Ортақ құрсымды, ерсілі-қарсылы коммутациялы және ... ... ... ... айырмашылықтары.
ІІІ блок
1. Есептеу желілері туралы жалпы түсінік.
2. Есептеу желілерінің негізгі ... ... ... ... ... құралдары
4. Есептеу желілерінің жіктелігі
5. Жергілікті, өңірлік (қалалық) және ауқымды есептеу желісі
6. Есептеу желісіндегі желілік ... ... ... ... ... ... ортасы
8. Есептеу желісіндегі деректерді тасымалдаудың шектелген ортасы
9. Есептеу желісіндегі деректерді тасымалдау ортасына ... құру ... ... желісіндегі кездейсоқ қатынас құру әдістері
11. Есептеу желісіндегі детерминалдық қатынас құру әдістері
12. Есептеу желісіндегі сұратымның артықшылығы бойынша ... құру ...
13. ... ... ашық ... ... ... Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің қолданбалық деңгейі
15. Есептеу желісіндегі ашық ... ... ... ... ...
16. ... желісіндегі ашық жүйелер әрекеттестігінің үлгісінің сеанстық деңгейі
17. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің ... ... ... ... ашық ... ... ... желілік деңгейі
19. Есептеу желісіндегі ашық жүйелер әрекеттестігінің үлгісінің ... ... ... ... ашық ... ... ... физикалық деңгейі
Ι блок
1. Есептеу жүйелері дегеніміз не? Жалпы түсінік
Есептеу жүйесін біртұтас жүйе құрайтын және арифметика-логикалық операцияларды қатарластыра ... ... ... физикалық және бағдарламалық түрде біріктірілген процессорлар немесе ЭЕМ (компьютерлер), шеткері құрылғылар және бағдарламалық қамтама жиынтығы деп ... ... Оны ... ... сақтауға, өңдеуге және оның нәтижесін пайдаланушыға ыңғайлы ... ... ... арналған деректер өңдеудің автоматтандырылған жүйесі деп санауға ... ... ... ... негізгі белгісі - деректер өңдеудің бірнеше орталығының болуы. ... ... ... жүйелеріне есептеу желілерін, көрпроцессорлық және көпмашиналық есептеу ... ... ... ... кешені - ортақ бағдарламалық қолдау арқылы ақпаратты қатарластыра өңдеуді қамтамасыз ететін, өзара байланысқан ЭЕМ-дер жиынтығы.
Көп машиналық есептеу жүйесі - ... ... ... (ЭЕМ) және барлық ЭЕМ-нің біртұтастығын қамтамасыз ететін компьютерлер байланысының бағдарламалық және аппараттық құралдары кіретін есептеу кешені. Әрбір ЭВМ өзінің ... ... ... ... ... ... санашықты (көппроцессорлық) есептеу жүйесі (Multiprocessing system). Оның құрамына (ақпарат және басқару жағынан өзара байланысқан) ... ... ... ... ... есептеу жүктемесін процессорлар арасында бөліп-таратып отыратын, барлық процессорларға ортақ операциялық жүйе болады. Жеке процессорлар арасындағы өзара әрекеттестік ең ... ... ... ... ... ... жүзеге асырылады. Сонымен қатар, барлық шеткері құрылғылар да жүйенің процессорларына ортақ болып табылады. Жүйенің барлық бөлшектері, әдетте, бір немесе бір-біріне ... ... ... ғимараттарда орналасады.
Есептеу желілері - бөлініп-таралған есептеу жүйелерінің жекеше түрі.
2. Есептеуіш ... ... ... үлгілері
Қазіргі уақыттағы жоғары өнімділікті есептеу жүйелерінің дамуы негізгі төрт бағытта жүріп жатыр.
Векторлық-конвейерлік компьютерлер. Мұндай машиналардың екі ... - ... ... ... және ... ... жиыны. Дәстүрлі келістен айырмашылығы - ... ... ... деректердің бүтін массивтерімен операция жасайды, ал бұл болса, қол жетерлік ... ... ... ... ... яғни А=В+ ... (екі ... емес) екі массивті қосуды білдіре алады. Бұл бағыттың жүзеге асырылу мысалдары ретінде CRAY векторлық-конвейерлік ... ... CRAY EL, CRAY J90, CRAY T90, т.б) атап ... ... ... ... ... қатарластықты жүйелер. Мұндай (Massivaly Parallel Processing, MPP-жүйесі деп аталатын) жүйелердің құрамына көптеп шығарылатын шағынпроцессорлар, кішігірім ... ... ... ... ... және олар ... ... (қатынастық ортамен) өзара біріктірілелі. МРР-жүйесінің барлық жүйеге логикалық ортақ, бірақ физикалық бөлінген-таралған жадысы болады. ... ... - ... ... ... яғни ... ... жағдайда жүйенің өнімділігін арттыру оның процессорының санын ... ... ... ... т.с.с. МРР-жүйесінің мысалдары ретінде мына жүйелерді атап кетуге болады: ІВМ SP, RM 1000, SGI Origin 3000, HP ... ... т.б. Бұл ... ... ... ... де қосуға болады.
Ортақ жадылы қатарлас жұмыс істейтін жүйелер. Мұндай жүйелер екі және одан көп ... ... ... ... біртұтас ортақ жадыда сақталатын деректермен жұмыс істей алады. Жүйенің барлық ... ... үшін ... ... (bus) ... ... пайдалануға болады. Осындай ортақ жадылы жүйелердің негізгі ... жағы - ... ... ... құра ... ... ... (техникалық себептер салдарынан) шектеулі болуы. Осы бағыттағы есептеу жүйелеріне қазіргі замандағы симметриялықкөппроцессорлық жүйелер ... ... ... ... ... CS 6400, RM 600E, Ultra Enterprise 10000, AlphaServer ES40, AlphaServer GS, Escala, Sun Fire 15K, ... ... ... ... ... ... ... емес, алдыңғы үшеуінің қисындасуы болып табылады. Бірнеше (дәстүрлі немесе ... ... және ... ... жадыдан есептеу түйіні құрылады да бірнеше түйін жоғары жылдамдықтары арналар арқылы біріктіріледі. Мұндай сәулет кластерлік деп аталады. Осылайша CRAY SV1, Exemplar ... NEC SX-5, ... SC, т.б. ... ... құрылған. Көбінесе бұларды МРР-жүйелеріне жатқызады. Қазіргі кезде осы бағыт жоғарғы өнімділікті компьютерлер құрастыруының ең болашағы бар жолы ... ... ... ... бір жол - бірпроцессорлы компьютер, екі немесе төртпроцессордан тұратын кішігірім SMP-серверлерін ... бір ... шешу үшін желі ... біріктірілген компьютерлер жиынтығын (есептеу кластерлерін) пайдалану. Осындай алғашқы кластерлер 10-мегабиттік Ethernet, SCI, Myrinet, cLAN, ServerNet, т.б. технологиялары ... ... ... ... Beowuif ... Avalon ... Chiba City, ... т.б.
Осы бағыттың тағы бір жалғасы - бүгінгі күні қуаттары толық ... бос ... ... ... өте ... есептеу қуаттарын жинақтау. Метакомпьютингтің (metacomputing) мақсаты Интернетке қосылған, әлемде таралған компьютерлерді және үлкен қуатты шеткері ... ... ... ... жасау болып табылады. Мәселен, Condor және Globus жүйелерін қолданған есептеу кластері.
СуперЭЕМ, суперкомпьютер (supercomputer)деп дәл осы шақтағы ең қуатты, ең ... ... бар ... ... Дәлірек айтсақ: суперкомпьютер - бұл қазіргі кездегі тек ең жоғары ... ғана ... ... бірге ең үлкен көлемді жедел және дискілік жадысы бар көппроцессорлық компьютерлер.
3. Операцияларды қатарластыра орналастыру. ... ... ... қатарластық құрылым
Ағындар арасындағы әрекеттестік жиілігінің айтарлықтай аруы алгоритмдік құрылымның сипатын өзгертеді, яғни ол ... ... ... ... түрленеді. Бұл құрылымның қатарластыра есептеуді ұйымдастыру мен өңдеу жылдамдығын арттыру мумкіншілігі өте зор. ... ... Егер ... бір ... бір ... 1 ... ... орындайтын болса, онда ол 1000 операцияны 1000 уақыт бірлігі (Т) ішінде орындап болады. Егер жұмысты бір ... ... ... орындайтын 5 құрылғы бар деп есептесек, онда осы 5 құрылғыдан құралған жүйе сол мың операцияны енді 200 уақыт ... ... ... Осылайша, р құрылғыдан тұратын жүйе сол жұмысты 1000/р уақыт бірлігінде орындайды. Әрине, бұл келтірілген мысалдардағы сияқты өңдеу уақытының тура Т/р ... ... ... ... ... есептеуді ұйымдастырудың төрт деңгейін ажыратады (20):
а) тапсырмалар қатарластығы - әрбір процессор (басқалардан тәуелсіз) жеке шығарылмалық есеппен жүктемелінеді. Мұндай ... жәй ... ... жүйелік әкімшілер мүдделі;
б) бағдарлама деңгейіндегі қатарластық - есептеу бағдарламасы әр ... ... бір ... ... ... ... бөлінеді;
в) командалар қатарластығы - әдетте төменгі деңгейде жүзеге асырылады (бұл, мәселен, конвейерлер, т.б.);
г) машиналық сөздер және арифметикалық операциялар ... ... - ... ... ... екі операндты қосу олардың екілік разрядтарын бір уақытта қосындалу арқылы орындалады.
Қазіргі кезде кез келген компьютердің сәулетінде қатарластық кездеседі. Pentium III, PA-8700, MIPS R1 4000, E2K, Power 3, т.б. ... ... ... ... да ... өңдеудің әйтеуір бір түрі пайдаланылады. Қатарластық идеясы ертеректе пайда болған. Басында олар тек кейбір компьютерлерде ғана ендірілген болатын. Содан ... ... ... және ... ... ... ... олар орта сыныптық компьютерлерде қолданыла бастады, ақыры, бүгінгі күнде олар толық көлемде жұмыс стансалары мен дербес ... ... ... ... ... ... тікелей қатысы жоқ, бірақ та ол компьютердің өнімділігін арттыру үшін өте маңызды ерекшеліктеріне жатады. Жады иерархиясы процессордың ... ... ... мен ... оқу ... ... ... бәсеңдетуге мүмкіндік береді. Жадының негізгі деңгейлері: регистрлер, бүркем-жады, жедел жады, дискілік жады. Жадыдан оқу уақыты дискілік жадыдан бастап регистрлікке ... ... ал бір ... ... ... ... өсе береді. Қазіргі кезде осындай иерархия тіпті дербес компьютерлерде де қолданыс тапқан.
Қатарластыра орындауға болатын ... жазу ... ... оның ішіндегі әртүрлі процессорларда, функционалдық құрылғыларда немесе ... ... ... бір ... ... жарайтын бөліктерді анықтап алу керек. Бағдарламаның бөліктерге бөліну мүмкіндігі ондағы ақпараттық тәуелділіктердің бар-жоқтығы ... ... Егер бір ... (бұл ... ... деп жеке операторды немесе коданың ірілеу бөлшектерін түсінуге болады) орындалу нәтижесі екіншісінде аргумент ретінде қолданылатын ... онда ... екі ... ... ... ... деп ... Олай болса, бағдарламаны қатарластыра орындауға болатын түрге жеткізу үшін, оның ... ... ... ... ... табу керек, одан кейін оларды есептеу құралдары арасында бөліп орналастыру қажет, олардың уақыт үйлесімдірілуін қамтамассыз ету ... ... ... ... есеп ... ... ... операциялар жиынтығының, тәуелсіз тармақтар, обьектілер жиынтығының қатарластығының біреуіне де жатпайтын болуы мүмкін. Бұл жағдайда жасанды қатарластық алу ... оны ... ... ... ... және ... ... қатарластығы.
Қатарластыра өңдеу. Егер белгілі бір құрылғы бір операцияны 1 уақыт бірлігінде орындайтын болса, онда ол 1000 операцияны 1000 ... ... (Т) ... орындап болады. Егер жұмысты бір уақытта бір-бірінен тәуелсіз орындайтын 5 құрылғы бар деп есептесек, онда осы 5 ... ... жүйе сол мың ... енді 200 уақыт бірлігінде орындай алады. Осылайша, р құрылғыдан тұратын жүйе сол жұмысты 1000/р уақыт бірлігінде орындайды. Әрине, бұл ... ... ... ... ... тура Т/р ... ... жүзінде әрдайым сақталмайды.
Объектілер жиынтығының қатарластығы. Табиғи қатарластықтың бір түрі. Есеп әр түрлі, бірақ біртектес объектілер жайлы ақпаратты бір ... ... ... ... ... ұшып бара ... аппараттар (ұшақ па, зымыран ба бәрібір) жайындағы деректер бірдей бағдарламамен өңделеді.
Тәуелсіз тармақтар қатарластығы. Күрделі есеп шешуге арналған бағдарламаның ... ... ... ... ... ... шығады. Тиісті есептеу құралдары болған жағдайда, оларды қатарластыра орындауға болады. Тәуелсіз тармақтар болуы үшін 4 шарт ... ... ... ... ... ... ... керек. Х тармағының шықпа параметрі Ү тармағының кірме параметрі болмауы керек;
- олардың арасында жады жағынан тәуелдік болмауы керек. Олар ... жазу ... ... де ... бір ... ... керек;
- Олар бағдарлама жағынан бір-біріне тәуелсіз болуы керек. Екі ... ... ... ... ... ретінде болуы мүмкін;
- олар басқару жағынан бір-бірінен тәуелсіз болуы керек. Ү тармағының орындалу шарты, Х тармағы орындалған кезде ... ... ... ... ... керек.
Тәуелсіз тармақтар қатарластығы ақпарат өңдеудегі қатарластықтың ең көп ... ... бірі ... ... Бұл ... объектілер жиынтығының қатарластығының өзгешелігі 3-ші шартта. Шынында да біртектес объектілер жиынтығын тәуелсіз ... деп ... ... ... біртектес объектілерді өңдеу бәріне ортақ бір бағдарлама бойынша жүргізіледі.
Жасанды қатарластық. Берілген есеп ... ... ... ... ... ... де ... болуы мүмкін. Бұл жағдайда жасанды қатарластық алу мақсатымен оны түрлендіру қажеттігі туады.
Қатарластыра есептеуді ұйымдастырудың (яғни қатарластықтың) төрт деңгейін ажыратады ... ... ... - әрбір процессор (басқалардан тәуелсіз) жеке шығарылмалық есеппен жүктемелінеді. Мұндай қатарластыққа жәй ... ... ... ... мүдделі;
б) бағдарлама деңгейіндегі қатарластық - есептеу бағдарламасы әр түрлі процессорларда бір уақытта орындалуы мүмкін бөліктерге бөлінеді;
в) командалар қатарластығы - әдетте ... ... ... ... (бұл, ... конвейерлер, т.б.);
г) машиналық сөздер және арифметикалық операциялар деңгейіндегі қатарластық - кейбір жағдауларда, мәселен, екі операндты қосу ... ... ... бір ... ... ... орындалады.
Қазіргі кезде кез келген компьютердің сәулетінде қатарластық кездеседі. Pentium III, PA-8700, MIPS R1 4000, E2K, Power 3, т.б. ... ... ... ... да ... ... әйтеуір бір түрі пайдаланылады. Қатарластық идеясы ертеректе пайда ... ... олар тек ... ... ғана ендірілген болатын. Содан кейін технологияны меңгеруе және ... ... ... ... олар орта ... ... ... бастады, ақыры, бүгінгі күнде олар толық көлемде жұмыс стансалары мен ... ... ... ... ... тармақтар және шектес операциялар қатарластығы
Қатарластыра өңдеу. Егер белгілі бір құрылғы бір операцияны 1 уақыт бірлігінде орындайтын болса, онда ол 1000 ... 1000 ... ... (Т) ішінде орындап болады. Егер жұмысты бір уақытта бір-бірінен тәуелсіз орындайтын 5 құрылғы бар деп есептесек, онда осы 5 ... ... жүйе сол мың ... енді 200 ... ... ... алады. Осылайша, р құрылғыдан тұратын жүйе сол жұмысты 1000/р уақыт бірлігінде орындайды. Әрине, бұл келтірілген мысалдардағы сияқты өңдеу ... тура Т/р ... ... ... ... ... жиынтығының қатарластығы. Табиғи қатарластықтың бір түрі. Есеп әр түрлі, бірақ біртектес объектілер ... ... бір ... ... ... ... Мысалы: ұшып бара жатқан аппараттар (ұшақ па, зымыран ба бәрібір) жайындағы деректер бірдей бағдарламамен өңделеді.
Тәуелсіз тармақтар ... ... есеп ... ... ... ... ... кезеңдерге тәуелсіз тармақтар бөлініп шығады. Тиісті есептеу құралдары болған жағдайда, оларды қатарластыра ... ... ... ... болуы үшін 4 шарт орындалуы керек:
- олардың арасында функционалдық тәуелсіздік болуы керек. Х тармағының шықпа параметрі Ү тармағының кірме ... ... ... олардың арасында жады жағынан тәуелдік болмауы керек. Олар ... жазу ... ... де ... бір ұяшығын пайдаланбауы керек;
- Олар бағдарлама жағынан бір-біріне тәуелсіз болуы керек. Екі тармақ жеке-жеке бағдарлама немесе микробағдарлама ретінде болуы ... олар ... ... ... ... ... ... Ү тармағының орындалу шарты, Х тармағы орындалған кезде пайда болатын ... ... ... ... ... қатарластығы ақпарат өңдеудегі қатарластықтың ең көп таралған түрлерінің бірі болып саналады. Бұл ... ... ... ... ... 3-ші ... ... да біртектес объектілер жиынтығын тәуелсіз тармақтар деп санауға болмайды. ... ... ... ... бәріне ортақ бір бағдарлама бойынша жүргізіледі.
Шектес операциялар қатарластығы. Қатарластықтың бұл түрі ... жиі ... мына ... ... і ... ... ... оның алдындағы (і-1) операциясын орындау кезінде емес, одан ертерек, яғни (і-2) немесе (і-3), т.б. операциясын орындау уақытымен қатар келуі ... ... ... ... ... бар ... ... і операциясын (і-1) операциясымен қатар орындауға болады.
6.Қатарластық ... ... ... ... ... арасындағы әрекеттестік жиілігінің айтарлықтай аруы алгоритмдік құрылымның сипатын өзгертеді, яғни ол ... ... ... құрылымға түрленеді. Бұл құрылымның қатарластыра есептеуді ұйымдастыру мен өңдеу жылдамдығын арттыру мумкіншілігі өте зор.
Қатарластыра өңдеу. Егер белгілі бір құрылғы бір ... 1 ... ... ... ... онда ол 1000 ... 1000 уақыт бірлігі (Т) ішінде орындап болады. Егер ... бір ... ... ... ... 5 құрылғы бар деп есептесек, онда осы 5 құрылғыдан құралған жүйе сол мың ... енді 200 ... ... ... ... ... р құрылғыдан тұратын жүйе сол жұмысты 1000/р уақыт ... ... ... бұл ... ... сияқты өңдеу уақытының тура Т/р болатыны практика жүзінде әрдайым сақталмайды.
Қатарластыра есептеуді ұйымдастырудың төрт ... ... ... ... ... - ... процессор (басқалардан тәуелсіз) жеке шығарылмалық есеппен жүктемелінеді. ... ... жәй ... қарағанда жүйелік әкімшілер мүдделі;
б) бағдарлама деңгейіндегі қатарластық - есептеу бағдарламасы әр ... ... бір ... ... ... бөліктерге бөлінеді;
в) командалар қатарластығы - әдетте төменгі деңгейде жүзеге асырылады (бұл, мәселен, конвейерлер, т.б.);
г) машиналық сөздер және арифметикалық ... ... ... - ... жағдауларда, мәселен, екі операндты қосу олардың екілік разрядтарын бір ... ... ... ... деңгейіндегі параллелизм - параллелизмнің жоғарғы деңгейі.Мысалы, лаборатория немесе компьютер орталығы берілген уақыт аралығында көптеген есептердіорындайды. Оған үлкен компьютерлік ... ... алу ... ... болады, кез - келген уақытта көп тапсырма орындалады, және қолданушының кез-келген тапсырмасы басқаларға қарағанда тез ... ... ... бір компьютер шегінде бір тапсырманы немесе бірнеше тапсырманың тәуелсіз есептер ... ... ... ... ... ... процессор және енгізу - шығару жүйелері параллель жұмыс і стейді.
Программа деңгейіндегі ... ... ... ... оның ... ... программа деңгейіндегі параллелизм екі әдіспен көрінеді:
● берілген программаның тәуелсіз бөліктердеге бөлу;
● итерациялар арасында ешқандай байланыс жоқ циклің жеке итерацияларын қолдану.
Параллелизмнің бұл ... ... ... ... ... модулдер жиынтығын қолдануы мүмкін. Программа деңегейіндегі параллелизмнің көруінуінің қарапайым мысалы: қосындыларын есептеу.
Программаның ... ... - ... төменгі деңгейі және компьютер ұйымдастыру саласына жатады. Параллелизмнің бұл түрін жүзеге асырудың жалпы ... - ... Бұл ... жеке ... ... ... ... берілген команда ішкі амалдарға бөлінуі мүмкін, ал ол ішкі амалдар тағы да ішкі амалдарға бөлініп, олар да қабысуы мүмкін.
Арифметикалық және ... ... ... - ... ең ... ... ... бұл деңгейі орталық процессордағы арифметикалық логикалық құрылғыға қатысты.
Мысалы, 64 ... ... екі ... ... ... мүмкін:
* барлық 64 битті бірден қосу (неғұрлым маңызды биттерге тасымал кез-келген екі ... ... ... ... және ... ... амалы 4 биттік бөлікке және 16 циклдағы толық қосындысын есептеуге болады.
7. Жүйелерді логикалық ұйымдастырудың түрлері
1.Атқаратын міндетіне қарай әмбебап және арнайыланған ... ... ... ... жүйелері тізімі шектелмеген,әр түрлі есептер шешуге,ал арнайыланған есептеу жүйелері- ... бір ... ... есептерді шешеуге арналған.Жүйелер атқаратын міндеттері және қолданылатын ... ... ... ... сыныптарға жіктеледі:
- сериялық әмбебап шағынпроцессорлардан құрылатын бекітілген құрылымды әмбебап жүйелер;
- орындалатын есептеулерді ... ... ... ... бейімделген бағдарламаланатын құрылымды әмбебап жүйелер;
- белгілі бір есептеулерді орындауға бағдарланған шағынпроцессорлардан құрылатын бекітілген құрылымды арнайыланған жүйелер;
- орындалатын есептеулерді аппараттық-бағдарламалық түрде ... ... ... ... ... арнайыланған жүйелер.
Бекітілген құрылымды әмбебап жүйелер.Бұл сыныптың жүйелері дербес компьютерлер мен жұмыс стансалары жасалынатын шағын процессорлар негізінде құрылады.
Бағдарламаланатын құрылымды әмбебап ... ... ... ... логикалық интегралдық сұлбалардан(БЛИС)құралады.
Бекітілген құрылымды арнайыланған жүйелер
Кейбір өзекті мәселерді ... ... ... ... ... ... талап етеді.
Бағдарламаланатын құрылымды арнайыланған жүйелер
Кез келген сұлбаны жүзеге ... ... ... ... БЛИС,қатқыл логикаға қарағанда,пайдаланылатын вентилге шаққанда үлкенірек ауданды ... мен ... ... түрі ... жіктеу тәсілә есептеу жүйелерінің жіктелігінің ең бір әмбебап тәсілі болып саналады.Бұл жітеу сұлбасын 1972 жылы Майкл Флинн (Flynn)ұсынған.Оның ... ағын ... ... деп ... ... элементтер,командалар немесе деректер тізбегін айтады.Бұл жіктеу жүйесі командалар ағынының және деректер ағынының түрлері(саны)бойынша жүргізіледі.Флинн жіктелігінде есептеу жүйелерін мынадай 4 ... ... ... (SISD- Single ... Stream-Single Data Stream)- жеке ағынды командалар және жеке ағынды деректері бар есептеу жүйелері
Бұл - әрбір сәтте ... ... ... жеке деректердің бір элементімен тек бір (жеке)команда ғана орындалатын тізбектілі компьютерлік жүйелер
ЖККД(SIMD-Single ... ... Data ... ... ... және ... ағынды деректері бар есептеу жүйелері
Бұл сыныпқа ассоциативті,матрицалық,векторлық жүйелер жатады.
ККЖД (MISD) - ... ... ... және жеке ... ... бар ... жүйелері.Бұл жүйелер бір-бірімен байласқан процессорлар тізбегінен тұрады.
КККД (MIMD) - ... ... ... және ... ... деректері бар есептеу жұйелері.
3. Жады ұйымдастыру түрі бойынша есептеу жүйелері симметриялық көппроцессорлық жүйе (SMP) және жалпы қатарластық жүйе (MPP) деп ... ... [4, 14, 16]. ... ... ... ... көппроцессорларды біріктіру негізінде құрылады.
4. Қатарластық және конвейерлендіру дәрежесі (1977жылы Хандлер ұсынған эрлангерлік сұлба) бойынша есептеу жүйелері абстракцияның 3 ... ... ... ... ... команда орныдалу деңгейі және ішкомандалар деңгейі (разряд-разряд бойынша өңдеу деңгейі).
8. Жеңіл байланысты ... ... ... ... ... ... жылдамдату үшін, құрылымы командалардың жеңіл байланысты ағындар жиынтығы ретінде берілген алгоритмдерді де ... ... Бұл ... ... ... аздаған өзара байланысы бар бірнеше тізбекті үдерістерге бөлініп кетеді. Әрбір үдеріс керек уақытта басқа процессорлармен әрекеттесе ... жеке ... ... ... құрылымның осындай ерекшеліктерін қанағаттандыратын есептеу жүйесі көппроцессорлық жуйелер болып табылады. Уақытуйлесімдірудің және үдерістер арасындағы өзарабайланыстың тетіктері көпроцессорлық жуйелердің ... ... ... ... ... тетіктерды ортақ жадыны қолданатын және хабар алмасу арқылы жұмыс істейтін тетіктер деп ... ... ... ... жады негізінде жасалған жуйе тезірек істейді, бірақ оны жүзеге асыру үшін әрбір процессор ортақ жадыға қатынас құра алуы ... ал ... өзі ... ... ... ... алып келеді. Үдерістер арасында деректер алмастыру және уақытуйлесімдіру қажеттілігі сирек болған кезде, ... ... ... түрі ... Бұл екі ... ... ... жады ұйымдастыру ерекшеліктері мен қатынастық құрылғыларының өткізу қабілетінде.
Ортақ жадыны ... ... ... жады барлық процессорларға ортақ. Соның себебінен қатынастық құрылғыда және жадыға қатынас құру ... ... ... Осы ... ... үшін қатынастық құрылғы жоғары жылдамдықты, ал жады қақтығыс саны аз болатындай етіліп ... ... ... ... ... ... ... құрсым, Омега-желі, Дельта-желі және жоғары қабілеттікті деректер манипуляторы сияқты турлері бар. ... ... ... ... ... және бағалары әр түрлі болады.
Коммутатордың өткізу қабілеттігіне қойылатын талаптарды ... жәе ... ... құру ... ... ... ... жолдарының бірі - жоғары шапшаңдылыкты бүркем-жадыны қолдану.
Деректер ағындары арасындағы әрекеттестікті ... ... ... ... көп ... бар ... ... Қатынастық құрылғылар ретінде желілер қолданады. Бір процессордан ... ... ... ... жолы ... ... ... өтеді. Осындай желілердің "сақина" тәрізді түрі, процессорлардың екі өлшемді матрицасы, гиперкубтық құрылым және олардың әр түрлі варианттары ... ... ... ... арасындағы әрекеттестік жиілігінің айтарлықтай аруы алгоритмдік құрылымның сипатын өзгертеді, яғни ол жалпы түрлі қатарластық құрылымға түрленеді ... Бұл ... ... ... ... мен өңдеу жылдамдығын арттыру мумкіншілігі өте зор. Бірақ уақытуйлесімдіру және операцияларды орындау тәртібін анықтау күрделі мәселе болып табылады.
Командалардың орындалу тәртібін ... екі ... бар: ... ... ... ... және деректер ағыны бойынша басқару.
Екі тәсілде де есептеудің граф-үлгісі жасалынады. Белгілер ағыны бойынша басқару тетігінде операцияның орындалу ... ... және ... ... ... үшін екі ... ... қолданылады. Деректер ағыны бойынша басқару тетігінде тек бір граф-үлгі пайдаланылады. Себебі ... ... ... ... ... ... ... Екінші түрі көп таралған. Бұлар көбінесе ағынлық есептеу машиналарында қолданылады. ... ... Егер ... бір ... бір ... 1 ... бірлігінде орындайтын болса, онда ол 1000 операцияны 1000 уақыт бірлігі (Т) ішінде орындап болады. Егер жұмысты бір уақытта бір-бірінен ... ... 5 ... бар деп есептесек, онда осы 5 құрылғыдан құралған жүйе сол мың операцияны енді 200 уақыт бірлігінде орындай ... ... р ... тұратын жүйе сол жұмысты 1000/р уақыт бірлігінде орындайды. Әрине, бұл ... ... ... өңдеу уақытының тура Т/р болатыны практика жүзінде әрдайым сақталмайды.
Объектілер ... ... ... қатарластықтың бір түрі. Есеп әр түрлі, бірақ біртектес объектілер жайлы ақпаратты бір бағдарлама арқылы өңдеуге келтіріледі. Мысалы: ұшып бара ... ... ... па, ... ба бәрібір) жайындағы деректер бірдей бағдарламамен өңделеді.
Тәуелсіз тармақтар қатарластығы. Күрделі есеп шешуге арналған бағдарламаның ішінен, кейбір кезеңдерге тәуелсіз тармақтар ... ... ... ... ... ... жағдайда, оларды қатарластыра орындауға болады. Тәуелсіз тармақтар болуы үшін 4 шарт орындалуы керек:
- олардың арасында ... ... ... ... Х ... ... ... Ү тармағының кірме параметрі болмауы керек;
- олардың арасында жады жағынан тәуелдік болмауы керек. Олар деректер жазу үшін, екеуі де ... бір ... ... ... Олар ... жағынан бір-біріне тәуелсіз болуы керек. Екі тармақ жеке-жеке бағдарлама немесе микробағдарлама ретінде болуы мүмкін;
- олар басқару жағынан бір-бірінен ... ... ... Ү ... ... ... Х тармағы орындалған кезде пайда болатын белгілерге тәуелді ... ... ... ... ... бұл түрі практикада жиі кездесетін мына жағдайға негізделген: і операциясын орындау мүмкіндігі оның алдындағы (і-1) операциясын орындау кезінде емес, одан ... яғни (і-2) ... (і-3), т.б. ... орындау уақытымен қатар келуі мүмкін. Мұндай жағдайда тиісті құрылымы бар есептеу жүйесінде і операциясын (і-1) операциясымен қатар ... ... ... Берілген есеп бастапқы қойылымында жоғарыда айтылған қатарластықтың біреуіне де жатпайтын болуы мүмкін. Бұл жағдайда жасанды қатарластық алу мақсатымен оны түрлендіру ... ... ... ұйымдастырудың (яғни қатарластықтың) төрт деңгейін ажыратады (20):
а) тапсырмалар қатарластығы - әрбір процессор (басқалардан тәуелсіз) жеке шығарылмалық есеппен ... ... ... жәй пайдаланушыларға қарағанда жүйелік әкімшілер мүдделі;
б) бағдарлама ... ... - ... ... әр ... ... бір ... орындалуы мүмкін бөліктерге бөлінеді;
в) командалар қатарластығы - әдетте төменгі деңгейде жүзеге асырылады (бұл, мәселен, конвейерлер, т.б.);
г) машиналық ... және ... ... ... ... - ... жағдауларда, мәселен, екі операндты қосу олардың екілік разрядтарын бір уақытта қосындалу арқылы орындалады.
Қазіргі кезде кез келген ... ... ... ... Pentium III, PA-8700, MIPS R1 4000, E2K, Power 3, т.б. ... ... ... ... да ... ... әйтеуір бір түрі пайдаланылады.
қатарластық идеясы ертеректе пайда болған. Басында олар тек кейбір компьютерлерде ғана ендірілген болатын. ... ... ... ... және ... ... арзандауына байланысты олар орта сыныптық компьютерлерде қолданыла бастады, ақыры, бүгінгі күнде олар толық көлемде жұмыс стансалары мен ... ... ... ... ... ... жүйелері элементтері арасындағы байланыс
Қазіргі таңда əр түрлі таратылған есептеу жүйелері бар. жəне терминдерін бір-бірінен ажырату ... ... ... ... жүйелер термині əдеттесуперкомпьютерлердің көп процессорлы архитектура екендігін ерекшелеу үшін қолданылады.Қазіргі заманауи параллельді компьютерлер архитектурасының ... ... ... ... мультипроцессорлық жүйелер. Симметриялық мультипроцессорлеу - екі немесе одан дакөпбірдей жалпы жадыға қосылатын көп процессорлы компьютерлер архитектурасы. Қазіргі ... көп ... ... ... архитектурасын қолданады.
-MPP - массивті-параллельдік жүйелер. Бұл архитектураның ... ... жады ... тұрғыда бөлінген.Аталған жағдайда жүйежеке модульдерден, процессорлардан, амалдық жадының жергілікті банкінен, ... ... ... ... адаптерлерден, кейде қатты дискілер жəне/немесе енгізу/шығару құрылғыларынан құрастырылады.
Мəні жағынан, мұндай модульдер толық функционалдыкомпьютерлер болады. ... ... ... ... ... NUMA - ... ... емесқатынаужүйелері.NUMA жүйесі - бірнеше процессорлық элементтерді өзінің жедел жадысынажергілікті ... ... ... ... блок ... жадысының барлық процессорларынқосатынбірнеше бір тектінегізгі модульдерден тұрады. Осылайша барлық ... ... ... ... ... ... ... бірақ логикалық тұрғыдан бірыңғай адрестік кеңістікте тұтас болып саналады. Физикалық тұрғыдан бөлу ... ... ... жəне ... ... ... ... жады блоктарына қатынауына қарағанда процессорлық элементтің жеке ... ... ... ... ... жылдам болады. NUMA жүйесі - масштабтаудың өте жақсы мүмкіндіктеріне ие. ... ... саны ... ... жетуі мүмкін;
-PVP - параллельді-векторлық жүйелер. PVP жүйесінің негізгі белгілері конвейерлі функционалды құрылғыларда тиімді орындалатын, тəуелсіз ... ... бір ... ... ... ... ... арнайы векторлы-конвейерлік процессорлардың қатысуы болып табылады.Бірнеше мұндай процессорлар (1-16) көп процессорлы конфигурация ... ... ... (SMP ... бір ... ... жасайды. Бірнеше түйін коммутатор көмегімен біріктірілуі мүмкін. Векторлы форматта мəліметтер скалярлыға қарағанда жылдамырақ берілетіндігіне байланысты деректер ағындарының арасында өзара əрекеттесу ... ... ... ... - MPP- дің ... ... ретінде қолданылады. Түйіндеріретінде серверлер, жұмысстанцияларыжəнедербес компьютер болуымүмкін. Түйіндерді байланыстаруды стандартты желілік технологиялардың бірі ... ... ... ... ... ... ... программалар, басқару жүйесі жəне қосымшаларды қоса алғанда компьютерлік жүйелердің əр түрлі деңгейлерінде жүзеге асады
11. Статикалық ... ... ... ... екі түрі бар - стаикалық және динамикалық. Статикалық желі ... ... ... ... ал ... желінің процессораралық байласуларында ауыстырып-қосқыштар қолданылады. Желілердің бірінші түрі құрылымы және деректер ... ... ... ... шешу үшін ... ... ... әмбебабтылау, бірақ олар қымбаттау және оларды жузеге асыру күрделірек.
Статикалық сызба-құрылымдар
Жеке құрсым(bus) арқылы байластыру ең қарапайым және арзан болып ... (1.3 ... Оның ең ... кемшілігі - әрбір уақытта тек бір-ақ деректер/командалар жіберу мүмкіндігі. Өткізу қабілеті құрсымға байласу ... тек ... ... тұратын жуйелерде қолдануға жарайды.
Жоғары өнімді құрсымдарға арналған SCI ... Coherent ... - ... ... интерфейс) деп аталатын IEEE P896 стандарты құрсымның жұмыс істеу жылдамдығының нашарлығына байланысты мәселені ... ... ... ... бұл ... ... қарапайым құрсымға қарағанда күрлелірек болып келеді.
Байласудың тиімділеу болып табылатын ... бір ... - ... тор. Бұл ... ... ... ... екі байланысы, ал шектес элементтердің - бір-бір байланысы бар ... (1.4 ... Егер ... ... ... ... онда "сақина" сызба-құрылым алынады.
Екіөлшемді тор.1.5 - суретте процессорларды жалпақ тор түрінде байластыру сұлбасы келтірілген.
Екіөлшемді тор жақгы шапшаңдылықты қамтамасыз ете ... ... ... ... ... ... қамтамасыз ету үшін деректер жіберілетін бағдарғыны анықтап алу қажет. Өлшемі (n x n) торда деректер тасымалдау үшін барынша көп ... ... ... ... болады.
Мәселен, 16 процессорлық SMP-жуйесінде екі процессор арасындағы ... көп ара ... 2х(4-1) = 6 тең ... еді. ... бойынша егер процессорлар арасындағы барынша улкен ара қашықтық төрттен ... ... онда ... жуйе ... ... ... Сондықтан, 16 процессорды байластыру үшін жалпақ сұлбаны пайдалану тиімді емес.
Негізінде ең тиімді байласу пішімі - ... ең аз ... ... көп ... бар ... ... осындай қасиетке шар ие болады. Бірақ бізге түйіндері бар жуйе құру керек болғандықтан шар орнына куб(Егер ... саны 8 ... ... ... ... саны 8-ден көп ... қажет. Гиперкуб мөлшерлігі байластыратын процессорладың санына байланысты анықталады. Мысалы, 16 процессорды байластыру үшін 4 өлшемді гиперкуб керек болады. ... ... құру үшін ... 3 өлшемді куб алып, оны бір бағытта жылжыту керек, одан кейін екі кубтың төбелерін байластыру арқылы ... ... ... сурет).
Гиперкубтық сәулет есептеу түйіндерін байластыру сызба-құрылымдарының ішіндегі ең тиімделілерінің бірі болып саналады.
Әрбір процессорлық элементте n байласу ... ... де ... бар ... бағдарғылау қажеттігі туады.Аралық түйіндердің барынша көп саны n-ге (гиперкуб мөшеріне) тең ... ... ... бар ... ... ... ең көп ... 6 аралық түйін арқылы өтіп қабылдаушыға жетеді.Осы мән деректер тасымалдау ... ... көп ... ... ... ұйымдастыру үшін,есептеу түйіндерінде жеткілікті түрде қатынас арналары болуы қажет. Мысалы, nCUBE2 жүйесінде 13 қатынас арнасы 8192 процессордан тұратын жүйе құруға ... ... ... нөмірлеу екілік санау жүйесінде жазылған көршілес түйіндердің нөмірлері бір-бірінен тек бір ... ғана ... ... ... Осы ... ... ... бір процессорларды байланыстыратын қатынас арналарының нөмірін бір мағыналы анықтайды.
Сонымен,гиперкубте түйіндерді мекендету үшін ... ... ... ... ... тағайындалады.Бұл кезде көршілес түйіндердің идентификациялау нөмірлерінің екілік көрсетімдері бір-бірінен тек бір разрядқа
ажыратылады.
12. ... ... ...

Пән: Автоматтандыру, Техника
Жұмыс түрі: Дипломдық жұмыс
Көлемі: 86 бет
Бұл жұмыстың бағасы: 1 300 теңге









Ұқсас жұмыстар
Тақырыб Бет саны
Күнтізбе. Уақытты есептеу жүйелері. Байырғы қазақ күнтізбесі13 бет
Байланыс жүйелері17 бет
Еңбекақы мен тариф жүйелері туралы31 бет
Жылу қазандықтары шығарылымдарын зиянсыздандыру және оларды іске асыру технологияларын негіздеу мен жасау туралы24 бет
Информатика курсының компьютерлiк оқыту құралын оқу процесiнде пайдалану67 бет
Күкіртті колчеданнан Жезқазған қаласы шарттарында өнімділігі жылына 2000 т болатын күкірт қышқыл өндірісінің цехын жобалау46 бет
Кәсіпорын еңбек өнімділігін жоғарылату мақсаты мен еңбекақыны өсіру шаралары74 бет
Кәсіпорындағы еңбек ақы29 бет
Эем архитектурасы13 бет
Қазіргі заманғы серверлік жүйелердің қалпы72 бет


Исходниктер
Пәндер
Көмек / Помощь
Арайлым
Біз міндетті түрде жауап береміз!
Мы обязательно ответим!
Жіберу / Отправить


Зарабатывайте вместе с нами

Рахмет!
Хабарлама жіберілді. / Сообщение отправлено.

Сіз үшін аптасына 5 күн жұмыс істейміз.
Жұмыс уақыты 09:00 - 18:00

Мы работаем для Вас 5 дней в неделю.
Время работы 09:00 - 18:00

Email: info@stud.kz

Phone: 777 614 50 20
Жабу / Закрыть

Көмек / Помощь