Muhokama qilish

Son 11Ma’lumotlar infratuzilmasi

Qatma-qat

Kilovattlar haqidagi suhbatning davomi. O‘tgan sonda hisobni spetsifikatsiya bo‘yicha — sotib olinadigan narsalar bo‘yicha yuritgan edik. Bu safar hisobni allaqachon o‘rnatilgan narsa bo‘yicha yuritamiz: ikki maydoncha, jihozlarning besh avlodi, o‘z shkafi bilan keladigan muhandislik komplekslari va ikkita harorat tahlili — ulardan birida aniq tuyulgan izoh tasdiqlanmadi.

O‘tgan sonda kilovattlarni spetsifikatsiya bo‘yicha — sotib olinadigan narsa bo‘yicha hisoblagan edik. Endi allaqachon o‘rnatilgan narsa bo‘yicha hisoblaymiz.

Bu ikki hisob o‘rtasidagi farq ko‘rinishidan kattaroq. Spetsifikatsiya bitta buyurtmani tasvirlaydi: shuncha node, shunday konfiguratsiya, bitta avlod, bitta xarid. Stoykada esa buyurtma emas, tarix yotadi: olti yil oldin sotib olingani, uch yil oldin qo‘shilgani va o‘tgan oy kelib tushgani. Har bir qatlam o‘z byudjeti bo‘yicha, o‘z asoslashi bilan kelgan, va yig‘indini hech kim hisoblamagan, chunki yig‘indi birorta hujjatda ham yo‘q edi.

Keyingi qismda turli loyihalardagi ikkita maydoncha tahlil qilinadi. Birida uch avlod giperkonvergent node’lar va o‘sha stoykadagi begona jihoz bor, ikkinchisida esa 2012-yildan buyon o‘sib kelayotgan park bor. Bundan tashqari, o‘z shkafi bilan keladigan muhandislik komplekslari haqida alohida gap boradi — u yerda qoidalar butunlay boshqacha. Iste’mol jihozlar tarkibi bo‘yicha hisoblangan, bu baho. Haroratlar esa ishlayotgan mashinalardan olingan o‘lchov.

O‘tgan safargidek: bu loyihalarning barchasi o‘z qo‘limiz bilan bajarilmagan, ba’zilarida faqat alohida bosqichlarda ishtirok etganmiz. Buyurtmachilarni nomlamaymiz, soha va davlatni ko‘rsatmaymiz.

Bitta aralash stoykada nima turibdiGiperkonvergent node’larning uch avlodi, oldingi avlod massivi va kommutatorlar. Bironta hamtezlatgich yo‘q.11,25 kWJoriy avlod node’lari, 9 ta4,20 kWO‘tgan avlod node’lari, 5 ta3,40 kWUndan oldingi avlod node’lari, 5 ta1,75 kWMassiv kontrollerlari va polka0,56 kWKommutatorlar04812 kWButun stoykaBandyunitlar42 tadan 33Iste’mol21,2 kWFaza boshiga tok30,7 A32 A kirish 25,6 A ishchi tokberadiYadrolar832Xotira26 TBSig‘im570 TBJihozlar tarkibi bo‘yicha baho.Bitta aralash stoykada nima turibdiGiperkonvergent node’larning uch avlodi, oldingi avlodmassivi va kommutatorlar. Bironta ham tezlatgich yo‘q.Joriy avlod node’lari, 9 ta11,25 kWO‘tgan avlod node’lari, 5 ta4,20 kWUndan oldingi avlod node’lari, 5 ta3,40 kWMassiv kontrollerlari va polka1,75 kWKommutatorlar0,56 kW04812 kWButun stoykaBand yunitlar42 tadan 33Iste’mol21,2 kWFaza boshiga tok30,7 A32 A kirish 25,6 A ishchi tok beradiYadrolar832Xotira26 TBSig‘im570 TBJihozlar tarkibi bo‘yicha baho.
1-rasm. Uch avlod node’li bitta aralash stoykaning tarkibi va iste’moli

Zich node’lar

Giperkonvergensiya: iste’mol va harorat

Disklar bilan to‘ldirilgan node oddiy serverdan ikki barobar ko‘p iste’mol qiladi va havo aylanishi yomonroq. Shu bilan birga monitoring chegaralari o‘tgan avloddan qolgan.

Giperkonvergent node’lardan boshlaymiz, chunki bu gap boradigan maydonchalarda eng ko‘p uchraydigan mashina turi, va chunki uning kam gapiriladigan o‘ziga xos xususiyati bor.

HCI node — bu disklarga to‘ldirilgan server. Odatdagi ma’lumotlar bazasi serverida ikki-to‘rtta disk bo‘ladi, bu yerda esa sakkizta, o‘n ikkita yoki yigirma to‘rtta, va hammasi qattiq holatli (SSD). Bundan ikkita natija kelib chiqadi.

Birinchisi — iste’mol bo‘yicha. Disklar node iste’molining beshdan bir qismini beradi va buni deyarli doimiy ravishda qiladi: bo‘sh turganda ular ikki barobar kamroq iste’mol qilishi mumkin edi, lekin klasterda fonda ketayotgan operatsiyalar, deduplikatsiya va replikatsiya ularga bunga imkon bermaydi. 172 yadroli, yigirmata diskli node taxminan 1780 W oladi, xuddi shu klassdagi protsessorli ma’lumotlar bazasi serveri esa 695 W.

Ikkinchisi — issiqlik bo‘yicha, va bu muhimroq. Old paneli to‘liq disklar bilan band bo‘lgan zich 1U node uchun havo o‘tishiga joy kam qoladi. Oldindan kirgan har qanday havo avval disklardan, keyin xotiradan, so‘ng protsessorlardan o‘tib, allaqachon yaxshi isigan holda orqaga chiqadi.

Bo‘shliqsiz o‘rnatilgan zich node’larning haroratlariIshlayotgan klasterdan olingan o‘lchov. Protsessor e’lon qiladigan chegaragacha zaxira bor, lekinmonitoring kritik qizib ketish haqida xabar beradi.monitoring tizimidagi chegara — 70 va 75°76°Protsessor, klaster bo‘yichamaksimumhigh chegarasi 92° · kritik 100°72°Protsessor, odatiy qiymathigh chegarasi 92° · kritik 100°51°Xotira, maksimumishlab chiqaruvchi chegarasiyuqoriroq, monitoringdagichegara 50°51°Chipsetishlab chiqaruvchi chegarasiyuqoriroq, monitoringdagichegara 50°020406080100 °CNode’lar bir-biriga yaqin, korpuslar orasida bo‘shliqsiz turibdi. Monitoringning standart chegaralari protsessorning o‘zie’lon qiladigan chegaralardan ancha oldin ishga tushadi.Bo‘shliqsiz o‘rnatilgan zich node’larningharoratlariIshlayotgan klasterdan olingan o‘lchov. Protsessor e’lonqiladigan chegaragacha zaxira bor, lekin monitoring kritikqizib ketish haqida xabar beradi.monitoring tizimidagi chegara — 70 va 75°Protsessor, klaster bo‘yicha maksimum76°high chegarasi 92° · kritik 100°Protsessor, odatiy qiymat72°high chegarasi 92° · kritik 100°Xotira, maksimum51°ishlab chiqaruvchi chegarasi yuqoriroq, monitoringdagichegara 50°Chipset51°ishlab chiqaruvchi chegarasi yuqoriroq, monitoringdagichegara 50°020406080100 °CNode’lar bir-biriga yaqin, korpuslar orasida bo‘shliqsiz turibdi.Monitoringning standart chegaralari protsessorning o‘zi e’lonqiladigan chegaralardan ancha oldin ishga tushadi.
2-rasm. Yonma-yon o‘rnatilgan giperkonvergent node’larning haroratlari chegaralarga nisbatan

Ishlayotgan klasterdan olingan o‘lchovlarda bu to‘g‘ridan-to‘g‘ri ko‘rinadi. Bo‘shliqsiz, bir-biriga yaqin o‘rnatilgan joriy avlod node’lari protsessorlarda 76 gradusgacha ko‘rsatadi. Xotira — 51 gradusgacha. Chipset — 51 gradusgacha. Protsessorning o‘zi normal ishlash chegarasini 92 gradus, kritik chegarani esa 100 gradus deb e’lon qiladi, chastotaning pasayishi esa bundan ham yuqorida boshlanadi. Ya’ni zaxira bor, lekin u xohlagandan kamroq, va shu protsessorlarning kamroq zich korpusdagi holatiga qaraganda ham kamroq.

Bundan o‘rnatish bosqichida hech narsaga arzimaydigan, lekin deyarli hech qachon bajarilmaydigan amaliy tavsiya kelib chiqadi: zich node’larni uzluksiz ustun qilib qo‘ymaslik kerak. Node guruhlari orasidagi bitta bo‘sh, qopqoq bilan yopilgan yunit havo taqsimoti manzarasini sezilarli darajada o‘zgartiradi. Agar bo‘sh yunitlar bo‘lmasa, stoykaning boshqa joylarida ochiq bo‘shliqlar qoldirib bo‘lmaydi, chunki issiq havo aynan shu joylardan orqaga qaytadi.

Va alohida monitoring chegaralari haqida. Monitoring tizimlarining standart shablonlarida protsessor harorati bo‘yicha chegaralar odatda ogohlantirish uchun 70 gradus va kritik daraja uchun 75 gradus qilib qo‘yiladi. O‘tgan avlod protsessorlari uchun bu oqilona edi. Normal ishlash chegarasini 92 gradus deb o‘zi e’lon qiladigan hozirgi protsessorlar uchun esa bu yolg‘on signallar oqimini bildiradi: tizim kecha-yu kunduz normal ishlayotgan mashinaning kritik qizib ketishi haqida xabar beradi.

Buning oqibati ko‘rinishidan yomonroq. Navbatchi smena qizil rangga o‘rganib qoladi va unga reaksiya bildirishni to‘xtatadi. Haqiqiy qizib ketish yuzaga kelganda esa, u xuddi shu xabarlar oqimida cho‘kib ketadi. Chegaralarni aniq model protsessorlarining o‘zi e’lon qiladigan qiymatlarga moslashtirish kerak — bu yarim kunlik bir martalik ish, va u monitoringga ma’nosini qaytaradi.

Shu bilan birga qolgan datchiklar bo‘yicha chegaralarni ham tekshiring. Xuddi shu xabarlar to‘plamida bizga disk massivining javob berish vaqti bo‘yicha chegara duch keldi — mikrosekundning o‘n mingdan bir qismiga o‘rnatilgan, hech qanday jihoz umuman bera olmaydigan qiymat. Bunday chegara doimo ishga tushadi va hech narsani anglatmaydi.

Navbatchi smena qizil rangga o‘rganib qoladi va unga reaksiya bildirishni to‘xtatadi. Haqiqiy qizib ketish xuddi shu oqimda cho‘kib ketadi.

To‘planish

Bitta stoykada uch avlod

Bironta ham tezlatgichi yo‘q stoykada yigirma bir kilovatt. Bironta xarid ham yig‘indiga qaramagan.

Birinchi maydoncha. Stoykada turli avlodlarga oid giperkonvergent node’larning ikkita guruhi, polkali disk massivi, ikkita fabrika kommutatori va boshqaruv kommutatori turibdi.

Eski guruh — o‘nta node: beshtasi 32 yadroli, beshtasi 48 yadroli, har birida 768 GB xotira va gibrid saqlash. Yangi guruh — 48 yadroli to‘qqizta node, har birida 2 TB xotira va to‘liq qattiq holatli saqlash. Bundan tashqari, 24 diskli polkaga ega oldingi avlod massivi.

Hisoblaymiz: 33 yunit va odatiy ishlashda 21,2 kW. 832 yadro, 26 TB xotira, 570 TB mantiqiy sig‘im.

Bironta ham tezlatgichi yo‘q stoykada yigirma bir kilovatt. Taqqoslash uchun: o‘tgan sonda gap borgan 15 ta zamonaviy node’dan iborat klaster 18,2 kW berardi va bitta kirishga sig‘mas edi. Bu yerda esa ko‘proq chiqdi — oddiy node’lar bilan, faqat uch avlod davomida to‘plangan holda.

Fazalar bo‘yicha manzara xuddi shunday nohush: 32 A kirish uchun 25,6 A ishchi chegarada faza boshiga 30,7 A to‘g‘ri keladi. Stoyka kirish bo‘yicha o‘tmaydi. Shu bilan birga unda to‘qqizta bo‘sh yunit bor. Bu aynan o‘tgan son yozilgan holat, faqat bu yerda u hech kimning qarorisiz, o‘z-o‘zidan shakllangan — sababi oddiy: har bir xarid faqat o‘z yunitlariga qaragan, yig‘indiga qaramagan.

Xuddi shu buyurtmachining ikkinchi maydonchasi ham shunga o‘xshash tuzilgan: 29 yunit, 21,4 kW, massiv o‘rniga o‘tgan avloddagi to‘rtta server.

Samaradorlik

Metrika nimaga yetishmayotganiga bog‘liq

Kilovattga to‘g‘ri keladigan yadrolar bo‘yicha yangi avlod eskisidan yutqazadi. Terabaytlar bo‘yicha esa uch barobar yutadi.

O‘tgan sonda yadroga to‘g‘ri keladigan vattlar haqida bo‘lim bor edi, unda zich protsessor tejamliroq ekani chiqqan edi. Bu yerda esa bu mantiq teskarisiga aylanadi, va buni tahlil qilishga arziydi.

Uchta metrika, uchta xil javobSamaradorlik «umuman» emas, yetishmayotgan resurs bo‘yicha hisoblanadi.Kilovattga yadrolar4732 yadrolinode5748 yadrolinode38Yangi 48yadrolinodeKilovattga xotira gigabaytlari112932 yadrolinode91448 yadrolinode1638Yangi 48yadrolinodeKilovattga sig‘im terabaytlari1832 yadrolinode1448 yadrolinode40Yangi 48yadrolinodeBitta node to‘plami: yadrolar bo‘yicha yangi avlod yutqazadi, xotira va sig‘im bo‘yicha — yutadiUchta metrika, uchta xil javobSamaradorlik «umuman» emas, yetishmayotgan resursbo‘yicha hisoblanadi.Kilovattga yadrolar32 yadrolinode4748 yadrolinode57Yangi 48 yadrolinode38Kilovattga xotira gigabaytlari32 yadrolinode112948 yadrolinode914Yangi 48 yadrolinode1638Kilovattga sig‘im terabaytlari32 yadrolinode1848 yadrolinode14Yangi 48 yadrolinode40Bitta node to‘plami: yadrolar bo‘yicha yangi avlodyutqazadi, xotira va sig‘im bo‘yicha — yutadi
3-rasm. Bitta node to‘plamida uchta samaradorlik metrikasi va uchta xil javob

Faqat protsessorlarni emas, node’larni butunlay solishtiramiz.

32 yadroli eski node kilovattga 47 ta yadro beradi. 48 yadroli eskisi — 57 ta. Yangi, xuddi shunday 48 yadroli node esa — bor-yo‘g‘i 38 ta. Kilovattga to‘g‘ri keladigan yadrolar bo‘yicha yangi avlod eskisidan bir yarim barobar yutqazadi.

Sababi protsessorlarda emas. Yangi node uch barobar ko‘proq xotira va to‘rt barobar ko‘proq sig‘im tashiydi, va buning hammasi energiya sarflaydi. Kilovattga to‘g‘ri keladigan terabaytlar bo‘yicha u 2,3–2,8 barobar, xotira bo‘yicha esa bir yarim barobar yutadi.

Bundan biz bu sonning eng muhim xulosasi deb hisoblaydigan narsa kelib chiqadi. Yagona samaradorlik metrikasi mavjud emas, metrika tanqislikka qarab tanlanadi. Hisoblash quvvatiga tirmashsangiz — kilovattga yadrolarni hisoblang, shunda minimal qo‘shimcha jihozli zich protsessor yutadi. Sig‘imga tirmashsangiz — kilovattga terabaytlarni hisoblang, javob teskari bo‘ladi. “Umuman” hisoblashning ma’nosi yo‘q: bitta xil node juftligi nimani nimaga bo‘lishingizga qarab qarama-qarshi natijalar beradi.

Va parkni yangilash haqidagi suhbat uchun amaliy xulosa. “Yangi avlod tejamliroq” degan gap yangi node eskisining konfiguratsiyasini qanchalik takrorlasa, shunchalik to‘g‘ri bo‘ladi. Agar avlod bilan birga xotira va sig‘im ham o‘sgan bo‘lsa — ular doim o‘sadi — node ko‘proq iste’mol qiladigan bo‘ladi, va “birini biriga almashtiramiz” tamoyili bo‘yicha almashtirish iste’molning pasayishini emas, o‘sishini beradi.

Parkning yoshi

Hech kim qo‘shmagan qatlamlar

To‘rtta stoyka, beshta avlod, 25 kilovatt. Yarmini allaqachon asosiy bo‘lishdan to‘xtagan qatlam beradi.

Ikkinchi maydoncha — boshqa buyurtmachi va boshqa tarix. Bu yerda park uch emas, besh qatlam bo‘lib, 2012-yildan boshlab o‘sib kelgan.

To‘rtta stoyka, 83 yunit jihoz, odatiy ishlashda 25,5 kW. Yosh bo‘yicha taqsimlaymiz.

Maydoncha iste’moli yosh bo‘yicha nimalardan iboratSarfning yarmini allaqachon asosiy bo‘lmay qolgan bitta avlod qatlami beradi. Beshdan bir qismitarmoqqa ketadi.2012-yilgiserverlar2015-yilgi serverlar2016–2018serverlari2025–2026serverlariTarmoqjihozlari8%51%11%10%19%2,1 kW6 ta13,1 kW30 ta2,9 kW7 ta2,5 kW5 ta4,8 kW24 taTo‘rtta stoyka, 83 yunit jihoz, odatiy ishlashda 25,5 kWJihozlar tarkibi bo‘yicha baho.Maydoncha iste’moli yosh bo‘yichanimalardan iboratSarfning yarmini allaqachon asosiy bo‘lmay qolgan bittaavlod qatlami beradi. Beshdan bir qismi tarmoqqa ketadi.8%51%11%10%19%8%2012-yilgi serverlar2,1 kW · 6 ta51%2015-yilgi serverlar13,1 kW · 30 ta11%2016–2018 serverlari2,9 kW · 7 ta10%2025–2026 serverlari2,5 kW · 5 ta19%Tarmoq jihozlari4,8 kW · 24 taTo‘rtta stoyka, 83 yunit jihoz, odatiy ishlashda 25,5 kWJihozlar tarkibi bo‘yicha baho.
4-rasm. Maydoncha iste’molining jihoz yoshi bo‘yicha taqsimoti va tarmoq ulushi

2012-yilgi serverlar — oltita, 2,1 kW, quvvatning 8%. 2015-yilgi serverlar — o‘ttizta, 13,1 kW, maydonchaning butun iste’molining yarmidan ko‘pi. 2016–2018-yillar serverlari — yettita, 2,9 kW. 2025–2026-yillar serverlari — beshta, 2,5 kW, o‘ndan bir qismi.

Va alohida qator sifatida: tarmoq jihozlari — 24 ta qurilma va 4,8 kW, ya’ni maydoncha quvvatining 19%. Elektr energiyasining deyarli beshdan bir qismi kommutatorlarga ketadi, ularning yarmi o‘n yildan ko‘proq vaqt oldin ishlab chiqarilgan. Alohida stoykalarda tarmoq ulushi 29% ga yetadi.

Bu raqamni biz ataylab keltiramiz, chunki u odatiy tasavvurni buzadi. Iste’molni hisoblashganda serverlarni hisoblashadi. Tarmoq hisobda odatda “xo‘sh, kommutatorlar ham bor” tarzida ko‘rinadi. Bu yerda esa kommutatorlar butun yangi parkdan ko‘proq “yeydi”, shu bilan birga ularning har biri alohida olganda ahamiyatsiz ko‘rinadi — 390 W, kim ularni hisoblab o‘tiradi.

Tarmoq ulushi bundan tashqari notekis taqsimlangan. Yadro va kirish kommutatorlari to‘plangan stoykalarda u chorak qismga, hatto 29% ga yetadi, faqat serverlar turgan stoykada esa bir foizgacha tushadi. Buni rejalashtirishda hisobga olish kerak: tarmoq jihozi bo‘lgan stoyka o‘z hisobini talab qiladi, va “u yerda joy bor ekan” deb serverlarni unga ko‘chirish mumkin bo‘lmasligi mumkin.

Ikkinchi kuzatuv — ro‘yxatning o‘rtasi haqida. Bitta avlodning o‘ttizta serveri butun sarfning yarmini beradi. Bu na eng eski, na eng yangi jihoz, bu bir vaqtlar asosiy bo‘lgan, keyin esa hech qayerga yo‘qolmagan qatlam. Uni foydalanishdan chiqarishmaydi, chunki unda nimadir ishlayapti, va modernizatsiya qilishmaydi, chunki byudjet yangisiga ketadi. O‘n yil davomida bunday qatlam sarfning asosiy moddasiga aylanadi, va bu faqat kimdir o‘tirib hammasini qo‘shganda ma’lum bo‘ladi.

Kommutatorlar butun yangi parkdan ko‘proq “yeydi”. Va ularning har biri alohida olganda ahamiyatsiz ko‘rinadi.

Muhandislik komplekslari

Stoyka to‘liq holda kelganda

Quvvati xariddan oldin vendor tomonidan hisoblab qo‘yilgan tizimlar sinfi bor. Va bunda shkaf birinchi kundan boshlab to‘liq band bo‘ladi.

Shu paytgacha o‘zlari yig‘ilgan stoykalar haqida gap bordi: serverlar sotib olinadi, shkafga qo‘yiladi, ulanadi. Shkaf yagona mahsulot sifatida keladigan boshqa tizimlar sinfi ham bor, va u yerda quvvat haqidagi suhbat tubdan boshqacha tuzilgan.

Bular muhandislik komplekslari — ma’lumotlar bazasi mashinalari, katta ma’lumotlarni qayta ishlash komplekslari, ixtisoslashgan zaxira nusxalash tizimlari. Ularning ichida oddiy server temir-tersagi bor, farqi komponentlar quvvati va tarkibida. Tashqarida esa — ko‘p fazali quvvat taqsimlash bloklari allaqachon o‘rnatilgan, ichki tarmog‘i allaqachon tortilgan, sovutishi allaqachon hisoblab qo‘yilgan tayyor shkaf.

Bunday mashinaning odatiy dastlabki konfiguratsiyasi — ikkita ma’lumotlar bazasi serveri va uchta saqlash serveri. 2U korpuslarda bu taxminan 10 yunit jihoz, qo‘shimcha ichki fabrika kommutatorlari. Shu bilan birga shkaf to‘liq — barcha 42 yunit — turadi va u to‘liq to‘ldirishga mo‘ljallangan.

Bundan o‘z-o‘zidan yig‘ilgan stoykadan asosiy farq kelib chiqadi, va u ikki tomonga ham ishlaydi.

Yaxshi tomoni: kengaytirish quvvatni qayta hisoblashni talab qilmaydi. Node’lar kerakli sig‘im va unumdorlikdan kelib chiqib bittalab yoki bloklarda qo‘shiladi, va “kilovattlar bo‘yicha sig‘adimi” degan savol tug‘ilmaydi — buni vendor oldindan hisobga olgan, taqsimlash bloklari allaqachon turibdi, nominallar to‘liq shkaf uchun tanlangan. Bu bir necha yillik istiqbolda hayotni sezilarli darajada osonlashtiradi: siz energetiklar bilan gaplashmasdan o‘sib borishingizga aniq amin bo‘lasiz.

Teskari tomoni: joy va quvvat ta’minoti birinchi kundanoq to‘liq shkaf uchun band qilinadi. Siz to‘ldirishning chorak qismini sotib olasiz, zal esa unga butun shkafning maydonini va uning maksimumiga mo‘ljallangan ta’minotni ajratishi kerak. Ta’minoti cheklangan zal uchun bu xariddagidan qimmatroq bo‘lib chiqishi mumkin.

Bunday tizimlar uchun ta’minot talablarini ishlab chiqaruvchi ochiq holda, maydonchani rejalashtirish bo‘yicha hujjatlarda e’lon qiladi: unda quvvat ham, issiqlik chiqishi ham, kirishlarga talablar ham ko‘rsatilgan. Buni xariddan keyin emas, oldin o‘qib chiqishga arziydi — oddiy serverlardan farqli o‘laroq, bu yerda hammasi siz uchun allaqachon hisoblab, oddiygina yozib qo‘yilgan.

Meynfreymlar — alohida hikoya. U yerda mutlaqo hammasi qat’iy belgilangan: shkaf tarkibi, quvvat, sovutish, ulagichlar. Tizim yagona butunlik sifatida keladi, o‘z sxemasi bo‘yicha ulanadi, va kompanovkada ta’rifiga ko‘ra hech qanday erkinlik yo‘q. Zalni rejalashtirish nuqtai nazaridan bu eng oddiysi: joy tayyorlash kerak bo‘lgan bitta raqam bor. Moslashuvchanlik nuqtai nazaridan esa — o‘z-o‘zidan yig‘ilgan stoykaning aksi.

Amaliy xulosa. Agar parkingizda bunday kompleks bo‘lsa yoki rejalashtirilayotgan bo‘lsa, uni oddiy serverlar bilan bir qatorda stoykalarning umumiy arifmetikasida hisobga olib bo‘lmaydi. Bu o‘z ta’minoti, o‘z issiqlik chiqishi va oldindan ma’lum o‘sish shifti bo‘lgan alohida rejalashtirish birligi. Va bu, ehtimol, “kengaytirish sig‘adimi” degan savolning kengaytirish kerak bo‘lishidan oldinoq javobi bo‘lgan yagona holat.

Stoykani band qilishning uchta usuliMuhandislik kompleksida quvvat xariddan oldin hisoblangan. Buning bahosi — birinchi kundan to‘liqshkaf uchun joy va quvvat kirishi.O‘z-o‘zidan yig‘ilgan stoykaTarkibo‘zingiz tanlaysizQuvvato‘zingiz hisoblaysizRozetka bloklariyuklamaga qarab tanlaysizKengaytirishhar safar qayta hisoblashBirinchi kundan bandqancha qo‘yilgan bo‘lsa,shunchaO‘sish shipioldindan noma’lumMuhandislik kompleksiTarkibvendor katalogidanQuvvatoldindan hisoblanganRozetka bloklariko‘p fazali, allaqachono‘rnatilganKengaytirishnode’lar bilan, qaytahisoblashsizBirinchi kundan bandbutun shkafO‘sish shipixariddan oldin ma’lumMeynfreymTarkibqat’iy belgilanganQuvvatqat’iy belgilanganRozetka bloklario‘z sxemasiKengaytirishshkaf doirasidaBirinchi kundan bandbutun shkafO‘sish shipimodel bilan belgilanganStoykani band qilishning uchta usuliMuhandislik kompleksida quvvat xariddan oldinhisoblangan. Buning bahosi — birinchi kundan to‘liq shkafuchun joy va quvvat kirishi.O‘z-o‘zidan yig‘ilgan stoykaMuhandislik kompleksiMeynfreymTarkibo‘zingiz tanlaysizvendor katalogidanqat’iy belgilanganQuvvato‘zingiz hisoblaysizoldindan hisoblanganqat’iy belgilanganRozetka bloklariyuklamaga qarab tanlaysizko‘p fazali, allaqachon o‘rnatilgano‘z sxemasiKengaytirishhar safar qayta hisoblashnode’lar bilan, qayta hisoblashsizshkaf doirasidaBirinchi kundan bandqancha qo‘yilgan bo‘lsa, shunchabutun shkafbutun shkafO‘sish shipioldindan noma’lumxariddan oldin ma’lummodel bilan belgilangan
5-rasm. O‘z-o‘zidan yig‘ilgan stoyka, muhandislik kompleksi va meynfreym: quvvatni rejalashtirish qanday farq qiladi

Sovutish

Havoning chegarasi

Bir nechta tarmoq bo‘yicha chegaralar, ulardan o‘tgach sovutish sxemasi istak bo‘yicha emas, fizika bo‘yicha o‘zgaradi.

Biz hisoblagan quvvatni issiqlik shaklida chiqarib yuborish kerak. Sovutish haqida bir nechta chegarani bilish kifoya, va ular vendorga oid emas, sohaga oid.

Stoykaga taxminan 10 kW gacha issiq va sovuq yo‘laklar bo‘lgan odatiy sxema yetarli, buning uchun yo‘laklar chindan ham ajratilgan va bo‘sh yunitlar qopqoqlar bilan yopilgan bo‘lishi shart. 10 dan 30 kW gacha oraliqda qator ichidagi yechimlar va havo qayerga ketayotganini diqqat bilan nazorat qilish kerak. 30–40 kW da havo bilan sovutish fizik chegaraga tiraladi: stoyka orqali haydash kerak bo‘lgan havo hajmi va tezligi odatiy tizim bera oladigan darajadan oshib ketadi. Bu chegarani cho‘zishga orqa eshik-issiqlik almashtirgichi yordam beradi. 40 kW dan yuqorida suyuqlik variant bo‘lishdan to‘xtab, talabga aylanadi.

Stoykani quvvatiga qarab nima bilan sovutish kerakSohaviy chegaralar. Ikkala maydonchaning yuqori stoykalari yo‘laklar va qopqoqlar yetarli bo‘lganchegaradan allaqachon chiqib ketgan.ko‘rib chiqilganmaydonchalarstoykalariYo‘laklar va qopqoqlarissiq va sovuq yo‘laklarni ajratganodatiy sxema0–10 kWQator ichidagi sovutishqatordagi sovutgichlar, havotaqsimotini nazorat qilish10–30 kWOrqa eshik-issiqlikalmashtirgichihavo sxemasini fizikchegaragacha cho‘zadi30–40 kWSuyuqlikchiplardagi plastinalar; variantemas, talab40 kW dan yuqori0102030405060 kWStoykani quvvatiga qarab nima bilansovutish kerakSohaviy chegaralar. Ikkala maydonchaning yuqoristoykalari yo‘laklar va qopqoqlar yetarli bo‘lganchegaradan allaqachon chiqib ketgan.ko‘rib chiqilgan maydonchalar stoykalariYo‘laklar va qopqoqlarissiq va sovuq yo‘laklarni ajratgan odatiy sxema0–10 kWQator ichidagi sovutishqatordagi sovutgichlar, havo taqsimotini nazorat qilish10–30 kWOrqa eshik-issiqlik almashtirgichihavo sxemasini fizik chegaragacha cho‘zadi30–40 kWSuyuqlikchiplardagi plastinalar; variant emas, talab40 kW dan yuqori0102030405060 kW
6-rasm. Stoykaning quvvatiga qarab sovutish usullari va sohaviy chegaralar

Tahlil qilingan ikkala maydoncha ham stoykaga 3 dan 21 kW gacha oraliqda yashaydi. Ya’ni yuqori stoykalar yo‘laklar va qopqoqlar yetarli bo‘lgan zonadan allaqachon chiqib, havoni diqqat bilan nazorat qilish kerak bo‘lgan zonaga tushib qolgan. Bu haqda hech qanday qaror qabul qilinmagan — shunchaki yana bir qatlam qo‘shilgan.

Kerakli havoni mavjud tizim bera oladigan havo bilan solishtirish foydali. Soxta pol teshikli plitasi odatda daqiqasiga 300 dan 600 kub futgacha o‘tkazadi. 21 kW li stoyka esa taxminan 3300 talab qiladi — ya’ni olti-o‘nta plita, va bu hajmning hammasi aynan o‘sha stoykaga tushishi kerak, qo‘shnilarga tarqalib ketmasligi kerak. Aralash stoykada bu bir xil turdagi stoykaga qaraganda qiyinroq: turli vendorlarning jihozlari turli chuqurlikka, turli ventilyatorlarga va turli oraliq talablariga ega.

Puflash yo‘nalishi haqida alohida. Serverlar deyarli har doim oldindan orqaga puflaydi, kommutatorlar esa ikki xil ijroda chiqariladi, va aralash stoykaga havoni issiq zonadan oladigan qurilmani osongina qo‘yib qo‘yish mumkin. Bir xil turdagi stoykada bu savol tug‘ilmaydi, aralashida esa uni har bir pozitsiya bo‘yicha tekshirish kerak — ayniqsa jihoz bir necha yillik farq bilan turli yetkazib berishlardan kelgan bo‘lsa.

O‘lchov

Gap kilovattlarda emasligida

Aniq tuyulgan izoh noto‘g‘ri bo‘lib chiqqan holat, va bu faqat qayta o‘lchov orqali ma’lum bo‘lgan.

Oxirgi bo‘lim — biz noto‘g‘ri chiqqan holat haqida, va bu boshqa hamma narsadan ko‘ra foydaliroq.

To‘rtta ma’lumotlar bazasi serveri, butun parkdagi eng oddiy pozitsiya: 48 yadro, taxminan 470 W, 1U korpus. Tekshiruvda protsessor harorati normal ishlash yuqori chegarasi 92 va kritik chegarasi 100 bo‘lganida 78 va 85 gradusni, tarmoq kartasi esa chegara 95 bo‘lganida 86 va 90 ni ko‘rsatdi. Ya’ni bunday tahlillarda odatda umuman eslanmaydigan karta uchun besh gradus zaxira bor edi.

Mantiq oddiy edi: serverlar sovuq havo kirishi yomonroq bo‘lgan stoykaning yuqori qismida turgan edi. Ularni pastga ko‘chirib, qayta o‘lchov olindi.

Protsessor harorati — 78 o‘rniga 77 gradus. Disklar uch gradus sovuqroq. Tarmoq kartasi — avvalgidek, aynan 90.

Bundan tashqari, ko‘chirilgan ikkala mashinada ham tarmoq kartalarining barcha to‘rtta porti aynan 90,0 ni ko‘rsatdi. 89 ham, 91 ham emas. Har xil havo va har xil yuklama sharoitida bunday bo‘lmaydi: farq hech bo‘lmasa bir necha gradus bo‘lishi kerak edi. Bu muhitga tiralib qolgan datchikning emas, berilgan nuqtani ushlab turadigan regulyatorning xatti-harakati. Sovutishni boshqarish tizimi 90 gradusni maqbul deb hisoblaydi, chunki chegara 95, va ventilyatorlarni kuchliroq aylantirmaydi.

Shu bilan birga nega ko‘chirish yordam bermagani ham tushuntiriladi. Regulyator aylanish tezligini pasaytirib, sovuqroq havoni kompensatsiya qildi va haroratni xuddi shu berilgan nuqtaga qaytardi. Sharoit o‘zgardi, ishchi nuqta o‘zgarmadi.

Bundan amaliy jihatdan nima kelib chiqadi. Agar sharoit o‘zgarganda harorat o‘zgarmasa, izlash zalda emas, sozlamalarda kerak: proshivkadagi sovutish profili, ventilyator aylanishlari, boshqaruv tizimidagi chegaralar. Va alohida — konfiguratsiyada. Bu serverlarda standart radiatorlar va standart ventilyatorlar turibdi, bizning boshqa loyihalarimizda esa taqqoslanadigan protsessorlarda hamma joyda unumdor variantlar tanlangan. Bu konfiguratorda ixtiyoriy opsiyadek ko‘rinadigan va server narxi fonida sezilmaydigan ikki qator.

Va xuddi shu o‘lchovlarda ko‘rinadigan yana bir detal. Ikkala mashinada ham ikkinchi protsessor birinchisidan 9–15 gradus sovuqroq. Bu puflash emas, bunday farq puflash bilan tushuntirilmaydi. Bu asosan bitta xotira taqsimlash node’ida joylashgan yuklama: mashinaning yarmi yuklama ostida ishlayapti, ikkinchi yarmi esa salqinlanib turibdi. Bu yerda harorat sovutishga hech qanday aloqasi bo‘lmagan muammoning ko‘rsatkichi bo‘lib chiqdi.

Odatda ko‘zdan chetda qoladigan narsani qo‘shamiz: server konfiguratsiyalari «ma’lumotlar markazi muhiti 25 gradus» parametri bilan yig‘iladi. Bu istak emas, e’lon qilingan sovutish ishlaydigan shart. Agar stoyka kirishida issiqroq bo‘lsa, zaxira birinchi yoqilishdan oldinoq sarflangan bo‘ladi, va stoyka ichida hech qanday qayta joylashtirish buni qaytarmaydi.

Mezon

Eskisini qachon chiqarish kerak

Buzilish, qo‘llab-quvvatlashning tugashi va unumdorlik yetishmasligiga to‘rtinchi sababni qo‘shishga arziydi.

Boshlagan narsamizga — qatlamlarga qaytamiz.

Birinchi maydonchadagi eski node guruhini kengaytirib bo‘lmaydi: litsenziyaning oldingi turi. U ikki maydonchada 31 yunit egallaydi, 15,4 kW iste’mol qiladi va protsessorlarning yuklamasi taxminan 40% bo‘lganida kritik bo‘lmagan va test vazifalarni bajaradi. Yiliga bu faqat jihoz uchun taxminan 135 000 kWh, sovutishni hisobga olganda esa taxminan 215 000.

Uni moslashuvchan zaxira sifatida qoldirish qarori oqilona: temir-tersak sotib olingan, ishlayapti, unga vazifalar bor. Lekin endi bu qarorning narxi paydo bo‘ldi, va u o‘lchanadigan. O‘n besh kilovatt — bu ikki maydonchadan birida butun yangi klaster egallaydigan miqdordan ko‘proq.

Bundan jihozni foydalanishdan chiqarish muhokamasida odatda bo‘lmaydigan mezon kelib chiqadi. Eski temir-tersak buzilganda, qo‘llab-quvvatlash tugaganda yoki unumdorlik yetmay qolganda chiqariladi. Biz to‘rtinchi sababni qo‘shishni taklif qilamiz: u egallagan kilovattlar u bajarayotgan ishdan ko‘ra kerakliroq bo‘lganda. Ta’minoti cheklangan zalda har bir eski node yangisi turolmaydigan joyni egallaydi. Va buni yunitlarda emas, kilovattlarda va fazadagi tokda hisoblash kerak.

Tekshiruv ro‘yxati

O‘z maydonchangizda nimani tekshirish kerak

O‘nta harakat, ular uchun audit ham, asboblar ham kerak emas.

  1. Stoykada turgan hamma narsaning, jumladan kommutatorlar, massivlar va begona yetkazib berishlardan kelgan hamma narsaning iste’molini qo‘shing. Qatlam-qatlam emas, butunligicha.
  2. Har bir stoyka uchun fazadagi tokni hisoblang va kirish nominali bilan solishtiring — aralash stoykalar uchun bu ko‘pincha tor joy bo‘ladi.
  3. Iste’molni jihoz yoshi bo‘yicha taqsimlang va qaysi qatlam eng qimmat ekanini ko‘ring. Odatda bu na eng eski, na eng yangisi bo‘ladi.
  4. Tarmoq jihozining ulushini alohida hisoblang. Agar u o‘ndan bir qismidan ko‘p bo‘lsa — u yerda nima turgani va necha yoshda ekanini ko‘rishga arziydi.
  5. Monitoring tizimidagi harorat chegaralarini tekshiring va ularni aniq model protsessorlarining o‘zi e’lon qiladigan qiymatlarga moslashtiring. Shu bilan birga qolgan chegaralarni ham ko‘ring: doim ishga tushadiganlari hech narsani anglatmaydi.
  6. Zich node’lar uzluksiz ustun bo‘lib turganini tekshiring va imkon bo‘lsa, ularni qopqoqli bo‘shliqlar bilan ajrating.
  7. Stoykadagi har bir server bo‘lmagan qurilmaning puflash yo‘nalishini tekshiring.
  8. Ishlayotgan mashinalardan, faqat protsessorlardan emas, tarmoq kartalari, xotira va disklardan ham harorat o‘lchovlarini oling.
  9. Muhandislik komplekslarini alohida rejalashtirish birligi deb hisoblang, ta’minot talablarini esa ishlab chiqaruvchining maydonchani rejalashtirish bo‘yicha hujjatlaridan oling.
  10. Har bir eski node uchun savolga javob bering: qaysi biri muhimroq — u bajarayotgan ish yoki u egallagan kilovatt va yunitlar.

Yakun

Xulosa o‘rniga

Park hech qachon bir vaqtning o‘zida sotib olinmaydi. U qo‘shib-qo‘shib sotib olinadi: bitta xarid, bitta asoslash bilan, har safar bo‘sh yunitlarga qarab, deyarli hech qachon fazadagi umumiy tokka qaramay. Bir necha yildan so‘ng hech kim loyihalashtirmagan stoyka paydo bo‘ladi, va uning xususiyatlari birorta hujjatda ham tasvirlanmagan, chunki har bir hujjat faqat o‘z qatlamini tasvirlagan.

Yaxshi xabar shundaki, qatlamlarni har kim ham qo‘sha oladi: buning uchun audit ham, asboblar ham kerak emas, jihoz tarkibi va kalkulyator yetarli. Yomon xabar esa — yig‘indi odatda kutilganidan katta bo‘lib chiqadi, va bu yana bitta server qo‘yish kerak bo‘lgan paytda ma’lum bo‘ladi.

Agar stoykalaringizda haqiqatan ham nima borligini bilmoqchi bo‘lsangiz — keling, hisoblab beramiz. Shu bilan birga allaqachon ishlayotgan narsadan haroratlarni olamiz: tajribamizga ko‘ra, u yerda har qanday spetsifikatsiyadagidan ko‘ra qiziqarli narsalar ko‘proq topiladi.

Vazifani muhokama qilish

Vazifangizni birga ko‘rib chiqamiz

Platforma yoki loyihangiz haqida yozing — muhandis Telegramda yoki e-mail orqali javob beradi.

Telegramda yozish

Yoki Telegramda yozing — bot savolingizni muhandisga yetkazadi.