Muhokama qilish

Son 16Ma’lumotlar infratuzilmasi

vSphere’dagi parallel dunyo

Yirik raqamli kompaniyalar klassik infratuzilmani sotib olishda davom etmoqda — va buni ongli ravishda qilmoqda. Hech qayerga ketmayotgan dunyoning mantig‘ini ko‘rib chiqamiz.

Ramka

Parallel dunyo

Tashqarida — millionlab foydalanuvchilar uchun raqamli ekotizim. Ichkarida — 2026-yilda sotib olingan klassika.

Tashqaridan bu ommaviy raqamli mahsulotga ega kompaniyalar guruhi. Ilova bir necha daqiqada hisob ochadi, xizmat navbatlarsiz va ofislarsiz ishlaydi, foydalanuvchilar millionlab. Bu raqamli ekotizimning eng zamonaviy ma’nodagi vitrinasi.

Ichkarida klassika ishlaydi: uch darajali arxitektura, VCF obunasidagi VMware, Brocade’dagi FC fabrika, Cisco’dagi tarmoq, Data Domain’ga zaxira nusxalash va ko‘p shkafli lentali kutubxona. Har bir yangi ehtiyoj birinchi eshelon vendoridan yangi sinfdagi uskuna bilan yopiladi. Komponentlarda tejash bu yerda usul sifatida qabul qilinmagan.

Quyidagi portret shakl jihatidan jamlangan, ammo mazmunan juda aniq: tasvirlanganlarning barchasi ochiq manbalarda bor. Bu parkni biz qurmaganmiz va unga xizmat ko‘rsatmaymiz. Biz uning mantiqini tushunishni xohlaymiz, boshqalarning tanlovini baholashni emas, shuning uchun kinoyasiz yozamiz. Bu dunyoning o‘z izchil mantiqi bor va u tahlil qilishga arziydi.

Hisoblash

Partiyalab xostlar

Yuzlab xostlar, bir necha o‘nlab xostdan iborat to‘lqinlar, bir vaqtning o‘zida ikki ishlab chiqaruvchidan bitta konfiguratsiya.

Virtuallashtirish parki yuzlab xostlar bilan o‘lchanadi va u bir necha o‘nlab bir xil serverdan iborat to‘lqinlar bilan o‘sadi. Oxirgi to‘lqinning odatiy xosti — 1U, har biri 32 yadroli ikkita protsessor, taxminan 1,5 TB xotira va birorta ham ma’lumotlar diski yo‘q. Yuklash ko‘zgulangan M.2 juftligidan amalga oshiriladi, tashqariga esa ikkita ikki portli 32G HBA va ikkita ikki portli 25GbE adapter chiqarilgan.

Bitta xostlar to‘lqini qancha obuna yadrosini olib keladiProtsessordagi yadrolar soni turlicha bo‘lgan 50 ta ikki socketli xostdan iborat to‘lqin. VCF obunasi harbir CPU uchun kamida 16 yadro hisoblaydi.2 × 16 yadro (minimum)1 600 yadro2 × 24 yadro2 400 yadro2 × 32 yadro3 200 yadrooxirgi to‘lqin tanlovi2 × 48 yadro4 800 yadro2 × 64 yadro6 400 yadro2 × 96 yadro9 600 yadro02 0004 0006 0008 00010 000VCF yadrolarini hisoblash qoidasi bo‘yicha hisob; narxlar keltirilmagan.Bitta xostlar to‘lqini qancha obunayadrosini olib keladiProtsessordagi yadrolar soni turlicha bo‘lgan 50 ta ikkisocketli xostdan iborat to‘lqin. VCF obunasi har bir CPUuchun kamida 16 yadro hisoblaydi.2 × 16 yadro (minimum)1 600 yadro2 × 24 yadro2 400 yadro2 × 32 yadro3 200 yadrooxirgi to‘lqin tanlovi2 × 48 yadro4 800 yadro2 × 64 yadro6 400 yadro2 × 96 yadro9 600 yadro04 0008 000VCF yadrolarini hisoblash qoidasi bo‘yicha hisob; narxlarkeltirilmagan.
1-rasm. Protsessordagi yadrolar soni turlicha bo‘lganda 50 ta ikki socketli xostdan iborat to‘lqin uchun VCF obunasi yadrolari

Bu tavsifda uchta tafsilot muhim.

Birinchisi — disksiz xost. Ma’lumotlar massivlarda yashaydi, xost faqat hisoblaydi. Ishdan chiqqan server klasterdan chiqariladi va bir soat ichida xuddi shu profilli yangisi bilan almashtiriladi. Ya’ni xost bu yerda saqlash joyi emas, sarf materiali.

Disksiz xost — sarf materiali. Uni o‘ylab o‘tirmay almashtirishadi, chunki ma’lumotlar unda yashamaydi.

Ikkinchisi — bitta konfiguratsiya bir vaqtning o‘zida ikki ishlab chiqaruvchidan so‘raladi. Bitta xaridda Dell PowerEdge va HPE ProLiant uchun amalda bir xil spetsifikatsiyalar yotadi: o‘sha protsessor, o‘sha xotira hajmi, o‘sha adapterlar to‘plami. Eng yaxshi shartlar va yetkazib berish muddatini taklif qilgan g‘olib bo‘ladi. VMware klasteriga korpusda kimning yorlig‘i turgani farqsiz, xaridga esa bu taqchillikdan va bitta vendorga bog‘liqlikdan himoya beradi.

Uchinchisi — yadrolar bo‘yicha o‘rtani tanlash. 08-sonda biz jismoniy yadrolar bo‘yicha litsenziyalash kamroq yadroli protsessorlarga tortishini, 10-sonda esa elektr ta’minoti va zichlik teskari tomonga tortishini yozgan edik. Bu yerda tanlov o‘rtada qilingan: har bir socketga 32 yadro, xostga 64 yadro. VCF obunasi har bir protsessorga kamida 16 yadro hisoblaydi, shuning uchun 50 ta xostdan iborat to‘lqin uchun oraliq eng kamtar protsessorlarda 1 600 obuna yadrosidan 96 yadrolilarda 9 600 tagacha boradi. Tanlangan o‘rta 3 200 ni beradi, va bu faqat bitta to‘lqin.

Xotira ham shu qarorga taalluqli. Xostda 64 yadro va taxminan 1,5 TB xotira, ya’ni har bir yadroga taxminan 24 GB. Obuna yadrolar bo‘yicha hisoblanadi, xotira esa unga kirmaydi, shuning uchun uni maksimal darajada to‘ldirish, yadrolarni esa o‘rtada ushlab turish foydali. 08-sonda biz buni o‘zgarmas litsenziya perimetri deb atagan edik: VM’lar ko‘proq resurs oladi, obuna hisobi esa o‘smaydi.

Saqlash tarmog‘i

O‘chirilmaydigan fabrika

Bu yerda FC meros emas, tanlov: uni umrini o‘tkazishga qoldirishmaydi, kengaytirishadi.

Saqlash tizimi xostlarga Brocade kommutatorlaridagi ikkita mustaqil fabrika orqali Fibre Channel bo‘yicha ulangan. Fabrika qayta qurilmaydi va Ethernet bilan almashtirilmaydi, u kengaytiriladi. Yangi kommutatorlar joriy avloddan 32G optika bilan o‘rnatiladi, portlar esa bir martada 8 tadan litsenziyalar bilan qo‘shiladi. Ya’ni ekspluatatsiya, monitoring va tartib-qoidalar allaqachon ko‘nikkan o‘sha topologiyaning sig‘imi o‘sadi.

Mantiqni yaxshi ko‘rsatadigan tafsilot: yangi kommutatorlar 64G avlodiga mansub, ammo xostlarda turgan HBA’larga mos ravishda 32G optika bilan keladi. Fabrika tezligini keyinroq, kommutatorlarning o‘ziga tegmasdan, optika va adapterlarni almashtirish orqali oshirish mumkin bo‘ladi. Fabrika o‘sish uchun zaxira bilan sotib olinadi, pul esa hozir kerak bo‘lgan tezlik uchun to‘lanadi.

09-sonda biz VMware’dan ketishda ajratilgan FC fabrikani ko‘pincha olib tashlash va uning o‘tkazish qobiliyatini 25G va 100G Ethernet’ga berish mumkinligini ko‘rsatgan edik. Bu yerda mantiq teskari va u izchil. FC oldindan aytib bo‘ladigan kechikishni beradi, saqlash trafigini tarmoqning qolgan qismidan jismonan ajratadi va jamoada allaqachon bor hamda bozorda topish oson bo‘lgan malakalarga tayanadi. Asosiy platforma uch darajali ekan, FC’dan voz kechishga hojat yo‘q.

Biroq buning uchun to‘lashga to‘g‘ri keladi. Birinchisi — bitta o‘rniga ikkita tarmoq: alohida kommutatorlar, alohida kabel tizimi va alohida qo‘llab-quvvatlash shartnomalari. Ikkinchisi — jamoada ushlab turish kerak bo‘lgan alohida bilimlar to‘plami. Bu dunyo ikkala band uchun ham ongli ravishda to‘laydi.

Saqlash

Har bir vazifaga o‘z javoni

Yangi ehtiyoj mavjud massivga tiqishtirilmaydi — uning uchun yangi sinf sotib olinadi.

Bu dunyoda massivlar o‘nlab, avlodlar oralig‘i esa aylanuvchi diskli gibrid tizimlardan eng yangi all-NVMe’gacha boradi. Yangi ehtiyoj mavjud massivga tiqishtirilmaydi: uning uchun sinfiga mos yangisi sotib olinadi. Vakansiyalarning ochiq tavsiflariga ko‘ra, yonma-yon kamida ikki ishlab chiqaruvchining massivlari va alohida S3 obyektli ombori ishlaydi, ya’ni bu yerda turli xillik nafaqat avlodlar, balki vendorlar bo‘yicha ham.

Har bir vazifaga o‘z javoniYangi ehtiyoj mavjud massivga tiqishtirilmaydi — uning uchun yangi sinfdagi uskuna sotib olinadi.VMware qatlami — umumiy maxrajmassivlar o‘rtasida Storage vMotion · tashuvchi sinfi bo‘yicha saqlash siyosatlari · lokal NVMe’da vSANBlokFC 32G, ikkita fabrikaSo‘nggi yillardagiall-NVMeO‘tgan avlodlarall-flash’iHDD’li gibridlarSinxron juftlik, RPO =0Fayl va obyektEthernet 100GGuruhdagi har birkompaniyaning o‘zplatformasi —juftlikdaBir nechtashassigacha o‘sishLokal NVMevSAN konturiHar biri 7,68 TBbo‘lgan 10 ta diskTashqi massivsizFC’sizNusxalar va arxivData Domain va lentaHar birmaydonchadaapplianceUlar o‘rtasidareplikatsiyaKo‘p shkaflikutubxonaAylanuvchi diskli gibridlardan all-NVMe’gacha: avlodlar yonma-yon turadi, har bir massivning o‘z hayotiy sikli bor.Har bir vazifaga o‘z javoniYangi ehtiyoj mavjud massivga tiqishtirilmaydi — uninguchun yangi sinfdagi uskuna sotib olinadi.VMware qatlami — umumiy maxrajmassivlar o‘rtasida Storage vMotion · tashuvchi sinfibo‘yicha saqlash siyosatlari · lokal NVMe’da vSANBlokFC 32G, ikkita fabrikaSo‘nggi yillardagiall-NVMeO‘tgan avlodlarall-flash’iHDD’li gibridlarSinxron juftlik, RPO = 0Fayl va obyektEthernet 100GGuruhdagi har birkompaniyaning o‘zplatformasi — juftlikdaBir nechtashassigacha o‘sishLokal NVMevSAN konturiHar biri 7,68 TBbo‘lgan 10 ta diskTashqi massivsizFC’sizNusxalar va arxivData Domain va lentaHar birmaydonchadaapplianceUlar o‘rtasidareplikatsiyaKo‘p shkaflikutubxonaAylanuvchi diskli gibridlardan all-NVMe’gacha: avlodlaryonma-yon turadi, har bir massivning o‘z hayotiy sikli bor.
2-rasm. Saqlash xaritasi: blok, fayl va obyekt, lokal NVMe, nusxalar va arxiv umumiy VMware qatlami ostida

«Har bir vazifaga o‘z javoni» tamoyili guruh tuzilmasida ham ko‘rinadi. Uning ichidagi har bir kompaniya o‘z blokli massivini va fayllar hamda obyektlar uchun o‘z platformasini oladi. So‘nggi xaridlarda bu Pure Storage: blokli yuklama uchun juftlikdagi FlashArray va obyekt hamda fayl uchun juftlikdagi FlashBlade. Katta model keyinchalik bir nechta shassiga o‘sishi uchun darhol tashqi fabrika modullari bilan o‘rnatiladi. Alohida lokal NVMe’dagi kontur mavjud — har biri 7,68 TB bo‘lgan o‘nta diskli serverlar, ehtimol vSAN uchun.

Bu yerda turli xillikni VMware boshqaradi. Storage vMotion VM’larni massivlar o‘rtasida to‘xtatmasdan ko‘chiradi, saqlash siyosatlari tashuvchi sinfini tanlaydi, gipervizor esa pastda turgan hamma narsa uchun umumiy maxraj vazifasini bajaradi. Bu qatlamsiz o‘nlab massivlar o‘nlab orollarga aylanib qolardi.

Buning narxi — o‘nlab hayotiy sikllar. Har bir massivning o‘z qo‘llab-quvvatlash muddati, o‘z proshivkalar moslik matritsasi, o‘z konsoli va eskalatsiya uchun o‘z vendor muhandisi bor. 11-sonda biz qatlam-qatlam ko‘payib boradigan park haqida yozgan edik. Bu yerda ham o‘sha qatlamlar, faqat har biri yangi holda sotib olingan va qo‘llab-quvvatlashda turadi.

Ikkinchi maydoncha

Replikatsiyaning ikki tezligi

Xato tranzaksiyalar soniyalariga teng bo‘lgan joyda — sinxron. Qolgan hammasi — asinxron.

Ikkinchi maydoncha ma’lumotlarning asosiy hajmini asinxron oladi. RPO daqiqalar bilan o‘lchanadi, kanal asosiy maydonchadagi yozish kechikishini belgilamaydi, maydonchalar orasidagi masofani esa sinxron yozish fizikasi bo‘yicha emas, xavflar bo‘yicha tanlash mumkin. 07-sonda biz sinxron sxemaning chegarasini 50 va 600 km uchun hisoblagan edik. Asosiy park uchun bu yerda bu savol shunchaki turmaydi.

Yonida sinxron kontur ishlaydi. ActiveCluster’li massivlar hatto bir necha soniyalik tranzaksiyalarni yo‘qotish yozishning qo‘shimcha kechikishidan qimmatroq bo‘lgan joyda ma’lumotlarni bir vaqtning o‘zida ikkita maydonchada saqlaydi. Bu foydalanuvchi ilovani aynan nima uchun ochadigan qism.

Nega sinxron kontur virtuallashtirishning o‘z vositalarida emas, massivlarda turadi? VCF 9.1’da vSAN ESA’dagi cho‘zilgan Metro klaster bor. Ammo masofaviy maydonchaga almashtirish orkestratsiyasi bilan replikatsiya bazaviy obunaga kirmaydi: buning uchun alohida tiklash mahsuloti yoki faqat VCF uchun mavjud bo‘lgan ACC qo‘shimchasi kerak. Saqlash tizimi baribir FC’li tashqi massivlarda yashasa va massivlar sinxron juftlikni o‘zlari qila olsa, replikatsiyani ularga berish mantiqiyroq. Gipervizorga VM’larni qayta ishga tushirish va almashtirish rejalari qoladi.

Ya’ni replikatsiya xato narxi bo‘yicha bo‘lingan. Sinxron sxema ham uskuna, ham kanal bo‘yicha qimmat, shuning uchun RPO nolga teng bo‘lishi kerak bo‘lgan konturga qo‘llaniladi. Qolgan hammasi tushunarli tiklash rejalari bilan asinxron sxemada yashaydi. Pul hammasini sinxron qilishga imkon berardi, ammo bu dunyo bunday qilmaydi va bu yaxshi belgi: bu yerda bo‘linish byudjet emas, muhandislik mantiqi bilan belgilangan.

Zaxira nusxalash

Darslikdagidek zaxira nusxalash

Zaxira nusxalash dasturi, har bir maydonchada Data Domain va ko‘p shkafli lenta — himoya zinapoyasi to‘liq.

Zaxira nusxalash vendorlar o‘quv kurslarida qanday chizsa, shunday qurilgan. Zaxira nusxalash dasturi VM’lardan nusxa olib, ularni DD Boost orqali Data Domain’ga yozadi. Deduplikatsiya manba tomonida boshlanadi va tarmoqqa faqat noyob bloklar ketadi. Har bir maydonchada o‘z appliance’i turadi, DD Replication esa ular o‘rtasida allaqachon deduplikatsiya qilingan ma’lumotlarni uzatadi. Sig‘im abadiy litsenziyalar bilan sotib olingan, qo‘llab-quvvatlash — 5 yil oldinga. Appliance’lar ichki HA klastersiz o‘rnatiladi: zaxira vazifasini ikkinchi kontroller emas, ikkinchi maydoncha bajaradi.

Uzoq muddatli saqlash lentaga ketadi. Katta ko‘p shkafli kutubxona — biz 13-sonda yozgan zinapoyaning oxirgi pog‘onasi. U terabayt bo‘yicha eng arzon, tiklashda eng sekin va masofadan shifrlanishi mumkin bo‘lgan hamma narsadan jismonan ajratilgan.

13-sonda biz media-serverda deduplikatsiya allaqachon bo‘lsa, dedup-appliance’lar sinf sifatida kerakmi, degan savolni ochiq qoldirgan edik. Bu dunyoda javob bir ma’noli: kerak. Agar ko‘lam yuzlab xostlar bo‘lsa va byudjet imkon bersa, appliance barcha vazifalar bo‘yicha global deduplikatsiyani, qabul qilishning oldindan aytib bo‘ladigan tezligini va alohida boshqarishni talab qilmaydigan replikatsiyani beradi. Yechim hamma uchun emas, ammo o‘z mantiqi doirasida u yaxlit.

Parallel dunyodagi himoya zinapoyasiHar bir pog‘ona — o‘z sinfidagi uskuna. Qanchalik pastda bo‘lsa, shunchalik uzoq saqlanadi vashunchalik sekin qaytadi.Pog‘onaSaqlash ufqiTiklash tezligiAsosiydanajratilganlikQaytarish vaqti01Nol RPO konturi uchunsinxron juftlikjoriy holatsoniyalar02Massiv snapshotlarisoatlar–kunlardaqiqalar03Asosiy maydonchadagiData Domain’dagizaxira nusxalarhaftalardaqiqalar–soatlar04Zaxira maydonchagaDD replikatsiyasihaftalar–oylarsoatlar05Ko‘p shkafli lentalikutubxonayillarsoatlar–sutkaSifat bahosi: «ochroq = kamroq» shkalasi.Parallel dunyodagi himoya zinapoyasiHar bir pog‘ona — o‘z sinfidagi uskuna. Qanchalik pastdabo‘lsa, shunchalik uzoq saqlanadi va shunchalik sekinqaytadi.01Nol RPO konturi uchun sinxron juftlikSaqlash ufqijoriy holatQaytarish vaqtisoniyalarTiklash tezligiAsosiydan ajratilganlik02Massiv snapshotlariSaqlash ufqisoatlar–kunlarQaytarish vaqtidaqiqalarTiklash tezligiAsosiydan ajratilganlik03Asosiy maydonchadagi Data Domain’dagizaxira nusxalarSaqlash ufqihaftalarQaytarish vaqtidaqiqalar–soatlarTiklash tezligiAsosiydan ajratilganlik04Zaxira maydonchaga DD replikatsiyasiSaqlash ufqihaftalar–oylarQaytarish vaqtisoatlarTiklash tezligiAsosiydan ajratilganlik05Ko‘p shkafli lentali kutubxonaSaqlash ufqiyillarQaytarish vaqtisoatlar–sutkaTiklash tezligiAsosiydan ajratilganlikSifat bahosi: «ochroq = kamroq» shkalasi.
3-rasm. Himoya zinapoyasi: sinxron juftlikdan lentali kutubxonagacha, sifat bahosi

Xavfsizlik va yetkazib berish

Perimetr va yetkazib berish ham gipervizorda

Tarmoqlararo ekranlar, balansirovkachilar, WAF va mehmon Linux’lar — hammasi VMware’ga tayanadi.

Chegarada tarmoq bilan bir xil ishlab chiqaruvchining apparat tarmoqlararo ekranlari turadi, ularni markazlashgan boshqarish serveri esa VMware’da VM sifatida joylashtirilgan. Balansirovkachilar va WAF virtual appliance’lar ko‘rinishida sotib olingan va ular ham VMware’da ishlaydi. Mehmon Linux’lar «gipervizor xostiga» modeli bo‘yicha litsenziyalanadi: bitta obuna ikki socketli serverdagi istalgan miqdordagi VM’ni yopadi.

Ya’ni VMware bu yerda shunchaki gipervizor emas. Unga xavfsizlik, ilovalarni yetkazib berish, mehmon OT’larni litsenziyalash va tarmoqni boshqarish tayanadi. Undan ketish VM’larni ko‘chirish loyihasi emas, har bir qatlamga tegadigan ko‘p yillik dastur bo‘lardi. Shuning uchun bu dunyo ketmaydi: faqat obunani emas, uning ustida turgan hamma narsani ham hisoblasangiz, qolish qarori ketish qaroridan arzonroq chiqadi.

Gipervizorda perimetr, balansirovka va mehmon OT litsenziyalari yashasa, ketish — ko‘chish emas, qayta qurish.

Muhitlar

Devor ortidagi test

Test va prodaktiv o‘rtasidagi chegara VLAN’da emas, shkaflarda o‘tkazilgan.

Test zonasi asosiysidan jismonan ajratilgan: alohida shkaf, o‘z xostlari, o‘z kommutatorlari. VLAN va alohida klasterlar orqali mantiqiy ajratish bu yerda yetarli hisoblanmaydi.

Mantiq tushunarli. Jismoniy chegara test trafigining prodaktiv bilan tasodifan kesishishini istisno qiladi, auditni va regulyator bilan muloqotni soddalashtiradi. O‘zgarishlar prodaktiv bilan birorta ham portni baham ko‘rmaydigan stend orqali o‘tadi.

Biroq bunday chegaraning narxi bor. Ko‘p vaqt qisman yuklangan uskuna prodaktiv bilan teng ravishda joy, elektr ta’minoti va qo‘llab-quvvatlash shartnomalarini egallaydi. Yuzlab prodaktiv xostlar bo‘lganda test shkafi parkning kichik ulushini tashkil qiladi va bu dunyo bu ulush uchun xotirjam to‘laydi.

Amaliyotlar

Klassika ichidagi zamonaviylik

VMware ustida Terraform va vanil Kubernetes: zamonaviy yangi bo‘lishi shart emas.

Portretning eng kutilmagan tafsiloti — bu dunyo o‘zgarishlar bilan qanday ishlashi. Infratuzilma kod bilan tavsiflanadi: vSphere provayderli Terraform VM’lar, tarmoqlar va siyosatlarni yaratadi. Konteyner yuklamalari VMware ustidagi oddiy VM’larda joylashtirilgan vanil Kubernetes’da ishlaydi, podlar uchun saqlash esa vSphere CSI orqali beriladi. Hech qanday Tanzu va hech qanday VKS yo‘q, shunchaki VM’lardagi klasterlar.

Bu tanlovning amaliy izohi bor. 14-sonda yozganimizdek, alohida Tanzu Kubernetes Grid 2.5.4 versiyada tugadi, VKS esa faqat Supervisor ustida ishlaydi, ya’ni VMware konteyner qatlamini qanday rivojlantirishiga bog‘langan. Oddiy VM’lardagi vanil Kubernetes bunga bog‘liq emas: uni o‘z sur’atida yangilash, xohlasa esa manifestlar va Terraform kodi bilan birga boshqa platformaga ko‘chirish mumkin.

14-sonda biz Terraform va Ansible VMware’dan ketishdan omon qolishini va dunyo VMware bilan tugamasligini ta’kidlagan edik. Bu yerda o‘sha tezis teskari tomondan ko‘rinadi: zamonaviy amaliyotlar yangi platformani talab qilmaydi. Infratuzilmaning deklarativ tavsifi va konteyner orkestratsiyasi klassikada a’lo darajada ishlaydi. «Zamonaviy» va «yangi» o‘rtasidagi bog‘liqlik odatda o‘ylanganidan kuchsizroq.

Sun’iy intellekt yuklamalari

SI uchun darhol flagman

Pilotsiz va oraliq avlodlarsiz — darhol B300’dagi klaster va alohida 400/800G fabrika.

Sun’iy intellekt (SI) uchun hisoblash kerak bo‘lganda, bu dunyo oraliq pog‘onalardan o‘tib o‘tirmadi. Odatiy yo‘l oddiy serverdagi bir juft kartadan pilot tugun orqali klasterga boradi. Bu yerda na pilot, na H100 yoki H200 avlodi bo‘ldi: har birida 8 ta B300 tezlatkichli o‘ntadan kam tugundan iborat klaster darhol sotib olinadi, buning ustiga ikki yetkazib berish varianti — Cisco UCS va Supermicro — tanlovi bilan.

Klaster uchun Cisco Nexus’da alohida Ethernet fabrika quriladi. Frontend spine-leaf sxemasi bo‘yicha 400G’da ishlaydi va ma’lumotlar markazining (DC) mavjud kommutatorlari unga leaf sifatida ulanadi. Tezlatkichlar o‘rtasidagi almashinuv uchun backend 800G optikadan foydalanadi. Har bir tugun taxminan 3 TB xotira, lokal NVMe va 200G adapterlar oladi, Cisco variantida esa yana DPU ham.

Ya’ni bitta DC’da tarmoqning ikki tezligi ishlaydi. Asosiy park xostlari 25GbE orqali ulangan va bu ularga yetadi, chunki saqlash alohida FC fabrika orqali o‘tadi. SI klasteri 400G va 800G’da yashaydi va uning fabrikasi asosiy parkka umumiy leaf kommutatorlardan boshqa hech narsa qo‘shmaydi.

Avlodlar orqali sakrash mantiqi shunday. H100 va B300 o‘rtasidagi xotira va o‘tkazish qobiliyati bo‘yicha farq shu qadar kattaki, oraliq xarid keyingisigacha o‘zini oqlashga ulgurmaydi. Pog‘onama-pog‘ona sotib olgan ikki marta to‘laydi va elektr ta’minotini ikki marta qayta quradi. Darhol flagmanni ola oladigan buni bir marta qiladi.

Narx kilovattlarda keladi. 10-sonda biz havo bilan sovutiladigan 8 tezlatkichli tugun 3,5 dan 8,6 kW gacha o‘sganini yozgan edik. B300’dagi tugun bizning bahomizga ko‘ra allaqachon 12 kW dan ko‘proq iste’mol qiladi, ishlab chiqaruvchilar esa bunday tugunli stoyka uchun 70 kW gacha mo‘ljallaydi. Tugunlar soniga ko‘paytirsangiz, bunday mashinalarning o‘ntadan kamidan iborat klaster taxminan 100 kW ni tashkil qiladi — bu biz 11-sonda ko‘rib chiqqan, besh avlod uskunali to‘rt stoykali maydoncha iste’molidan ko‘proq. Har bir o‘z yoki tijorat DC’si stoykaga bunday elektr kirishiga ega emasligini bilamiz. Bu dunyo uchun bu cheklov emas, hal qilinadigan muhandislik vazifasi.

Yonma-yon ikki fabrikaAsosiy park saqlash tizimi uchun FC va SI uchun alohida Ethernet 400/800G. Ikkalasi ham kengayadi,hech biri ikkinchisining o‘rnini bosmaydi.Asosiy park saqlash tizimiFibre Channel, BrocadeMassivlarblok, all-NVMe va oldingi avlodlarA fabrika · B fabrika32G, 8 portli litsenziyalar bilan kengaytirishVirtuallashtirish xostlarihar birida 2 ta ikki portli HBA 32GSI klasteriEthernet, Cisco NexusFrontend: 400G spineDC’dagi mavjud kommutatorlar — leafTezlatkichlar o‘rtasidagi backend800G optika, alohida fabrika8 × B300 tugunlarhar birida 3 TB xotira, 200G adapterlar,DPUYonma-yon ikki fabrikaAsosiy park saqlash tizimi uchun FC va SI uchun alohidaEthernet 400/800G. Ikkalasi ham kengayadi, hech biriikkinchisining o‘rnini bosmaydi.Asosiy park saqlash tizimiFibre Channel, BrocadeMassivlarblok, all-NVMe va oldingi avlodlarA fabrika · B fabrika32G, 8 portli litsenziyalar bilan kengaytirishVirtuallashtirish xostlarihar birida 2 ta ikki portli HBA 32GSI klasteriEthernet, Cisco NexusFrontend: 400G spineDC’dagi mavjud kommutatorlar — leafTezlatkichlar o‘rtasidagi backend800G optika, alohida fabrika8 × B300 tugunlarhar birida 3 TB xotira, 200G adapterlar, DPU
4-rasm. Yonma-yon ikki fabrika: asosiy park uchun FC va SI klasteri uchun Ethernet 400/800G

Nimani o‘zlashtirish kerak

Bu dunyo nimani to‘g‘ri qiladi

Oldindan aytib bo‘linish, ikki yetkazib berish manbai, qo‘llab-quvvatlash ufqi va sinflar bo‘yicha ajratish.

Agar byudjet bilan bog‘liq hamma narsani olib tashlasak, bu dunyoda istalgan kishi o‘zlashtirishga arziydigan bir nechta qaror qoladi.

Oldindan aytib bo‘linish nafislikdan muhimroq. Har bir qatlam tushunarli, vendorda hujjatlashtirilgan va yollash mumkin bo‘lgan istalgan muhandisga tanish. Bu yerda faqat bir kishi biladigan ekzotika yo‘q.

Bitta spetsifikatsiya bo‘yicha taqqoslash. Konfiguratsiya oldindan, yuklama ostida yig‘iladi va shundan keyingina ishlab chiqaruvchilarga ketadi. Ishtirokchilar spetsifikatsiyani kim ko‘proq qisqartirishi bilan emas, muddatlar va shartlar bilan raqobatlashadi. Bu yerda vendorlar soni emas, bir xil narsa taqqoslanayotgani qimmatli.

Qo‘llab-quvvatlash ufqi darhol sotib olinadi. Xarid paytidagi besh yillik qo‘llab-quvvatlash 3 yillik birlamchi ekspluatatsiyani va ikkinchi aylanishning deyarli hammasini qoplaydi hamda biz 06-sonda yozgan kafolatdan keyingi davr savolini yechadi. Xarid to‘lqinlari esa parkning katta qismini 6 yoshgacha ushlab turadi, bu yerda bizning shkalamiz bo‘yicha uskunaga ishonch 85–90% dan pastga tushmaydi.

Sinflar bo‘yicha ajratish. Har bir vazifaga o‘z javoni, sinxron replikatsiya faqat nol RPO konturi uchun, test uchun jismoniy chegara — bularning barchasi bitta tamoyilning misollari: aralashtirmaslik mumkin bo‘lgan narsani aralashtirmaslik.

Platformani almashtirmasdan zamonaviy amaliyotlar. IaC va konteynerlar katta ko‘chishni kutmasdan, odamlar allaqachon ishlayotgan joyda joriy qilingan.

Chegaralar

Bu dunyoning chegaralari qayerda

Chegaralar cheksiz byudjetda ham ko‘rinadi: yadrolar, turli xillik, elektr kirishi va pul oqimi.

Litsenziyalar to‘lqinlar bilan birga o‘sadi. Har bir xostlar partiyasi VCF litsenziya bazasini yadrolarga mutanosib ravishda oshiradi. Obuna modelida bu bir martalik emas, doimiy xarajat va agar vendor narxni qayta ko‘rib chiqsa, bu xarajat parkning o‘zidan tezroq o‘sadi.

Har bir qutb nimaga tayanadiParallel dunyo oldindan aytib bo‘linish uchun pul to‘lanadigan joyda yutadi, elektr kirishi vabyudjetdagi pauzalar hisoblanadigan joyda yutqazadi.Parallel dunyoHCI va ochiqplatformalarTejamkor park (tezorada)Ekspluatatsiyaning oldindan aytibbo‘linishiMuhandis yollash osonligiBitta apparat vendoriga bog‘liq emaslikSI yuklamalariga tayyorlikEgalik qilish narxiElektr kirishi va sovutish bo‘yicha zaxiraPark bir xilligiXaridlardagi pauzaga chidamlilikKuchli tomonShartlar bilanZaif joyBizning bahomiz, o‘lchov emas.Har bir qutb nimaga tayanadiParallel dunyo oldindan aytib bo‘linish uchun pulto‘lanadigan joyda yutadi, elektr kirishi va byudjetdagipauzalar hisoblanadigan joyda yutqazadi.1Parallel dunyo2HCI va ochiq platformalar3Tejamkor park (tez orada)123Ekspluatatsiyaning oldindanaytib bo‘linishiMuhandis yollash osonligiBitta apparat vendoriga bog‘liqemaslikSI yuklamalariga tayyorlikEgalik qilish narxiElektr kirishi va sovutish bo‘yichazaxiraPark bir xilligiXaridlardagi pauzagachidamlilikKuchli tomonShartlar bilanZaif joyBizning bahomiz, o‘lchov emas.
5-rasm. Parkning uchta modelining kuchli va zaif tomonlari; tejamkor park — yaqin sonlardan birining mavzusi

Turli xillik baribir to‘planadi. Ikki yetkazib berish manbai xaridni himoya qiladi, ammo aralash parkka olib keladi: serverlarning ikki liniyasi, proshivkalar va boshqaruv vositalarining ikki to‘plami. Bunga turli avlodlardagi o‘nlab massivlarni qo‘shing — va har bir qatlam o‘z ichida bir xil, ularning birikmasi esa murakkab bo‘lib chiqadi. Parkning bir qismi bu savolni allaqachon yopmoqda: yangi Pure massivlari Evergreen obunasi bilan sotib olingan, unda qo‘llab-quvvatlash o‘zgarmas stavka bo‘yicha boradi, kontrollerlar va sig‘im esa to‘xtatmasdan va massivni butunlay almashtirmasdan yangilanadi. Ammo bu o‘tgan yillardagi o‘nlab tizimlarga tatbiq etilmaydi.

Kilovattlar. Bitta o‘rniga ikkita tarmoq, jismonan alohida test, ko‘p shkafli kutubxona va yuz kilovattga yaqin quvvatli SI klasteri bu dunyoni joydan ko‘ra elektr kirishi bo‘yicha ertaroq cheklangan qiladi. 10-sonda biz buni shunday atagan edik: stoyka ertaroq tugaydi. Bu yerda elektr kirishi ertaroq tugaydi.

Pul oqimiga bog‘liqlik. 12-sonda biz infratuzilma qarzini tasvirlagan edik. Bu dunyoda to‘lab turishguncha qarz yo‘q: hammasi obunada, hammasi qo‘llab-quvvatlashda, hammasi to‘lqinlar bilan yangilanadi. Ammo aynan shunday model, agar oqim uzilsa, qarzni hammadan tezroq to‘playdi. Obunalar bir vaqtda tugaydi, massivlarni qo‘llab-quvvatlash kaskad bilan tugaydi, yangi to‘lqinlar esa kelmay qo‘yadi. Bu dunyoning barqarorligi arxitekturaning emas, byudjetning funksiyasi.

To‘lab turishguncha bu dunyoda qarz yo‘q. To‘lashni to‘xtatishsa, mustahkamlik zaxirasi ham yo‘q.

Tekshirish ro‘yxati

Tekshirish ro‘yxati: bunday byudjetsiz nimani olish mumkin

Yuzlab obunadagi xostlarsiz ham ishlaydigan o‘nta band.

Yakun

Xulosa o‘rniga

Parallel dunyo bozordan ortda qolmagan. U optimallashtirishning boshqa o‘qini tanlagan: egalik qilish narxi o‘rniga — oldindan aytib bo‘linish, unifikatsiya o‘rniga — har bir vazifaga o‘z sinfidagi uskuna, ko‘chish o‘rniga — allaqachon ishlayotgan narsani kengaytirish.

Yaqin sonlardan birida biz qarama-qarshi qutbni — talablardan rasman o‘tadigan eng arzon narsalardan yig‘ilgan parkni tasvirlaymiz. Haqiqiy buyurtmachilar bu qutblar o‘rtasida yashaydi va deyarli har birida ikkala tomondan oladigan narsa topiladi.

Agar parkingiz u dunyodan ko‘ra bu dunyoga yaqinroq bo‘lsa va u qayerda arxitekturaga, qayerda faqat byudjetga tayanishini tushunmoqchi bo‘lsangiz, keling, buni birgalikda tahlil qilamiz.

Vazifani muhokama qilish

Vazifangizni birga ko‘rib chiqamiz

Platforma yoki loyihangiz haqida yozing — muhandis Telegramda yoki e-mail orqali javob beradi.

Telegramda yozish

Yoki Telegramda yozing — bot savolingizni muhandisga yetkazadi.