Muhokama qilish

Son 02Zaxira nusxalashTurkum «Ma’lumotlar infratuzilmasi»

Uni loyihalamagan odamlar uchun lentali kutubxona

Zaxira nusxalash tizimining bu qatlami qanday tuzilgan, unda nima buziladi, nega LTO-10 rejalashtirish arifmetikasini o‘zgartiradi va kartridjlar soni aslida qayerdan kelib chiqadi.

So‘nggi yilda deyarli har bir zaxira nusxalash loyihasida bir xil manzara takrorlanadi. Arxitekturani muhokama qilamiz, disk qatlamini hisoblaymiz, deduplikatsiya va saqlash chuqurligi haqida bahslashamiz — lentaga yetganimizda esa suhbat ikki daqiqada tugaydi. «Xo‘sh, bu shunchaki kutubxona, kerakli miqdorda kartridj olamiz». Va aynan shu qatlamni keyinchalik qayta hisoblashga to‘g‘ri keladi.

Buning ikkita sababi bor. Birinchisi — lenta odat bo‘yicha, boshqa hajm va boshqa avlod tashuvchisi bo‘lgan o‘tgan loyihadagi konfiguratsiyani ko‘chirib, loyihalanadi. Ikkinchisi — 2025 yilda LTO-10 avlodi chiqdi, va u rejalashtirish arifmetikasini har qanday avvalgisidan ko‘proq o‘zgartirdi: orqaga moslikni uzdi va saqlash tarmog‘iga talablarni oshirdi. Xotiradan tuzilgan spetsifikatsiyalar endi foizlarda emas, undan ko‘proq xato qiladi.

Bu maqola loyiha menejeri va yechimning bir butun holda javobgar bo‘lgan, kutubxona moduliga nechta drayv sig‘ishini yodda tutishi shart bo‘lmagan arxitektor uchun. Drayvning tuzilishini tushuntirmaymiz. Byudjet va muddatlarni belgilaydigan narsani ko‘rib chiqamiz: konfiguratsiya nimalardan tashkil topadi, unda nima buziladi, nega yangi avlod kommutatorlarni almashtirishni ortidan sudrab keladi va kartridjlar soni aslida qayerdan kelib chiqadi.

Arxitekturadagi o‘rni

Bu qatlam nega hali ham saqlanib qolgan

Zaxira nusxalash tizimida lentaning ishi disk qatlamining ishidan farq qiladi, va undan tezlik talab qilish — vazifani noto‘g‘ri qo‘yishdir.

Yarim yilda bir marta lenta o‘lgan degan gapni eshitamiz. Odatda buni regulyator tekshiruvidan keyin aktga imzo chekmagan odamlar aytadi.

Suhbat yana shu sababdan chalkashadiki, lenta deganda ikki xil vazifa tushuniladi. Zaxira nusxa — bu nosozlikdan keyin tiklanadigan narsa, va u haftalar davomida yashaydi. Arxiv — bu yillar davomida saqlash majburiy bo‘lgan narsa, va unga eng yaxshi holatda tekshiruvchining so‘rovi bilan murojaat qilinadi. Ularga qo‘yiladigan uskuna talablari qarama-qarshi, va bu ikki vazifa bitta qatorda hisoblanganda, spetsifikatsiya darhol ikkala tomonga ham noto‘g‘ri chiqadi.

Lenta to‘rtta narsaga tayanadi, va ularning birortasi ham tezlik haqida emas. Katta hajmlarda bir terabaytni saqlash narxi disknikidan bir necha marta past. Slotdagi kartridj aniq nol vatt sarflaydi — petabaytlar darajasida bu abstraksiya emas, elektr energiyasi hisob-kitobidagi qator. Kafolatlangan saqlash muddati — o‘ttiz yil va undan ko‘p, quvvatsiz diskda esa hisob yillar bilan yuritiladi. Va eng muhimi: kutubxonadan chiqarilgan kartridj tarmoq orqali jismonan yetib bo‘lmaydigan holga keladi. «Siyosat bilan himoyalangan» emas — yetib bo‘lmaydigan. Uning bilan buzg‘unchi orasida havo va odam bor.

Aynan shu oxirgi jihat lentaning banklarda saqlanishiga sabab. Air gap deb ataladigan qolgan hamma narsa — bu protsedura, sozlama yoki yetkazib beruvchi bilan kelishuv. Ularni yetarlicha yuqori huquqlarni buzib o‘tish orqali chetlab o‘tish mumkin. Javondagi kartridjni esa chetlab o‘tib bo‘lmaydi.

Nusxalarni saqlashning uch darajasi: har birining o‘z ishiDisk xizmatni qaytarish tezligi uchun javobgar. Lenta — nusxa eng yomon senariydan ham omonqolishi uchun.Tezkor disk darajasiVazifaxizmatni tez qaytarishTiklashdaqiqalar — soatlarSaqlash chuqurligikunlar — haftalarShifrlovchi dasturdan himoyasozlamalar va huquqlarbilanTerabayt narxiyuqoriO‘zgarmas obyektxotirasiVazifanusxani o‘zgarmas saqlashTiklashsoatlarSaqlash chuqurligioylar — yillarShifrlovchi dasturdan himoyablokirovka va protsedurabilanTerabayt narxio‘rtaLentali arxivVazifatiklaydigan narsa bo‘lishiuchunTiklashsoatlar — sutkalarSaqlash chuqurligiyillar — o‘n yilliklarShifrlovchi dasturdan himoyajismoniy uzilish bilanTerabayt narxipastVazifani qo‘yish xatosi — talablarga uchala daraja uchun bitta tiklash vaqti ko‘rsatkichini yozish.Nusxalarni saqlashning uch darajasi: harbirining o‘z ishiDisk xizmatni qaytarish tezligi uchun javobgar. Lenta —nusxa eng yomon senariydan ham omon qolishi uchun.Tezkor diskdarajasiO‘zgarmas obyektxotirasiLentali arxivVazifaxizmatni tezqaytarishnusxanio‘zgarmassaqlashtiklaydigannarsa bo‘lishiuchunTiklashdaqiqalar —soatlarsoatlarsoatlar —sutkalarSaqlash chuqurligikunlar —haftalaroylar — yillaryillar — o‘nyilliklarShifrlovchi dasturdan himoyasozlamalar vahuquqlar bilanblokirovka vaprotsedura bilanjismoniy uzilishbilanTerabayt narxiyuqorio‘rtapastVazifani qo‘yish xatosi — talablarga uchala daraja uchunbitta tiklash vaqti ko‘rsatkichini yozish.
1-rasm. Nusxalarni saqlashning uch darajasi va har birining javobgarlik zonasi

Qaror qabul qiluvchilar uchun asosiy fikr shundan kelib chiqadi: zaxira nusxalash tizimida lentaning ishi disk qatlamining ishidan farq qiladi. Disk tez tiklanish uchun javobgar. Lenta esa eng yomon senariyda ham tiklaydigan narsa borligi uchun javobgar. Lentadan tez tiklanishni talab qilish — podvaldagi seyfdan tushlik uchun mayda pulni qulay olish imkonini talab qilishga o‘xshaydi.

Amaliy xulosa: agar loyiha talablarida hamma narsaga bitta tiklanish vaqti ko‘rsatilgan bo‘lsa — bu vazifani noto‘g‘ri qo‘yish xatosi, va uni spetsifikatsiya hisoblangunga qadar tuzatish kerak, keyin emas.

Tuzilishi va xizmat ko‘rsatish

Kutubxona qanday tuzilgan va unda nima buziladi

Barcha arifmetika uchta raqamga tayanadi. Yagona harakatlanuvchi qism esa lenta bilan butun almashinuvni to‘xtatadi.

Zamonaviy o‘rta darajadagi kutubxona 3U modullardan vertikal tarzda yig‘iladi, va uning butun arifmetikasi uchta raqamga tayanadi.

Bitta modul qirq tagacha kartridj sloti beradi. Agar unda kiritish-chiqarish stansiyasi sozlangan bo‘lsa — u esa ishlashni to‘xtatmasdan kartridjlarni olib qo‘yish va qo‘shish uchun kerak — ma’lumotlar uchun o‘ttiz beshtasi qoladi. Modulga yoki uchta yarim balandlikdagi, yoki bitta to‘liq o‘lchamdagi va bitta yarim balandlikdagi drayv sig‘adi. Uchinchi variant yo‘q: to‘liq o‘lchamdagi drayv uchta o‘rindan ikkitasini egallaydi, va faqat pastki ikkita pozitsiyaga qo‘yiladi.

Stekda robot bitta, va u barcha modullarga birdan xizmat qiladi. Bundan qarama-qarshi ikkita xulosa kelib chiqadi.

Yaxshisi: kutubxonani kengaytirish deyarli har doim ikkinchisini sotib olishdan foydaliroq. Kengaytirish moduli — mohiyatan aqlli javon, robot, kontroller va boshqaruv elektronikasi uchun ikkinchi marta to‘lamaysiz, va zaxira nusxalash dasturida kutubxona umumiy slotlar puliga ega bitta qurilma bo‘lib qoladi. Ikkita alohida kutubxona esa dasturda ikkita mustaqil ob’ekt, alohida pullar va qo‘lda balanslash degani.

Yomoni: robot — butun sig‘im uchun yagona nosozlik nuqtasi.

Kutubxona konfiguratsiyasi nimalardan tashkil topadiHammasini uchta raqam belgilaydi: moduldagi slotlar, drayvlar kombinatsiyalari va ijro shifti.Kengaytirish moduli40 ta slot · 5 ta kiritish-chiqarish sloti3 ta yarim balandlikdagi drayv3UKengaytirish moduli40 ta slot · 5 ta kiritish-chiqarish sloti1 ta to‘liq o‘lchamdagi + 1 ta yarim balandlikdagi drayv3UKengaytirish moduli40 ta slot · 5 ta kiritish-chiqarish sloti3 ta yarim balandlikdagi drayv3UBazaviy modul40 ta slot · 5 ta kiritish-chiqarish sloti1 ta to‘liq o‘lchamdagi + 1 ta yarim balandlikdagi drayv3URobotbutun stek uchun bitta: hamtejash, ham nosozlik nuqtasiModuldagi drayvlar3 ta yarim balandlikdagiyoki 1 ta to‘liqo‘lchamdagi + 1 ta yarimbalandlikdagiTo‘liq o‘lchamdagi drayv uchtao‘rindan ikkitasini egallaydi vafaqat pastki ikkita pozitsiyagaqo‘yiladi.Kengaytirish yoki ikkinchikutubxonakengaytirish moduliarzonroqRobot va kontroller uchunikkinchi marta to‘lamaymiz,kutubxona umumiy slotlarpuliga ega bitta qurilma bo‘libqoladi.Ijro shifti7 modul yoki 16 modulBular turli mahsulotlar. 7 modulliijroni 16 modullikka o‘zgartiribbo‘lmaydi: tanlov bir marta,xarid paytida qilinadi.Stek yuqoriga 3U modullar bilan o‘sadi. Robot barcha modullarga birdan xizmat qiladi.Kutubxona konfiguratsiyasi nimalardantashkil topadiHammasini uchta raqam belgilaydi: moduldagi slotlar,drayvlar kombinatsiyalari va ijro shifti.Kengaytirish moduli40 ta slot · 5 ta kiritish-chiqarish sloti3 ta yarim balandlikdagi drayv3UKengaytirish moduli40 ta slot · 5 ta kiritish-chiqarish sloti1 ta to‘liq o‘lchamdagi + 1 ta yarim balandlikdagidrayv3UKengaytirish moduli40 ta slot · 5 ta kiritish-chiqarish sloti3 ta yarim balandlikdagi drayv3UBazaviy modul40 ta slot · 5 ta kiritish-chiqarish sloti1 ta to‘liq o‘lchamdagi + 1 ta yarim balandlikdagidrayv3URobotbutun stek uchun bitta: ham tejash, ham nosozlik nuqtasiModuldagi drayvlar3 ta yarim balandlikdagi yoki 1 ta to‘liqo‘lchamdagi + 1 ta yarim balandlikdagiTo‘liq o‘lchamdagi drayv uchta o‘rindan ikkitasiniegallaydi va faqat pastki ikkita pozitsiyaga qo‘yiladi.Kengaytirish yoki ikkinchi kutubxonakengaytirish moduli arzonroqRobot va kontroller uchun ikkinchi marta to‘lamaymiz,kutubxona umumiy slotlar puliga ega bitta qurilma bo‘libqoladi.Ijro shifti7 modul yoki 16 modulBular turli mahsulotlar. 7 modulli ijroni 16 modullikkao‘zgartirib bo‘lmaydi: tanlov bir marta, xarid paytidaqilinadi.Stek yuqoriga 3U modullar bilan o‘sadi. Robot barchamodullarga birdan xizmat qiladi.
2-rasm. Kutubxonaning modulli tuzilishi: slotlar, drayvlar, robot va ijro shifti

Va aynan shu yerda spetsifikatsiyada ko‘rinmaydigan tuzoq bor. Platformaning ikkita ijrosi bor — yetti modulli va o‘n olti modulli. Bular turli part-nomerli turli mahsulotlar, va yetti modulli ijroni o‘n olti modullikka qayta o‘zgartirib bo‘lmaydi. Tanlov bir marta, bazaviy modul sotib olinganda qilinadi. «Ikkinchi kutubxona sotib olmang, joriysini kengaytiring» maslahati aynan sizning konkret ijroingizning shiftigacha ishlaydi — va bu shiftni buyurtmachiga arzon kengaytirishni va’da qilishdan oldin tekshirish kerak.

Endi nima buzilishi haqida. Bir marta korporativ darajadagi modulli kutubxonada robot to‘xtab qolgan edi — relslar bo‘ylab yuradigan va kartridjlarni zargarlik aniqligi bilan slotlarga joylaydigan o‘sha karbon qo‘l. Kutubxona xato berdi, qo‘l buyruqlarga javob bermay qo‘ydi, va lenta bilan butun almashinuv to‘xtadi.

Bunday tugunni almashtirish — bu «diskni almashtirish» emas. Kabellarni uzish, robotni yo‘naltiruvchilardan olib tashlash, yangisini o‘rnatish, har bir slotlar devori bo‘yicha pozitsiyalashni kalibrlash, to‘liq inventarizatsiyani o‘tkazish, kartridjni ushlash va qo‘yib yuborishni tekshirish. Faqat shundan keyin productionga. Kalibrlashdagi xato — va robot slotlardan o‘tib ketadi yoki kartridjlarni tushirib yuboradi.

Yoshi ulg‘aygan kutubxonada bunga texnikaga umuman aloqasi bo‘lmagan narsa qo‘shiladi. Platforma sotuvdan olib tashlangan bo‘lishi, ehtiyot qism haftalarga buyurtma bilan kelishi, va aynan shu modelda tajribaga ega muhandis bozorda kamyob bo‘lishi mumkin. Protseduraning o‘zi bir kun davom etgan, tugunni kutish esa bir yarim oy bo‘lgan holatlarni ko‘rganmiz — va shu bir yarim oy davomida ikkinchi nusxa umuman yaratilmagan.

Bundan loyihaga qoldiq printsipi bilan emas, ongli ravishda kiritilishi kerak bo‘lgan ikkita band kelib chiqadi: yuqori modellarda ikkinchi robot imkoniyati va aniq reaksiya muddatiga ega mexanika bo‘yicha servis shartnomasi. Va har ikkinchi spetsifikatsiyada unutiladigan uchinchi, juda mayda band: tozalash kartridjlari. Bittasi taxminan ellik siklga mo‘ljallangan, va ularning yo‘qligi olti oylik ekspluatatsiyadan keyin ma’lum bo‘ladi.

Avlod almashinuvi

LTO-10: aslida nima o‘zgardi

Nima o‘sdi, nima o‘zgarmay qoldi va nima butunlay buzildi — marketing shovqinisiz, band-band.

Bu yerda marketing shovqini ko‘p, shuning uchun band-band ko‘rib chiqamiz — nima o‘sdi, nima o‘smadi va nima buzildi.

Sig‘im sezilarli darajada o‘sdi. LTO-9 tashuvchisi — 18 TB native. LTO-10da ikki turdagi tashuvchi bor: standart, 30 TB, va premium, 40 TB, ikkalasi ham bitta drayvda ishlaydi. Bu kartridjga plyus 67 yoki plyus 122 foiz degani. «2,2 marta kam kassetalar» kabi barcha chiroyli taqqoslashlar premium tashuvchidan hisoblangan, va buni ochiq aytish kerak, aks holda xaridda raqamlar to‘g‘ri kelmasligi ma’lum bo‘ladi.

Yozish tezligi o‘smadi. To‘liq o‘lchamdagi LTO-9 drayvi 400 MB/s native beradi, to‘liq o‘lchamdagi LTO-10 esa — xuddi shu 400 MB/s. Butun avlodning yutug‘i yozish zichligiga jamlangan, tezlikka emas. Agar sizga yangi avlodga o‘tishda zaxira nusxalash oynasi qisqarishini va’da qilishsa — u qayerdan kelib chiqishini so‘rang. Odatda u yerda eski avlodning yarim balandlikdagi drayvi (300 MB/s) yangi to‘liq o‘lchamdagisi bilan solishtiriladi, ya’ni yutuqni forma-faktor beradi, avlod emas.

Ammo shina o‘sdi. Bu klassdagi kutubxonalarda LTO-9 drayvlari 8 Gb Fibre Channel orqali ulanardi. To‘liq o‘lchamdagi LTO-10 esa 32 Gb ga e’lon qilingan, va siqiladigan ma’lumotlarda 1200 MB/s gacha bera oladi. Aynan shu o‘zgarish oqibatlari jihatidan eng qimmatlisi — keyingi bo‘lim aynan shu haqida.

Kartridj sig‘imi uchdan ikki qismga o‘sdi. Yozish tezligi — bir foizga ham emas. O‘sgani — bu tezlik yuradigan shina.

Tashuvchini birlamchi optimallashtirish protsedurasi yo‘qoldi. LTO-9da yangi kartridj birinchi ishlatilishdan oldin ikki soatgacha davom etishi mumkin bo‘lgan va topshiriqlarni taymaut bo‘yicha yiqitadigan kalibrlashdan o‘tardi. LTO-10da u yo‘q — mayda narsa, ammo yangi pulni ommaviy yuklashda bir ish kunini tejaydi.

Va orqaga moslik buzildi. Butunlay. LTO-10 drayvi LTO-9ni o‘qimaydi va yozmaydi. LTO-7gacha drayvlar ikki avvalgi avlod bilan ishlagan, LTO-8dan LTO-9gacha — bittasi bilan, LTO-10da esa hech nima qolmagan.

LTO-10 avlodida nima o‘zgardiSig‘im sezilarli o‘sdi, yozish sur’ati avvalgidek qoldi, shina uch baravar kengaydi, moslik esa yo‘qoldi.LTO-7LTO-8LTO-9LTO-10Kartridj sig‘imi, native6 TB12 TB18 TB30 va 40 TBYozish tezligi, native (to‘liqo‘lchamdagi drayv)300 MB/s360 MB/s400 MB/s400 MB/sYozish tezligi, native (yarimbalandlikdagi drayv)300 MB/s300 MB/s300 MB/s—Ulanish interfeysi8 Gb FC8 Gb FC8 Gb FC32 Gb FCSiqiladigan ma’lumotlardagi oqim700 MB/sgacha750 MB/sgacha1000 MB/sgacha1200 MB/sgachaOldingi avlodlarni o‘qiydiikki avlodorqagabir avlodorqagabir avlodorqagao‘qimaydiYangi tashuvchini kalibrlashkerak emaskerak emas2 soatgachakerak emasQiymatlar drayvlar va kutubxonalar ishlab chiqaruvchilari hujjatlari bo‘yicha.LTO-10 avlodida nima o‘zgardiSig‘im sezilarli o‘sdi, yozish sur’ati avvalgidek qoldi, shinauch baravar kengaydi, moslik esa yo‘qoldi.LTO-7LTO-8LTO-9LTO-10Kartridj sig‘imi, native6 TB12 TB18 TB30 va 40 TBYozish tezligi, native (to‘liq o‘lchamdagi drayv)300 MB/s360 MB/s400 MB/s400 MB/sYozish tezligi, native (yarim balandlikdagi drayv)300 MB/s300 MB/s300 MB/s—Ulanish interfeysi8 Gb FC8 Gb FC8 Gb FC32 Gb FCSiqiladigan ma’lumotlardagi oqim700 MB/sgacha750 MB/sgacha1000 MB/sgacha1200 MB/sgachaOldingi avlodlarni o‘qiydiikki avlodorqagabir avlodorqagabir avlodorqagao‘qimaydiYangi tashuvchini kalibrlashkerak emaskerak emas2 soatgachakerak emasQiymatlar drayvlar va kutubxonalar ishlab chiqaruvchilarihujjatlari bo‘yicha.
3-rasm. LTO-7 — LTO-10 avlodlari: sig‘im, tezlik, interfeys, moslik

Bu spetsifikatsiyaning mayda tafsiloti emas, bu xarid strategiyasining burilishi. Boshqalarning buyurtmachi uchun asoslarida «yangi avlod eski kartridjlarni o‘qiydi, sizning investitsiyalaringiz himoyalangan» degan iborani uchratganmiz. U noto‘g‘ri, va bu xatoning narxi — avval yozilgan butun arxiv.

Amalda nima qilish kerak: yoki to‘plangan arxivga kirish uchun kutubxonada eski avlod drayvlarining bir qismini qoldirish, yoki ma’lumotlarni ko‘chirish. Birinchisi bitta qurilmada ikkita tashuvchi pulini degani — ishlaydigan sxema, ammo uni mantiqiy kutubxonalar bo‘yicha taqsimlash kerak, aks holda dastur ertami-kechmi kartridjni noto‘g‘ri drayvga yuboradi. Ikkinchisi butun arxivni o‘qib, qayta yozishni anglatadi, va bu allaqachon alohida loyiha: bir necha petabayt haqiqiy fabrika orqali haftalab o‘qiladi, bunda eski tashuvchilarda o‘qish xatolari ehtimoli yuqoriroq.

Va spetsifikatsiyalarni tahlil qilish amaliyotidan bitta tafsilot: «36 TB native» va «90 TB compressed» raqamlari konsorsiumning yo‘l xaritasiga tegishli, chiqarilgan mahsulotga emas, va ularni hisob-kitobga kiritib bo‘lmaydi.

Saqlash tarmog‘i

Nega yangi avlod saqlash tarmog‘ini o‘zi bilan sudrab keladi

Zaxira nusxalash smetasidagi «kommutatorlarni almashtirish» qatori byudjetni shishirish emas, avlod almashinuvining to‘g‘ridan-to‘g‘ri oqibati.

Bu — qolgan hammasi shu uchun ekan, deyiladigan bo‘lim. Zaxira nusxalash smetasidagi «SAN-kommutatorlarni almashtirish» qatori byudjetni shishirishdek ko‘rinadi — aslida esa bu lenta avlodi almashinuvining to‘g‘ridan-to‘g‘ri oqibati.

Ikkita narsani alohida hisoblash kerak, va ular doimo aralashtiriladi. Birinchisi — bitta portning polosasi bitta drayv uchun yetarlimi. Ikkinchisi — butun kutubxona uchun portlarning o‘zi yetarlimi.

Polosa bo‘yicha. 8 Gb Fibre Channel porti taxminan 800 MB/s beradi. Oldingi avlod drayvi 400 MB/s native bilan unga erkin sig‘adi — ammo siqiladigan ma’lumotlarda xuddi shu drayv sekundiga ming megabaytgacha beradi va endi portga sig‘maydi. Yangi avlod 32 Gb ga va 1200 MB/sgacha oqimga mo‘ljallangan: eski fabrikada u shunchaki pastga moslashadi. Buyurtmachi avlod uchun to‘lagan, ammo uni olmagan.

Portlar soni bo‘yicha. Har bir drayv kommutatorda o‘z portini egallaydi — ular link bo‘lishmaydi. Yigirma to‘rtta drayv — bu fabrikaning yigirma to‘rtta porti, plyus media-serverlardagi adapter portlari, plyus zaxira. Uch ta bo‘sh porti bo‘lgan eski fabrikada kutubxonani kengaytirish haqidagi suhbat boshlanmasdan tugaydi.

Alohida SAS haqida. Drayvlar SAS ijrosida ham bo‘ladi, va kichik o‘rnatish uchun bu halol variant: kutubxona to‘g‘ridan-to‘g‘ri media-server adapteriga ulanadi, fabrika umuman kerak emas, va portlar haqidagi butun suhbat yopiladi. Cheklov boshqa joyda — SAS kommutatsiya qilinmaydi: kabel uzunligi metrlarda o‘lchanadi, drayvlar soni adapterdagi portlar soni bilan cheklanadi, va bitta kutubxonani ikkita media-serverga ulash allaqachon noqulay. Drayvlar bir juftdan ko‘p yoki serverlar bittadan ko‘p bo‘lishi bilanoq, yana fabrika va portlar arifmetikasiga qaytamiz.

Va uchinchisi, u haqida eng oxirida eslashadi: haqiqiy shift odatda yo‘l bo‘ylab yuqoriroqda turadi. Yigirma to‘rtta drayv pasport bo‘yicha deyarli sekundiga o‘n gigabayt beradigan konfiguratsiyani ko‘rib chiqqanmiz — ammo ularga ma’lumotlar media-serverlardagi bir juft adapter orqali kelgan, va bu butunlay boshqa raqam edi. «Oynaga sig‘ish uchun drayv qo‘shish» haqidagi barcha bahslar u yerda ma’nosiz edi: tor joy na kutubxona, na hatto fabrika edi.

Nega lenta avlodining almashishi saqlash tarmog‘iga ta’sir qiladiIkki narsani hisoblash kerak: bitta drayv uchun bitta portning polosasi va butun kutubxona uchun bo‘shportlar soni.8 Gb port16 Gb port32 Gb portLTO-9 drayvi, native400 MB/sLTO-9 drayvi, siqiladiganma’lumotlar1000 MB/sLTO-10 drayvi, native400 MB/sLTO-10 drayvi, siqiladiganma’lumotlar1200 MB/ssiqiladigan ma’lumotlarda drayv endi 8 Gb portgasig‘maydi08001 6002 4003 200 MB/sHar bir drayvga port24 drayv — 24 portDrayvlar linkni bo‘lishmaydi.Bunga media-serverlardagiportlar va fabrikadagi zaxiraniqo‘shing.Eski fabrikadagi yangi drayvpastga moslashadi32 Gb avlod uchun to‘ladik, 8Gb polosa oldik. O‘sish yo‘q.Shift yo‘l bo‘ylab yuqoriroqdamedia-serveradapterlariDrayvlarning umumiy ehtiyojikutubxonaga emas, HBAportlariga va disk puligachabo‘lgan yo‘lga tiraladi.Nega lenta avlodining almashishi saqlashtarmog‘iga ta’sir qiladiIkki narsani hisoblash kerak: bitta drayv uchun bittaportning polosasi va butun kutubxona uchun bo‘sh portlarsoni.8 Gb port16 Gb port32 Gb portLTO-9 drayvi, native400 MB/sLTO-9 drayvi, siqiladigan ma’lumotlar1000 MB/sLTO-10 drayvi, native400 MB/sLTO-10 drayvi, siqiladigan ma’lumotlar1200 MB/ssiqiladigan ma’lumotlarda drayv endi 8 Gbportga sig‘maydi08001 6002 4003 200 MB/sHar bir drayvga port24 drayv — 24 portDrayvlar linkni bo‘lishmaydi. Bunga media-serverlardagiportlar va fabrikadagi zaxirani qo‘shing.Eski fabrikadagi yangi drayvpastga moslashadi32 Gb avlod uchun to‘ladik, 8 Gb polosa oldik. O‘sishyo‘q.Shift yo‘l bo‘ylab yuqoriroqdamedia-server adapterlariDrayvlarning umumiy ehtiyoji kutubxonaga emas, HBAportlariga va disk puligacha bo‘lgan yo‘lga tiraladi.
4-rasm. Saqlash tarmog‘i portlarining polosasi drayvlar ehtiyojiga nisbatan

Ish rejasiga kiritishni tavsiya qiladigan amaliy tartib:

Avvalo drayvlar interfeysini belgilaymiz. Ular Fibre Channel va SAS ijrosida bo‘ladi, va bu media-serverdagi turli adapterlar. Drayvlar FC bilan buyurtma qilingan, server bo‘yicha tavsiyalarda esa tashqi SAS-adapter turgan spetsifikatsiyani ko‘rganmiz. Bunday kutubxonani jismonan ulab bo‘lmaydi, va bu qabul qilishda ma’lum bo‘ladi.

Keyin portlarni hisoblaymiz: nechta drayv bo‘lsa, kerakli tezlikdagi shuncha port kerak, va ularning bo‘shligini tekshiramiz. Keyin umumiy ehtiyojni hisoblab, uni media-serverlardagi adapterlar polosasi bilan solishtiramiz. Keyin media-serverlarda adapter uchun kerakli avlod bo‘sh PCIe sloti borligini tekshiramiz. Va faqat shundan keyin spetsifikatsiyani yopamiz.

Menejer uchun xulosa oddiy: agar loyiha yangi lenta avlodiga o‘tishni nazarda tutsa, «saqlash tarmog‘imiz bilan nima bo‘ladi» degan savol boshida beriladi, imzolangandan keyin emas. Aks holda u amalga oshirish bosqichida, byudjet allaqachon tasdiqlanganda paydo bo‘ladi.

Sig‘imni hisoblash

Sig‘im: kartridjlar soni aslida qayerdan kelib chiqadi

Uch joyda xato qilishadi, va uchalasi ham bir tomonga: kartridjlar kerakligidan kamroq buyurtma qilinadi.

Bu yerda eng ko‘p xato qilishadi, va xato doim bir tomonga bo‘ladi — kartridjlar kerakligidan kamroq buyurtma qilinadi.

Birinchisi. Faqat native hisoblaymiz. Lenta an’anaviy ravishda «siqilgan» terabaytlarda sotiladi: 18 TB 45ga, 40 esa 100ga aylanadi. Drayvdagi apparat kompressiyasi haqiqatan ishlaydi — ammo faqat unga siqilmagan holda yetib kelgan ma’lumotlarda. Zamonaviy zaxira nusxalash tizimi tashuvchiga allaqachon deduplikatsiya qilingan va siqilgan oqimni beradi. U yerda siqadigan hech narsa qolmaydi, koeffitsient birga yaqin bo‘ladi.

Kutubxonaning pasport sig‘imini ikki yarimga ko‘paytiradigan har qanday hisob-kitob — xato, va u loyihani himoya qilishda emas, ekspluatatsiyaning bir yilidan keyin, kartridjlar rejadan uch marta erta tugaganda ma’lum bo‘ladi.

Apparat kompressiyasi faqat unga siqilmagan holda yetib kelgan ma’lumotlarda ishlaydi.

Ikkinchisi. Slotlar — bu ma’lumotli kartridjlar emas. Uch petabaytlik arxiv uchun bir yuz oltmish yetti kartridj hisoblangan va ikki yuz slotli kutubxona «zaxira bilan» buyurtma qilingan spetsifikatsiyani ko‘rganmiz. U yerda zaxira yo‘q: shu ikki yuz slotga arxiv, joriy yozish uchun bo‘sh kartridjlar puli, tozalash kartridjlari, kiritish-chiqarish stansiyasi slotlari va yechimning butun umr davomidagi o‘sishi sig‘ishi kerak.

Uchinchisi, va eng qimmati. Nusxalar sonini regulyator belgilaydi, arxitektor emas. Loyihalardan birida kartridjlar sonini hisoblash quyidagi vilkani berdi: avlodlarning optimallashtirilgan sxemasida taxminan 364 dona, «36 oy saqlash» talabini qat’iy o‘qishda esa taxminan 936 dona. Farq — deyarli olti yuz kartridj, va u kutubxona modeliga ham, yetkazib beruvchiga ham, deduplikatsiya hisobining sifatiga ham bog‘liq emas.

Kutubxonadagi slotlar soni qayerdan kelib chiqadiRaqamlar shartli bo‘lib, aniq loyiha hisobini emas, qadamlar tartibini ko‘rsatadi.«zaxira bilan» buyurtma qilingan 200 slotli kutubxonaMa’lumotlarning o‘zi uchunkartridjlar3000 TB / kartridjga 18 TBFaqat native sig‘imni olamiz.Pasportdagi «siqilgan» sig‘imnihisobga qo‘ymaymiz167Saqlash sxemasi bo‘yichanusxalarnusxalar sonini regulyatorbelgilaydiHisobdagi eng katta noaniqlik: talabtalqiniga qarab vilka bir nechabarobar bo‘ladi+60Bo‘sh kartridjlar pulijoriy yozish uchunUsiz o‘rnatilgan tashuvchida joytugaganda topshiriqlar to‘xtabqoladi+22Tozalash kartridjlarisarf materialiBittasining resursi — taxminan 50 sikl+6Kiritish-chiqarish stansiyasiqabul qilish va berish uchunslotlarKutubxona ishini to‘xtatmasdankartridjlarni kiritish va chiqarishuchun+10Yechimning butun umridavomidagi o‘sishzaxiraBirinchi yilga emas, butunekspluatatsiya muddatiga+45Jami slotlar310 kerak → 40 slotli sakkiztamodul3200100200300 slotOdatiy xato — birinchi qadamda to‘xtab, zaxirani ko‘z bilan chamalab qo‘shish.Tahlil qilingan loyihalardan birida 167 ta arxiv kartridji uchun 200 slot buyurtmaqilingan: qolgan hamma narsaga o‘ttiz uchta qolgan.Kutubxonadagi slotlar soni qayerdan kelibchiqadiRaqamlar shartli bo‘lib, aniq loyiha hisobini emas,qadamlar tartibini ko‘rsatadi.«zaxira bilan» buyurtmaqilingan 200 slotlikutubxonaMa’lumotlarning o‘zi uchun kartridjlar3000 TB / kartridjga 18 TBFaqat native sig‘imni olamiz. Pasportdagi «siqilgan» sig‘imnihisobga qo‘ymaymiz167Saqlash sxemasi bo‘yicha nusxalarnusxalar sonini regulyator belgilaydiHisobdagi eng katta noaniqlik: talab talqiniga qarab vilka birnecha barobar bo‘ladi+60Bo‘sh kartridjlar pulijoriy yozish uchunUsiz o‘rnatilgan tashuvchida joy tugaganda topshiriqlar to‘xtabqoladi+22Tozalash kartridjlarisarf materialiBittasining resursi — taxminan 50 sikl+6Kiritish-chiqarish stansiyasiqabul qilish va berish uchun slotlarKutubxona ishini to‘xtatmasdan kartridjlarni kiritish va chiqarishuchun+10Yechimning butun umri davomidagi o‘sishzaxiraBirinchi yilga emas, butun ekspluatatsiya muddatiga+45Jami slotlar310 kerak → 40 slotli sakkizta modul3200100200300 slotOdatiy xato — birinchi qadamda to‘xtab, zaxirani ko‘zbilan chamalab qo‘shish. Tahlil qilingan loyihalardanbirida 167 ta arxiv kartridji uchun 200 slot buyurtmaqilingan: qolgan hamma narsaga o‘ttiz uchta qolgan.
5-rasm. Slotlar sonini bosqichma-bosqich hisoblash: ma’lumot hajmidan konfiguratsiyagacha

Shu sababli «regulyator aynan qanday saqlash sxemasini talab qiladi va sizning komplaens xizmatingiz uni qanday talqin qiladi» degan savol barcha texnik bahslardan oldin, birinchi bo‘lib beriladi. Bu yerda hal qilinmagan bitta band, qaysi kutubxona yaxshiroq degan butun bahsdan qimmatroqqa tushadi.

Yechimning chegaralari

Lenta javob bo‘lishdan qachon to‘xtaydi

Teskari tomoni: lenta haqiqatan mos kelmaydigan joylar va uni almashtirganda kech va qimmatga tushib chiqadigan narsalar.

Halol tahlil teskari tomonni ham talab qiladi. Lenta universal emas, va uni almashtirish kerak bo‘lgan senariylar bor.

Uning kirishi tamoyilan ketma-ket. Kartridjning o‘rtasidan bitta faylni tiklash — bu montaj, qaytarish va kutish, soniyalar o‘rniga daqiqalar. Katta ma’lumotlar to‘plamini tiklash esa nechta drayvni parallel ishlatish mumkinligiga bog‘liq.

Ammo bu yerda teskari xatoga tushmaslik muhim. Lentadan diskka o‘tishning o‘zi tez tiklanishni kafolatlamaydi. 1,1 terabaytlik virtual mashina to‘qqiz soat davomida — taxminan sekundiga 34 megabayt tezlikda tiklangan holatni ko‘rganmiz. Sxemada lenta umuman bo‘lmagan: 7200 aylanadigan oddiy shpindelli disklardagi disk pulidan o‘qilgan.

Tahlil raqamning o‘zidan ham o‘rgatuvchan chiqdi. Mashinada ikkita disk bo‘lgan — kichik tizim diski va qolgan hamma narsa yotgan ikkinchisi. Loglarda tizim diski taxminan sekundiga yuz megabayt tezlikda o‘tgani va bir necha daqiqada tugagani, katta diski esa o‘ttiz ikkida ketib, deyarli butun oynani yegani ko‘rinadi. Agent mashinani ketma-ket, disk-disk tiklaydi — ammo boshqacha bo‘lganda ham bu hech narsani o‘zgartirmasdi: parallellashtiradigan narsa yo‘q edi, deyarli barcha ma’lumotlar bitta tomda yotardi. Va aynan shu yagona oqim butun zanjirni o‘zi bilan sudrab ketardi — shpindellardagi deduplikatsiya qilingan puldan tasodifiy o‘qish, deduplikatsiyadan qayta yig‘ish, siqishni ochish va yozish. U aynan sekundiga o‘ttiz nechadir megabaytga tiraldi.

Tarmoq, deduplikatsiya bazasi va uskunani tekshirib, chetlashtirdik, xatti-harakatni yetkazib beruvchi support keysi orqali tasdiqladi.

Shundan keyin har bir loyihada takrorlaydigan xulosa: tiklash vaqti tiklash orqali tekshiriladi, hisob-kitob orqali emas. Zaxira nusxa tezligi tiklash tezligi haqida hech narsa demaydi — bular boshqa-boshqa zanjirlar. Va agar mashinaning barcha ma’lumotlari bitta katta tomda yotgan bo‘lsa, uni hech qanday parallellik qutqarmaydi.

Agar lenta baribir almashtirilsa, u odatda o‘zgarmas obyekt xotirasiga almashtiriladi. Va bu yerda «o‘zgarmaslik» turli chuqurlikda bo‘lishi muhim: hech qanday holda olib tashlab bo‘lmaydigan tashuvchi darajasidagi blokirovkadan tortib, siyosat buyurtmachining kelishilgan kontaktlaridan tasdiq bilan yetkazib beruvchi qo‘llab-quvvatlashi orqali o‘zgartiriladigan massiv darajasidagi mexanizmgacha — ya’ni himoya allaqachon texnik emas, protsedura xarakterida. Obyekt blokirovkasining bundan tashqari yumshoq rejimi bor, unda imtiyozli rol uni olib tashlashi mumkin, va qat’iy rejimi bor, unda hech kim olib tashlay olmaydi. Regulyator talablari uchun qat’iyi kerak, va bu talablarda ochiq yozilishi kerak — aks holda yetkazib beruvchi bandni eng yumshoq variant bilan yopadi.

Bunday loyihalarda kech va qimmatga tushib chiqadigan ikkita narsa bor. O‘zgarmaslik sig‘imga qimmatga tushadi: butun to‘plamning blokirovkasi bir vaqtda tugashi uchun, tizim uni o‘zida yopiq, tashqi havolalarsiz saqlaydi, va deduplikatsiya samaradorligi pasayadi. Va moslik matritsasi arxitekturani spetsifikatsiya varag‘idan ko‘ra kuchliroq belgilaydi — tanlangan massiv bitta zaxira nusxalash tizimi uchun sertifikatlangan, ikkinchisi uchun ro‘yxatda bo‘lmagan holatni ko‘rib chiqqanmiz, va arxitekturani ikkita nishonga bo‘lishga to‘g‘ri kelgan.

Nazorat ro‘yxati

Spetsifikatsiyani hisoblashdan oldin nimani so‘rash kerak

Ekspluatatsiya bilan bitta uchrashuvda hal qilinadigan va loyihaning deyarli barcha xavflarini olib tashlaydigan to‘qqizta savol.

  1. Hozir lentada haqiqatan qancha ma’lumot yotibdi — kartridjlar soni bo‘yicha emas, zaxira nusxalash tizimining o‘z hisoboti bo‘yicha. Va bu native yoki compressedmi: doimo chalkashtiriladi, farq bir necha marta.
  2. Qaysi avlod drayvi va tashuvchisi o‘rnatilgan. «LTO» emas, aniq avlod va forma-faktor: bundan ham kartridj sig‘imi, ham tezlik, ham moslik bog‘liq.
  3. Kutubxonaning qaysi ijrosi va nechta moduli allaqachon band. Agar shift tugagan bo‘lsa, arzon kengaytirish bo‘lmaydi.
  4. Drayvlarga saqlash tarmog‘ining nechta porti ulangan va qaysi tezlikda. Bu sizning haqiqiy unumdorlik shiftingiz.
  5. Drayvlar qaysi interfeys ijrosida buyurtma qilinmoqda va ular uchun media-serverda adapter va bo‘sh slot bormi.
  6. Regulyator qanday saqlash sxemasini talab qiladi va komplaens xizmati uni qanday talqin qiladi. Ta’rifga qarab kartridjlar soni bir necha marta o‘zgaradi.
  7. Mexanika bo‘yicha servis shartnomasi bormi va uning reaksiya muddati qanday. Robot — butun sig‘im uchun yagona nosozlik nuqtasi.
  8. Haqiqiy hajmda tiklash oxirgi marta qachon tekshirilgan va u qancha vaqt olgan. Hisoblangan tiklash vaqti va o‘lchangan vaqt — turli kattaliklar, va farq odatda sizning foydangizga emas.
  9. Tashuvchi avlodini almashtirish qachon rejalashtirilgan va arxivni ko‘chirish byudjetga hamda grafikka kiritilganmi.

Xulosa

Xulosa o‘rniga

Lentali qatlam zaxira nusxalash tizimining eng zerikarli elementiga o‘xshaydi, va aynan shu sababdan u eng oxirida va qoldiq printsipi bilan loyihalanadi. Keyin esa u xato qog‘ozda emas, bir yildan so‘ng — kartridjlar tugab, oyna sig‘masligini va oldingi avlod arxivini o‘qiydigan hech narsa qolmaganini bilib qolganda ma’lum bo‘ladigan yagona joyga aylanadi.

LTO-10 bilan bunday xatoning narxi oshdi. Tashuvchi sig‘imi haqiqatan oldinga siljidi, va bu byudjet uchun yaxshi xabar. Ammo yozish tezligi o‘zgarmay qoldi, drayv ostidagi shina uch baravar kengaydi, va o‘tgan avlodga ko‘prik yonib ketdi. Xotiradan tuzilgan yoki o‘tgan yildagi loyihadan ko‘chirilgan spetsifikatsiya endi shunchaki noaniq emas — u ishlamasligi ham mumkin.

Yaxshi xabar shundaki, nazorat ro‘yxatidagi barcha to‘qqizta savol buyurtmachi ekspluatatsiyasi bilan bitta uchrashuvda hal qilinadi. Eng qimmatga tushadigan narsa — murakkab hisob-kitoblar emas, balki hech kim qilmagan hisob-kitoblar.

Vazifani muhokama qilish

Vazifangizni birga ko‘rib chiqamiz

Platforma yoki loyihangiz haqida yozing — muhandis Telegramda yoki e-mail orqali javob beradi.

Telegramda yozish

Yoki Telegramda yozing — bot savolingizni muhandisga yetkazadi.