RobIII

Het is even stil geweest op mijn blog vanwege drukte op 't werk en in mijn privé leven, maar ik heb nu een update die ik toch wel even het bloggen waard vond en die ik jullie niet wilde onthouden omdat 't zo mooi aansluit op deeltje 6. Prepare to enjoy this ride with a big evil grin on your face

Vandaag kwam ik, voor totaal andere zaken, weer even bij het lijdend voorwerp uit deel 5 en 6, H&M, over de vloer. Omdat ik er toch was en met de systeembeheerder door de gang wandelde waagde ik een gokje en vroeg 'terloops' even hoe het afgelopen was na augustus. Hier is een korte samenvatting van wat me verteld werd.

De offerte welke in vorig deel aan 't eind van het verhaal over de tafel werd geschoven is geaccepteerd en bedroeg, houdt u vast, ruim een ton. Omdat we toch langs het serverruim liepen mocht ik even hun nieuwe apparatuur bewonderen en dus liepen we de lawaaiige, maar voor ons ICT'ers zo heerlijk rustgevende, ruimte in. In een spiksplinternieuw 48u rack dat naast de twee bestaande racks was geplaatst stond al het moois te fonkelen. Ondanks dat 't pas 1 december was en 't niet eens mijn hardware en niet eens die van mijn werkgever was voelde 't toch al een klein beetje als sinterklaas. Tja. Wat doe je er aan?

3x	Proliant DL380 G6	~ € 5.000	€ 15.000
10x	Geheugenupgrades*	~ € 900	€ 9.000
2x	MSA2000	~ € 5.500	€ 11.000
24x	15K Schijven voor de MSA's	~ € 550	€ 13.200
6x	10K Schijven voor de DL380's	~ € 200	€ 1.200
2x	APC Smart UPS	~ € 600	€ 1.200
1x	APC 48u rack	~ € 1.300	€ 1.300
1x	Tapestreamertje, misschien wat controllertjes, switchje, andere zooi	~ € 10.000

* Ik weet nog dat er in alle 3 de servers 32Gb zat; de servers in de tabel komen met 6Gb aan boord dus heb ik voor het gemak nog even 80Gb er bij gemikt om op 98 te komen i.p.v. 3x32 = 96

Dit zijn allemaal ruwe schattingen van bedragen; ik heb niet alles precies qua specs onthouden, een flink (glas)netwerk lag er al, ik heb snel-snel wat bij elkaar geklikt (en afgerond), etc. maar een klein rekensommetje leert me dat ik er niet ver langs zal zitten. Ik kom aan hardware al makkelijk rond 60K en als je ook nog wat software licenties (Windows, MSSQL, MSA stuff en weet ik het wat) mee telt gaat het hard richting een ton (en "Monster inc." zal het ook niet voor nop allemaal zijn komen installeren, inrichten en whatnot).

En nee, ik heb geen zin in gezeur dat iets bij die-en-die goekoper is en blabla inkoop/verkoop of in/ex btw en ga zo maar door Het zal allemaal best, ik probeer even een indruk te geven wat de upgrade ongeveer inhield.

Bedenk even dat deze hele 'constructie' nu dus in plaats is gekomen van het arme, arme servertje dat ik in deel 5 beschreef Goed, en wat heeft deze flinke investering ons allemaal opgeleverd? Ik hoor jullie popelen van ongeduld, want zo'n mooie blinkende stapel knipperende lampjes en blazende fans moet toch wel een huge-ass verbetering zijn op de oude situatie?

Natuurlijk was ik ook nieuwsgierig. En omdat ik niet van wachten houd was ik voornamelijk benieuwd naar "de eerste, algemene, indruk" van de hele situatie na upgrade. Details hoor ik daarna wel. Dus ik vraag hoopvol: "En? Is het een beetje sneller geworden?" maar aan de gezichtsuitdrukking van de systeembeheerder las ik al meer dan voldoende af. "Mwah, kan niet echt zeggen dat 't sneller is geworden" was z'n antwoord. Na even wat verder gepraat te hebben bleek dat de geplande "upgrade" die, volgens Monster inc., een weekend had moeten duren meer dan 3 weekenden had geduurd. Weet u nog? 24/7/365 Bedrijf Goed, downtime komt nou eenmaal voor (shit happens) en is niet altijd te voorkomen en mits goed ingepland moet dan altijd nog op z'n minst de schade te beperken zijn. Dat viel dus al vies tegen, want het duurde dus ruim 3x langer dan gepland.

Toen bleek ook nog dat er een week na de 'upgrade' een moederbord defect bleek te zijn van een MSA waardoor de productie weer geruime tijd (pin me d'r niet op vast, maar ik meen ruim een dag) had plat gelegen. Maar goed, maandagochtendmoederbordje geweest ofzo. Shit happens; kan iedereen overkomen; fabrieksfoutje. Toen werd ik benieuwd naar waar nu de bottleneck zat volgens de systeembeheerder. Gezien de MSA's en de shitload aan schijven en onderlinge "weet-ik-veel" supersnelle links tussen die MSA's en de servers gokte ik voorzichtig: "Hoe'st met de I/O load?". Grijns op het gezicht van de systeembeheerder. Daar kreeg 'ie toch wel een harde plasser van als ICT'er zijnde. Die was near zero. D'uh. Ik had niet anders verwacht. En dus gokte ik: "Laat me raden, het netwerk is de bottleneck?". Het antwoord was kort maar sprak boekdelen: "Onder andere ja".

Ik heb nog even doorgebabbeld en ik ken de exacte details niet meer allemaal maar ik weet wel nog dat een aantal weken geleden "spontaan" een tabel was verdwenen die uit een backup van oktober teruggehaald had moeten worden (ondanks de SQL replicatie naar een 'hot spare' server, een niet-te-zuinig tape station en weet-ik-het hadden zie de tabel uit het oude, arme, servertje gehaald). Ook weet ik nog dat "Monster inc." nu toch wel aardig zenuwachtig begon te worden van de toch wel héél boze klant en daadwerkelijk nu hard op zoek was naar zinnige(re) oplossingen. Ook hadden ze beloofd dat in de "eindejaars update" van het pakket al de nodige "SQL performance optimalisaties" waren uitgevoerd en dat ze in de "voorjaarsupdate van 2010" nog meer van die optimalisaties verwachtten uit te kunnen rollen.

Ondertussen is H&M gewend aan "downtime" (en dus productie op z'n gat) van gemiddeld een paar uurtjes per maand om willekeurige redenen, label-scanners die met regelmaat pas "reageren" na enkele minuten waardoor de productie vertraagt en systeembeheerders die zo nu en dan schreeuwend door de gangen rennen, hun haar uit hun kop plukkend. Ik heb ze dan ook een schouderklop gegeven (een knuffel was beter op z'n plaats geweest...maar dat doe je dan weer niet ) en gezegd dat ik met ze mee leef. En dat ik 't ze van harte gun dat 't vanaf nu alsmaar beter en beter wordt.

Maar ik eindig deze post toch écht met een "Told you so!".



_{P.s. Leuk spul, die DL380's. Ik heb er zelf ook één /patsmode}