In het land der blinden... part 7

Door RobIII op woensdag 2 december 2009 01:48 - Reacties (20)
Categorieën: In het land der blinden..., Life as a developer, Rants, Views: 4.836

Het is even stil geweest op mijn blog vanwege drukte op 't werk en in mijn privé leven, maar ik heb nu een update die ik toch wel even het bloggen waard vond en die ik jullie niet wilde onthouden omdat 't zo mooi aansluit op deeltje 6. Prepare to enjoy this ride with a big evil grin on your face >:)

http://tweakers.net/ext/f/p0EsgMLKRfthynDDNt4V8ucI/full.jpgVandaag kwam ik, voor totaal andere zaken, weer even bij het lijdend voorwerp uit deel 5 en 6, H&M, over de vloer. Omdat ik er toch was en met de systeembeheerder door de gang wandelde waagde ik een gokje en vroeg 'terloops' even hoe het afgelopen was na augustus. Hier is een korte samenvatting van wat me verteld werd.

De offerte welke in vorig deel aan 't eind van het verhaal over de tafel werd geschoven is geaccepteerd en bedroeg, houdt u vast, ruim een ton. Omdat we toch langs het serverruim liepen mocht ik even hun nieuwe apparatuur bewonderen en dus liepen we de lawaaiige, maar voor ons ICT'ers zo heerlijk rustgevende, ruimte in. In een spiksplinternieuw 48u rack dat naast de twee bestaande racks was geplaatst stond al het moois te fonkelen. Ondanks dat 't pas 1 december was en 't niet eens mijn hardware en niet eens die van mijn werkgever was voelde 't toch al een klein beetje als sinterklaas. Tja. Wat doe je er aan? O+

3xProliant DL380 G6~ ¤ 5.000¤ 15.000
10xGeheugenupgrades*~ ¤ 900¤ 9.000
2xMSA2000~ ¤ 5.500¤ 11.000
24x15K Schijven voor de MSA's~ ¤ 550¤ 13.200
6x10K Schijven voor de DL380's~ ¤ 200¤ 1.200
2xAPC Smart UPS~ ¤ 600¤ 1.200
1xAPC 48u rack~ ¤ 1.300¤ 1.300
1xTapestreamertje, misschien wat controllertjes, switchje, andere zooi~ ¤ 10.000

* Ik weet nog dat er in alle 3 de servers 32Gb zat; de servers in de tabel komen met 6Gb aan boord dus heb ik voor het gemak nog even 80Gb er bij gemikt om op 98 te komen i.p.v. 3x32 = 96

http://tweakers.net/ext/f/6Ly2o0DrUhoKpcWpwfPo97lb/full.jpgDit zijn allemaal ruwe schattingen van bedragen; ik heb niet alles precies qua specs onthouden, een flink (glas)netwerk lag er al, ik heb snel-snel wat bij elkaar geklikt (en afgerond), etc. maar een klein rekensommetje leert me dat ik er niet ver langs zal zitten. Ik kom aan hardware al makkelijk rond 60K en als je ook nog wat software licenties (Windows, MSSQL, MSA stuff en weet ik het wat) mee telt gaat het hard richting een ton (en "Monster inc." zal het ook niet voor nop allemaal zijn komen installeren, inrichten en whatnot).

En nee, ik heb geen zin in gezeur dat iets bij die-en-die goekoper is en blabla inkoop/verkoop of in/ex btw en ga zo maar door ;) Het zal allemaal best, ik probeer even een indruk te geven wat de upgrade ongeveer inhield.

Bedenk even dat deze hele 'constructie' nu dus in plaats is gekomen van het arme, arme servertje dat ik in deel 5 beschreef :X Goed, en wat heeft deze flinke investering ons allemaal opgeleverd? Ik hoor jullie popelen van ongeduld, want zo'n mooie blinkende stapel knipperende lampjes en blazende fans moet toch wel een huge-ass verbetering zijn op de oude situatie?

http://tweakers.net/ext/f/POJtcggEGCQVNQ3Tmd9gE3K6/full.jpgNatuurlijk was ik ook nieuwsgierig. En omdat ik niet van wachten houd was ik voornamelijk benieuwd naar "de eerste, algemene, indruk" van de hele situatie na upgrade. Details hoor ik daarna wel. Dus ik vraag hoopvol: "En? Is het een beetje sneller geworden?" maar aan de gezichtsuitdrukking van de systeembeheerder las ik al meer dan voldoende af. "Mwah, kan niet echt zeggen dat 't sneller is geworden" was z'n antwoord. Na even wat verder gepraat te hebben bleek dat de geplande "upgrade" die, volgens Monster inc., een weekend had moeten duren meer dan 3 weekenden had geduurd. Weet u nog? 24/7/365 Bedrijf :X Goed, downtime komt nou eenmaal voor (shit happens) en is niet altijd te voorkomen en mits goed ingepland moet dan altijd nog op z'n minst de schade te beperken zijn. Dat viel dus al vies tegen, want het duurde dus ruim 3x langer dan gepland.

Toen bleek ook nog dat er een week na de 'upgrade' een moederbord defect bleek te zijn van een MSA waardoor de productie weer geruime tijd (pin me d'r niet op vast, maar ik meen ruim een dag) had plat gelegen. Maar goed, maandagochtendmoederbordje geweest ofzo. Shit happens; kan iedereen overkomen; fabrieksfoutje. Toen werd ik benieuwd naar waar nu de bottleneck zat volgens de systeembeheerder. Gezien de MSA's en de shitload aan schijven en onderlinge "weet-ik-veel" supersnelle links tussen die MSA's en de servers gokte ik voorzichtig: "Hoe'st met de I/O load?". Grijns op het gezicht van de systeembeheerder. Daar kreeg 'ie toch wel een harde plasser van als ICT'er zijnde. Die was near zero. D'uh. Ik had niet anders verwacht. En dus gokte ik: "Laat me raden, het netwerk is de bottleneck?". Het antwoord was kort maar sprak boekdelen: "Onder andere ja". :X

http://tweakers.net/ext/f/Qprz7QlxRmKqs6VsMInAhuX3/full.jpgIk heb nog even doorgebabbeld en ik ken de exacte details niet meer allemaal maar ik weet wel nog dat een aantal weken geleden "spontaan" een tabel was verdwenen die uit een backup van oktober teruggehaald had moeten worden (ondanks de SQL replicatie naar een 'hot spare' server, een niet-te-zuinig tape station en weet-ik-het hadden zie de tabel uit het oude, arme, servertje gehaald). Ook weet ik nog dat "Monster inc." nu toch wel aardig zenuwachtig begon te worden van de toch wel héél boze klant en daadwerkelijk nu hard op zoek was naar zinnige(re) oplossingen. Ook hadden ze beloofd dat in de "eindejaars update" van het pakket al de nodige "SQL performance optimalisaties" waren uitgevoerd en dat ze in de "voorjaarsupdate van 2010" nog meer van die optimalisaties verwachtten uit te kunnen rollen.

Ondertussen is H&M gewend aan "downtime" (en dus productie op z'n gat) van gemiddeld een paar uurtjes per maand om willekeurige redenen, label-scanners die met regelmaat pas "reageren" na enkele minuten waardoor de productie vertraagt en systeembeheerders die zo nu en dan schreeuwend door de gangen rennen, hun haar uit hun kop plukkend. Ik heb ze dan ook een schouderklop gegeven (een knuffel was beter op z'n plaats geweest...maar dat doe je dan weer niet :P ) en gezegd dat ik met ze mee leef. En dat ik 't ze van harte gun dat 't vanaf nu alsmaar beter en beter wordt.

Maar ik eindig deze post toch écht met een "Told you so!".

http://tweakers.net/ext/f/HlH1aLkVto5YtJt0nH5QUmUz/full.jpg


P.s. Leuk spul, die DL380's. Ik heb er zelf ook één :Y) /patsmode

TwitterNuJIJeKudosFacebookFriendfeedGoogle BookmarksDiggdel.ici.ousTechnoratiSphinnMixxStumpleUponYahoo! BookmarksMaak je eigen RML op RobIII.nl!

Volgende: Fleur je winforms controls een beetje op 02-'10 Fleur je winforms controls een beetje op
Volgende: In het land der blinden... part 6 08-'09 In het land der blinden... part 6

Reacties


Door Tweakers user Motrax, woensdag 2 december 2009 08:44

Goed nagetrapt :+

Door Tweakers user mzziol, woensdag 2 december 2009 09:22

Het is weer heel leuk om te lezen :-). Bedankt voor de update, ik was al benieuwd hoe het af zou lopen.

Door Tweakers user Voxyn, woensdag 2 december 2009 09:39

Arme systeembeheerders daar ;( .
Loop een paar weken stage bij een bedrijf als systeembeheerder waar ook een gigantisch brak softwarepakket gebruikt word.
En als ik ze vertel dat ik systeembeheerder ben kijken ze me heel vies aan :P

Door Tweakers user _Apache_, woensdag 2 december 2009 09:40

Prachtig om te lezen! Ga door :)

Door Tweakers user Jrz, woensdag 2 december 2009 11:31

Laat me raden.. exact software :)

Door Tweakers user RobIII, woensdag 2 december 2009 12:07

Laat me raden.. exact software :)
Nope. Dat is nog een juweeltje vergeleken bij het gedrocht dat ik daar aantrof :X

Door Tweakers user LuckY, woensdag 2 december 2009 13:59

En nu maar hopen dat de update iets verbeterd :X

Wel grappig weer... we want more :+ !

[Reactie gewijzigd op woensdag 2 december 2009 13:59]


Door Tweakers user TerraGuy, woensdag 2 december 2009 15:32

Geweldig om te lezen. :D Als je meer hebt, inderdaad graag hier verhalen, want je steekt een hart onder de riem bij velen!

Heb ook iemand in de familie die zich ten doel stelt het beste voor elkaar te krijgen, maar steeds tegengewerkt wordt door regeltjes, bureaucratie en structuren. Die kan ook van die mooie verhalen vertellen van dat z'n adviezen in de wind worden geslagen en dat ze hem niet zo mogen, waarna het bedrijf tonnen danwel miljoenen verliest of misloopt 'omdat ze het nu eenmaal gewend zijn het op hún manier willen doen'. :z

Degene die de miskleun veroorzaakt is niet zelden degene die een dikke bonus ontvangt vanwege 'een goede deal' die meestal rampzalig uitpakt in een later stadium.

Door Tweakers user RobIII, woensdag 2 december 2009 15:44

In mijn ervaring zijn het vooral (niet altijd trouwens!) de "consultants" die minimaal 250 euro per uur vragen die de grootste fuckups maken en het belabberdste broddelwerk afleveren. Hoe duurder hoe knulliger. Maar tja, dat zijn nou eenmaal "enterprisey bedragen" voor "enterprisey oplossingen". En zo heb ik inderdaad nog wel wat verhalen. Maar die zijn voor later ;) Nu druk druk druk verder met mijn eigen devwerk :P

Door Tweakers user Convirion, donderdag 3 december 2009 10:02

Dit is een mooi blog, heb gisteren en vandaag heel je "in het land der blinden" doorgelezen en ik moet zeggen, dit komt best herkenbaar voor.

Anyway, keep it up! kijk nu al uit naar je volgende blogpost.

Door Tweakers user MAX3400, donderdag 3 december 2009 19:36

? Told you so?

Ik zal wel iets missen maar na het vluchtig doorbladeren van je vorige blogposts, vraag ik me af in hoeverre je daadwerkelijk kritiek kan/mag leveren of een ander vorm van humor kan bezigen over problemen waar je blijkbaar zelf niets aan doet? Of ben je wel degene geweest die heeft gebenchmarked, aangeraden, aangekocht en geconfigureerd tot het rack wat nu staat te draaien?

Door Tweakers user RobIII, donderdag 3 december 2009 20:03

Lees deel 5 en 6 eerst maar even goed dan ;)

Door Tweakers user i-chat, dinsdag 9 februari 2010 19:00

lol idd, echt een told you so moment - ik ben benieuwd naar hoe het verder gaat,
en eigenlijk ook wel hoe het bij gremlins.inc is, en bij desduivels.bv - kortom vertel ons ook eens over je ander avonturen ...

Door Tweakers user Evanescent, donderdag 25 februari 2010 01:15

Jezus wat moet dat frustrerend zijn! Ik ken het wel, als systeembeheerder, dat 'het bedrijf' lekker eigenwijs voor een gedrocht van een applicatie kiezen en dan bij ons komen zeiken dat het zo traag is. Dan is het inderdaad "Told you so!". Ga maar klagen bij de projectleiding.

Door Tweakers user HyperBart, maandag 3 mei 2010 16:54

Ik denk Duits, je gaat me toch niet wijsmaken dat het SAP was he ?

Door Tweakers user RobIII, maandag 3 mei 2010 20:56

Nee, maar wel in diezelfde orde van grootte ;)

Door Tweakers user MMaI, dinsdag 25 mei 2010 12:33

is het dan misschien een niet nader te noemen bedrijf uit Friedrichsthal? Combinatie reistijd + Duitsland deed me direct aan deze partij denken. Deze partij is namelijk ook gewipt uit een bedrijf binnen de productie sector waar ondergetekenden een tijdje heeft rondgelopen. (niet gewerkt, rondgelopen ;))

Door Tweakers user RobIII, dinsdag 25 mei 2010 12:40

Nope :P
Geilenkirchen en worldwide HQ in Willowbrook. En meer ga ik er nu echt niet meer over zeggen :Y)

Door Tweakers user MMaI, woensdag 26 mei 2010 01:18

RobIII schreef op dinsdag 25 mei 2010 @ 12:40:
Nope :P
Geilenkirchen en worldwide HQ in Willowbrook. En meer ga ik er nu echt niet meer over zeggen :Y)
volgens mij is dat niet eens in hetzelfde melkwegstelsel als SAP qua klantenbestand ;)

Door Tweakers user Harrstein, woensdag 16 maart 2011 02:50

bump.

nog wat gehoord van h&m?

Reageren is niet meer mogelijk