Ricerca in FOLBlog

[SdSM] Non il pulsante ROSSO!

 Scritto da alle 00:15 del 16/07/2008  Aggiungi commenti
Lug 162008
 
closeQuesto articolo è stato pubblicato 9 anni 2 mesi 9 giorni giorni fa quindi alcuni contenuti o informazioni presenti in esso potrebbero non essere più validi. Questo sito non è responsabile per eventuali errori causati da questo problema.

10 Marzo 2008

Molti mi hanno chiesto quale fosse questa “storia Americana” a cui ho fatto riferimento nella storia precedente, per cui ho deciso che e’ buona norma se la metto per iscritto. Questa storia si riferisce al periodo di due anni fa’ (2006) quando ero in trasferta nel nostro ufficio di Washington DC.

E’ un tranquillo venerdi’, i CL si preparano per il weekend ed io pure, quando, improvvisamente, cade la connessione con i servers che sono alla co-locazione.

Dato che i computer sono stati spostati in co-locazione per ragioni di sicurezza e migliore gestione, risulta un po’ strano che di botto siano tutti irraggiungibili. Io per un po’ sospetto un qualche casino con la connessione internet dell’ufficio, ma no, non e’ quello il problema.

Dopo una mezz’ora ci decidiamo a chiamare la co-locazione, DaBoss (o colui che fa’ le veci del Boss) parla con il tizio alla reception, il quale sostanzialmente dice che hanno dei problemi con l’energia elettrica. Io domando se non hanno dei generatori. Comunque, dal telefono non si riesce a ricevere nessuna risposta. Dopo circa un’ora senza risposte e senza connessione, ci decidiamo a saltare in macchina ed andare a vedere di persona.

La Co-lo, solitamente deserta, rigurgitava di gente intenta a parlare al telefono con aria concitata, picchiare sulla tastiera o cercare qualcuno da picchiare con la tastiera. Noi controlliamo il nostro rack e scopriamo che:

  1. il firewall non si riavvia se gli stacchi la spina, ergo occorre che qualcuno vada li’ a schissare il bottone
  2. due dei dischi del server web sono TOFU
  3. il server di posta e’ fermo su “premere ok per controllare i dischi”.

Dato che i tipi della reception avevano attaccato fuori un cartello con su’ scritto “non domandateci niente riguardo il problema”, abbiamo deciso di riavviare i nostri server, ordinare due dischi nuovi e tornare in ufficio.

Una settimana dopo circa, abbiamo ricevuto una spiegazione relativa all’incidente.

Apparentemente, una impresa di costruzioni e’ occupata a costruire un hotel nelle vicinanze della colo. Sembra che quella mattina, un gruppo di nerboruti e rudi costruttori, abbia deciso di piantare nel terreno un robusto palo di acciaio (3 metri), direttamente attraverso il cavo da 45000 volts che alimenta la colo.

Fortunatamente per loro (e sfortunatamente per noi), la centralina di distribuzione ha rilevato che il cavo era praticamente cortocircuitato a terra ed e’ andata immediatamente in protezione. Quindi niente frittura mista di Uomini In Salopet.

Questo ha lasciato il centro senza corrente. Il centro ha, ovviamente dei generatori diesel, ma questi non partono istantaneamente, devono prima avviarsi, poi “sincronizzarsi” ed infine si collegano. Nel tempo necessario all’avvio e sincronizzazione, l’intero datacenter va’ a batterie.

L’imprevisto in quel caso e’ stato che uno degli “ingegnieri” del centro, preso dal panico, ha spinto il bottone sbagliato ed ha collegato i generatori direttamente alla linea elettrica esterna. Linea che era ancora cortocircuitata a terra. Il risultato e’ stato che i generatori sono andati anche loro in protezione e si sono immediatamente spenti.

Tutti hanno poi cominciato a correre intondo urlando molto a lungo e molto forte finche’ le batterie non sono andate completamente a zero e l’intero datacenter si e’ spento.

Ed e’ rimasto spento finche’ qualcuno con un pelo di sangue freddo non e’ andato a guardare il pannello di controllo ed ha deciso che “questo interruttore qui’ non dovrebbe essere sul ON ma sul OFF…”.

Il che mi ha lasciato piuttosto perplesso, voglio dire, non hanno mai fatto delle prove di avvio di questi generatori? E non spiegano al loro personale cosa dovrebbero fare nel caso in cui qualcuno tranci il cavo di alimentazione generale? Mi viene il dubbio di cosa altro questa gente non abbia mai provato.

Davide

legenda personaggi

[ratings]

Technorati Tags: Storie dalla Sala Macchine,humor

Articoli simili:

  • Facebook
  • Twitter
  • Delicious
  • StumbleUpon
  • Wikio
  • Reddit
  • Technorati
  • Segnalo
  • Live
  • Add to favorites
  • Email
  • RSS

 Lascia un commento

Puoi usare questi tag e attributi HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

(richiesto)

(richiesto)

Pinterest
EmailEmail
PrintPrint
%d blogger hanno fatto clic su Mi Piace per questo: