Drei Geschichte der Modernisierung im Rechenzentrum

Published on November 29, 2018

Drei Geschichte der Modernisierung im Rechenzentrum

    Hallo Habr! Dieses Jahr ist 10 Jahre her, dass unser erstes OST-1-Rechenzentrum eingeführt wurde . In dieser Zeit ist es uns mit Kollegen aus der Betriebs- und Kapitalbaudienstleistung gelungen, mehr als eine Modernisierung der Engineering-Infrastruktur des Rechenzentrums durchzuführen. Heute werde ich über die interessantesten Fälle erzählen.



    Der 200-Tonnen-Kran bringt den neuen Stulz-Kühler am Rahmen an. Modernisierung des Kühlsystems des OST-1-Rechenzentrums im Jahr 2015.

    Das Rechenzentrum ist ein lebendiger Organismus, es wächst, verändert sich, zerbricht :) Alles, was der Modernisierung zuzuschreiben ist, teile ich bedingt in:

    • planmäßiger Austausch und Reparaturen. Ausrüstung ist veraltet, ihre Lebensdauer läuft ab. Wir planen solche Arbeiten, planen sie und erledigen sie ohne Eile, wenn es für uns günstig ist (z. B. eine vollständige Aufrüstung der USV-Innenseiten oder der Austausch von Akkus).
    • Designfehler . Nach den Regeln von Uptime muss alles zur gleichen Zeit ausgegeben und beendet werden. Durch unsachgemäße Gestaltung kann das Gleichgewicht zwischen „Kälte - Elektrizität - Ort“ gestört werden, zum Beispiel: Es gibt Orte, an denen die Regale aufgestellt werden können, aber die Halle wird nicht mehr mit Elektrizität oder Klimaanlage versorgt. Das Unangenehmste an diesen Fehlern ist, dass sie nicht sofort angezeigt werden, sondern wenn sich das Rechenzentrum seiner Entwurfskapazität nähert.
    • ein Unfall. Es kommt vor, dass das Gerät dauerhaft, unwiderruflich und unerwartet beschädigt wird und ausgetauscht werden muss.

    Ich werde mich nicht mit geplanten Ersetzungen / Reparaturen befassen. Es ist fast alles in unserer Macht. Ich erzähle Ihnen drei Geschichten über Designfehler und Upgrades nach dem Absturz.

    Verlauf 1. Der Maschinenraum hatte nicht genug Kälte.


    Dies ist eine Geschichte über eine unserer ersten Hallen auf Borovaya. Es funktioniert immer noch Halle mit einer Auslegungskapazität von 80 Racks von 5 kW.

    Als die Halle voll war, reichte die Kälte nicht mehr aus: Die Temperatur in den kalten Gängen war höher als nötig, und es kam ständig zu lokaler Überhitzung. Erst später, auf der Höhe unserer Erfahrung, stellten wir fest, dass wir Fehler im Design gemacht hatten, und aufgrund dessen litt die Konditionierung.

    Fehler
    Das problem
    Eine lange Reihe von Racks - mehr als 20 in einer Reihe
    In der Mitte der Reihe stagnierte heiße Luft
    Niedrige Decken - bis zu 3 Meter
    Nicht genügend Platz für ausreichende Belüftung. Lokale Überhitzungszonen sind aufgetreten
    Niedriger Doppelboden mit viel Kommunikation darunter
    Störung der Zirkulation kalter Luft unter dem Doppelboden



    Die Reihe ist so lang, dass die Klimaanlagen am gegenüberliegenden Ende kaum sichtbar sind. Fotos von 2009.

    Wir haben damals keine "magische Pille" für diese Probleme gesehen und beschlossen, schrittweise und an allen Fronten zu handeln.

    Zuerst haben wir überprüft, ob alle Geräte korrekt installiert wurden und ob die Stecker in freien Einheiten sind. Wir überprüften auch die Anordnung der perforierten Fliesen und entfernten die überschüssigen, installierten zusätzlichen Luftführungen unter dem Doppelboden. Versucht, alle Löcher zu finden und zu verschließen, in denen kalte Luft entweichen könnte. Ich rate Ihnen auch zu überprüfen, ob Sie zwischen der Klimaanlage und der Wand haben. Ein Spalt von 5-7 cm ist schon viel.


    Dies ist das Ergebnis, das uns die einfache Platzierung von Steckern in freien Einheiten ermöglicht hat.

    Es wurde besser, aber nicht gut genug. Dann beschlossen wir, die kalten Gänge zu isolieren. Sie bauten das Dach, Türen aus Polycarbonat. Es stellte sich heraus, billig und fröhlich. Infolgedessen haben wir die parasitäre Vermischung von heißer und kalter Luft beseitigt und den Wirkungsgrad des Kühlsystems erhöht.


    Getrennter kalter Flur der gleichen Halle.

    Wir haben verstanden, dass dies für eine Weile ausreichen würde. Mit dem Anwachsen der IT-Last wird der Energiemangel wieder spürbar.

    Um dieses Problem zu lösen, wurde versucht, einen Freon-Conditioner hinzuzufügen, obwohl in der Halle an der Glykolkühlung gearbeitet wurde. Wir waren sehr besorgt über die Abmessungen der Klimaanlage (ob sie durch die Tür passt, ob der Drehwinkel ausreicht), und entschieden uns für ein Modell mit der Möglichkeit der teilweisen Demontage. Die Klimaanlage wurde nicht wie üblich von der Seite des heißen Korridors installiert, sondern dort, wo sie sich zusammendrücken konnte. Dies brachte uns 80 Kilowatt Kühlung.


    Dies ist der Emerson-Guttapercha-Conditioner.

    Die ganze Geschichte erwies sich als schwierig: Es musste herausgefunden werden, wie die Freon-Gleise zu den externen Einheiten geführt werden, wie die Klimaanlagen mit Strom versorgt werden und wo die externen Klimaanlagen aufgestellt werden. Das alles in einem Arbeitsraum.


    Nur um zu verstehen, wie wenig Platz da ist.

    Nach all diesen Manipulationen haben wir die lokale Überhitzung beseitigt, die Temperatur war gleichmäßig in den kalten und heißen Korridoren verteilt. Es stellte sich heraus, um die Kapazität der Halle zu erhöhen und dort deklarierte Fünf-Kilowatt-Racks aufzustellen.

    Die Moral dieser Geschichte ist, dass Sie keine Angst haben sollten, das Problem in kleinen Schritten zu lösen. An sich mag jede der Aktionen unwirksam erscheinen (und dann schien es uns), aber in der Summe ergibt sich das Ergebnis.

    Verlauf 2. Im Maschinenraum sind Klimaanlage und Stromversorgung vorbei.


    Die Maschinenhalle wurde vom Kunden für 100 Gestelle mit je 5 kW ausgelegt. Rackbreite 800 mm, in jeder Reihe 10 Racks. Dann änderte der Kunde seine Meinung, um anzurufen, und die Halle wurde auf einer gemeinsamen Basis übergeben. In der Lebensdauer der Rackbreite von 800 mm werden vor allem Netzwerkgeräte benötigt, für den Rest sechshundertstel. Infolgedessen bekamen wir anstelle von 10 Gestellen in der Reihe 13, und es war immer noch Platz. Aber Elektrizität und Kälte reichen nicht aus.  

    Im Zuge der Modernisierung wurde ein neuer Raum für zwei zusätzliche USV mit je 300 kW zugeteilt.



    Zusätzliche Verteilertafeln erschienen in der Halle.



    Neue Energie musste gleichmäßig verteilt werden. Um die neuen und alten Strahlen voneinander zu trennen, wurden separate Kabelrinnen unter dem Doppelboden verlegt. Einige der in Betrieb befindlichen IT-Geräte wurden durch abwechselndes Schalten jedes Stromversorgungsstrahls auf neue Schalttafeln umgestellt.

    Um das Problem des Kältemangels zu lösen, 1 zusätzliche Klimaanlage für 100 kW Kälte einsetzen.



    Während des Aufbaus, der Installation und der Inbetriebnahme aller Geräte arbeitete die Halle im normalen Modus weiter. Dies war der schwierigste Moment im Projekt.

    Als Ergebnis der Modernisierung haben wir eine Halle mit Strom und Kälte für weitere 30 Racks mit jeweils 5 kW hinzugefügt.


    Die Designkapazität und die Kapazität der Halle wurden um 30% erhöht.

    Geschichte 3. Über den Austausch von Kältemaschinen


    Ein bisschen Hintergrund. Alles begann im Jahr 2010, als 3 Kältemaschinen des OST-Rechenzentrums während eines Hurrikans schwer getroffen wurden . Dann musste ich, um zu überleben, mehrere Tage ohne Schutz Chiller fahren, und die Kompressoren fielen schnell aus. Ändern Sie sie zuerst.

    Die IT-Auslastung nahm zu, als das Rechenzentrum voll war und die Emicon-Kältemaschinen die angegebene Kühlleistung nicht erreichten. Im Jahr 2012 wurde ein zusätzlicher Hiref-Kühler im selben Hydraulikkreis installiert. Also lebten wir noch drei Jahre.

    Mit der Zeit verschärften Emicon-Kältemaschinen die Betriebsprobleme. Ihre Kraft war nicht genug, deshalb musste ich in der Hitze Wasser aus dem Kärcher gießen. Im Laufe der Jahre sind Wärmetauscher mit Kalkablagerungen überwachsen. In den Spalt zwischen dem freikühlenden Wärmetauscher und dem Freon-Kondensator wurden Pappelflusen und andere Abfälle gefüllt, die aufgrund der spezifischen Struktur der Wärmetauscher nicht entfernt werden können. Es bildeten sich echte Stiefel, die die Luft normalerweise nicht passierten.

    Im Jahr 2015 haben wir gerade eine Reihe von Stulz-Kältemaschinen für NORD-4 gekauft . Wir haben beschlossen, zwei von drei Emicon-Kältemaschinen für dieses Geschäft auszutauschen. Nun zu den Details.

    Einbau einer zusätzlichen Hiref-Kältemaschine ohne Nachrüstung von Pumpen.Die IT-Last wuchs und die Effizienz der vom Hurrikan betroffenen Kältemaschinen sank. Im Sommer reichte die Reserve kaum aus. Wir haben beschlossen, eine weitere Kältemaschine hinzuzufügen, um die Gesamtkapazität zu erhöhen. Zum Zeitpunkt der Arbeiten sollte das Kühlsystem weiterhin funktionieren. Das Schwierigste an dieser Operation ist die Organisation des Glykolkreislaufs. Wir haben eine Glykolbindung durchgeführt: Jeder neuen Kältemaschine wurde von jeder Kältemaschine ein Glykolring zugewiesen. Die Kältemaschinen wurden abwechselnd außer Betrieb genommen und die Glykolleitung zur neuen Kältemaschine gebracht.


    Fragment des Hydraulikkonzepts. Es zeigt, dass von jedem der drei Kältemaschinen Zweige zum neuen Kältemaschinen hergestellt wurden.

    Die Hauptaufgabe dieser Kältemaschine besteht darin, das Kühlsystem im Sommer zu unterstützen. Dank Hiref haben wir in den heißen Monaten eine garantierte Reserve von N + 1. Aber die in einem Hurrikan beschädigten Kältemaschinen fielen langsam in Ohnmacht, und wir mussten darüber nachdenken, sie auszutauschen.


    Der gleiche "Sommer" -Kühler Hiref.

    Emicon durch Stulz ersetzen. Es ist besser, solche Ersetzungen im Herbst oder Frühling vorzunehmen: Im Sommer ohne Reserve ist es absolut beängstigend, und im Winter ist es einfach unangenehm, Arbeiten auszuführen. Die Operation war für Februar / März geplant, die Vorbereitungen begannen jedoch im Oktober.

    Während dieser Vorbereitungsmonate haben wir neue Kabel verlegt, Abschnitte der Pipeline gekocht, einen Plan für den Einstieg in das Auto mit Ausrüstung entwickelt (wir arbeiten eng im Hinterhof zusammen) und den Bereich für den Einstieg des Krans geräumt. Die Kältemaschinen mussten in einem funktionierenden Rechenzentrum gewechselt werden und blieben etwa 1,5 Tage ohne Ersatzkältemaschine. In der Vorbereitungsphase haben wir Tests durchgeführt, um zu verstehen, wie sich das Rechenzentrum ohne Vorbehalt anfühlt, verschiedene Situationen durchdacht, in denen während der Arbeit etwas schief gehen könnte (zum Beispiel ein langer Stromausfall beim Austausch von Kältemaschinen), und einen Aktionsplan entwickelt . Hier ist eine kurze Chronik dieser Werke.
    Chiller kam nachts an. Nach dem erfolgreichen Eintreffen des Krans auf dem Territorium des Rechenzentrums konnte mit dem Trennen des alten Kühlers begonnen werden.  


    Der alte Kühler ist noch in Betrieb, während die Vorbereitungen laufen. Kochrahmen für die neue Kältemaschine.

    Dann musste ein Auto mit einer Kältemaschine zur unmittelbaren Arbeitsstelle fahren. Wir haben es, gelinde gesagt, eng. Ich musste schwitzen, um mich in all diesen schwierigen Kurven auf engstem Raum zurechtzufinden.





    Demontiert und in zwei Hälften zerlegt.



    Alte und neue Kältemaschinen unterscheiden sich in der Größe. Die Vorbereitung des Metallrahmens dauerte einige Zeit. Der Fall bleibt für den Aufstieg und die Installation der Kältemaschine.



    Im Hintergrund zeigt das Foto, dass die Glykolkonturabschnitte für die neue Kältemaschine parallelisiert werden.





    Nach der Installation auf dem Rahmen ist die gesamte Hydraulik montiert, die Kältemaschine wird an die Stromversorgung angeschlossen. Nachts ist der Druck erledigt. Am nächsten Tag erfolgt die Inbetriebnahme und Anbindung an das Überwachungssystem.

    Es dauerte weniger als zwei Tage, bis der Vorgang abgeschlossen war: Am Morgen wurde der alte Kühler ausgeschaltet und am Ende des nächsten Tages der neue Kühler eingeschaltet.

    Zwei Wochen später wurde der zweite Kühler gewechselt. Es scheint, dass es nur notwendig war, alles nach dem festgelegten Schema zu tun, aber etwas ist schief gelaufen. Es schneite die ganze Nacht. Zuerst musste ich Zeit damit verbringen, den Bereich zu räumen, damit der Kran herumkommen konnte. Wir begannen, die alte Kältemaschine zu zerlegen, als ein Auto mit einer neuen Kältemaschine zweihundert Meter vor uns kaputt ging. Der Punkt der Nichtrückgabe wurde bereits überschritten, und der Wagen hat den Schwenkmechanismus der Anhängerräder (Bedienfeld davon) unterbrochen.

    Es war nicht möglich, es vor Ort zu reparieren, sie fuhren für eine zusätzliche Fernbedienung, was am Samstag im Büro dieser Firma ein Wunder war. Mit der Fernbedienung gelang es, das Auto zu verschrauben. Infolgedessen haben wir mehr als 3 Stunden gebraucht, um eine Runde zu absolvieren. Mit all den Logistikarbeiten ging es bis in die Nacht. Es ist gut, dass wir uns die Beleuchtung für Arbeiten im Dunkeln ausgedacht haben. Der Rest der Arbeit ging in den normalen Modus über, und seit Montag arbeitet eine weitere neue Kältemaschine im Rechenzentrum.

    Im März dieses Jahres ersetzten meine Kollegen den dritten Kühler, den letzten der Überlebenden des Hurrikans. Jetzt arbeiten drei Kühler Stulz und ein Hiref an Borovaya. Dank einer solchen schrittweisen Modernisierung haben wir jetzt einen großen Vorrat an Kälte und haben keine Angst vor dem heißesten Wetter und Pappelflusen. Neue Chiller unterstützen den Freikühlmodus in einem größeren Temperaturbereich, verbrauchen weniger Energie und arbeiten sehr leise. Durch die getrennten Kompressorabteile sind sie auch sehr wartungsfreundlich: Reparaturen können durchgeführt werden, ohne den Kühler vollständig anzuhalten.