Besichtigung des Rechenzentrums NORD-4

    Heute machen wir einen Spaziergang durch das größte kommerzielle Rechenzentrum Russlands - NORD-4. Unterwegs erfahren Sie, wie alles im TIER III-Rechenzentrum funktioniert.



    Ein bisschen Geschichte


    Der Bau des Rechenzentrums begann im Sommer 2013 am Standort NORD an der Korovinsky-Autobahn in Moskau. NORD-4 ist nicht nur für DataLine, sondern für den gesamten russischen Markt für kommerzielle Rechenzentren zum größten Projekt geworden. NORD-4 befindet sich in einem separaten vierstöckigen Gebäude mit einer Gesamtfläche von 11.700 m². 8 Maschinenräume bieten Platz für einen Stand von 2016. Die Gesamtkapazität des Rechenzentrums beträgt 18 MW.

    Das Rechenzentrum zeichnet sich nicht nur durch seine Größe, sondern auch durch seine eingebettete Erfahrung aus. Wir selbst entwerfen, bauen und betreiben alle unsere Rechenzentren seit 2007, und NORD-4 war das siebte für uns.

    NORD-4 sollte schrittweise in Betrieb genommen werden, sodass das Rechenzentrum so konzipiert war, dass die Installation und Inbetriebnahme neuer Leitungen die Arbeit bereits laufender Hallen nicht beeinträchtigte.

    Im März 2015 wurde die erste Phase von NORD-4 in Betrieb genommen - 2 Hallen mit 252 Plätzen, im Dezember 2015 die gleiche Anzahl.

    Im Juni 2015 hat das NORD-4-Projekt die Zertifizierung des Uptime Institute nach dem TIER III-Designstandard bestanden , und im Februar 2016 haben wir das fertige Objekt ( TIER III-Einrichtung ) zertifiziert .

    Die nächsten beiden Phasen des Rechenzentrums für 1008 Plätze werden 2017 gestartet.


    Die NORD-4 befindet sich im Norden von Moskau an der Korovinsky-Autobahn 41.

    Physische Sicherheit


    Am Eingang des Rechenzentrums werden wir von einem 24-Stunden-Sicherheitsposten empfangen. Wie alle unsere Rechenzentren ist NORD-4 eine sensible Einrichtung, sodass Sie nur mit einem Personalausweis und einem Antrag auf Ausweis eines Mitarbeiters eines Rechenzentrums hinein gelangen können.



    Alle Räumlichkeiten und das Territorium des Rechenzentrums werden durch Kameras der internen und externen Überwachung betrachtet. Ein Bild von dem, was in NORD-4 passiert, wird rund um die Uhr auf Sicherheitsmonitoren übertragen. Alle Videos werden aufgezeichnet und 3 Monate lang gespeichert, falls Sie Ereignisse vergangener Tage wiedergeben müssen.





    Also machten wir uns mit einem Pass auf den Nacken, Überschuhen an den Füßen und in Begleitung eines diensthabenden Ingenieurs auf den Weg, um die NORD-4 zu erkunden. Auf das Rechenzentrum selbst kann nur über ein spezielles Fach zugegriffen werden - das Gateway. Dies ist eine Art doppelte Barriere, damit eine Person nicht ohne Ausweis in das Rechenzentrum gelangt. Das Gateway funktioniert so: Der Besucher beantragt den Zugang zum ACS-Lesegerät (Zutrittskontroll- und -verwaltungssystem), betritt das Gateway und schließt die Tür hinter sich. Danach wiederholt er dieselben Aktionen mit der zweiten Tür, die zum Rechenzentrum führt. Wenn eine Person ohne Ausweis im Tor auftaucht, blockiert der Wachmann ihn und die zweite Tür öffnet sich nicht.



    Maschinenräume


    Jeder Maschinenraum befindet sich mit Dach und Wänden in einem separaten Container. Diese inneren Gebäude werden hermetische Zonen genannt. Sie schützen vor Undichtigkeiten, Staub in den Maschinenräumen und bieten den gewünschten Feuerwiderstand.

    Bei der Auslieferung des Rechenzentrums wird das Dach der Sicherheitszone vom Betriebsservice großzügig mit Wasser überschüttet und auf Undichtigkeiten überprüft. Für diesen Test und reale Überschwemmungen ist die Entwässerungszone sogar in der Sicherheitszone vorgesehen.



    Jeder Maschinenraum hat eine Fläche von 500 Quadratmetern. m und hält 252 Gestelle. In 4 Laufhallen arbeiten bereits 389 Regale.



    Alle Racks mit Server- und Telekommunikationsausstattung werden auf einem 800 mm hohen Doppelboden aufgestellt. Die Hauptfunktion des Doppelbodens ist die Zufuhr von Kaltluft zu den Regalen. Unter dem Doppelboden befinden sich Stromschienen, über die die Regale, Leck- und Rauchsensoren sowie Feuerlöschspritzen mit Strom versorgt werden.



    Der zweite Satz von Rauchmeldern und Löschmittelsprays befindet sich unter der Decke der Halle. Rote Rohre sind ein Brandfrüherkennungssystem (VESDA). Sie "schnüffelt" ständig in der Luft und fängt den geringsten Rauch ein.



    Es gibt auch Lautsprecher zur Warnung vor Evakuierung im Brandfall.



    Im Brandfall wird Novec-Löschmittel durch die gelben Rohre an der Decke in die Maschinenräume gepumpt.



    CCTV-Kameras werden am Anfang und am Ende jeder Reihe von Racks in SCS-Fächern installiert. Separate 2 Kameras zeichnen auf, wer die Halle betritt und verlässt.



    Wenn Kunden einen zusätzlichen physischen Schutz benötigen, platzieren wir ihre Gestelle in speziellen Zellenkäfigen. Im Käfig ist ein eigenes ACS installiert. Identifikationssysteme können unterschiedlich sein: Magnetkartenleser, Fingerabdruck, Netzhaut. Im Inneren können Sie zusätzliche Überwachungskameras, Lautstärke- und Bewegungssensoren aufhängen.



    Stromversorgung


    Das Rechenzentrum verfügt über 4 unabhängige Energiezentren. Jedes Power Center verfügt über 2 Eingänge aus dem Stadtstromnetz, 2 Abwärtstransformatoren, 4 Dieselgeneratoren (DGU) und 11 unterbrechungsfreie Stromversorgungen (UPS). Jede Energiezentrale versorgt 2 Maschinenräume und die darin installierte technische Ausrüstung.



    Die Verteilung des Stroms im Rechenzentrum sieht ungefähr so ​​aus: Zwei-Strahl-Strom aus dem Stadtnetz wird an Abwärtstransformatoren und dann an das Hauptverteilungsfeld geliefert.

    Alle kritischen technischen Geräte verfügen über zwei Energiestrahlen. Alle Computergeräte sind über unterbrechungsfreie Stromversorgungen (USV) mit zwei unabhängigen Strahlen verbunden.

    Wenn die Stromversorgung in der Stadt unterbrochen wird, überträgt die USV ihre Last automatisch auf die Batterien. Gleichzeitig gibt das Automatisierungssystem den Befehl, den Dieselmotor zu starten. Sie benötigen ungefähr eine Minute, um die Betriebsleistung zu erreichen. Danach wird das Rechenzentrum von einem Dieselgenerator und nicht von Batterien gespeist. Akkulaufzeit bei voller Ladung - 15 Minuten.

    NORD-4 verfügt über 44 MGE Galaxy 7000. Die USVs sind in einem 2N-Stromkreis reserviert.



    So sehen die Batterien aus, durch die die USVs das gesamte Rechenzentrum versorgen, während die DGUs anlaufen.



    In NORD-4 setzen wir den FG Wilson mit einer Leistung von 1750 kW ein. Redundanz N + 1: Für den Betrieb einer Energiezentrale reichen drei Dieselaggregate, ein Backup.



    Auf dem Gebiet von NORD-4 wurde ein unterirdischer Kraftstoffspeicher für 100 Kubikmeter eingerichtet. m) Von dort wird den Vorratsbehältern der DGU automatisch Kraftstoff zugeführt. Das Rechenzentrum kann aus eigener Kraft und ohne Strom aus der Stadt mehr als einen Tag arbeiten.


    Die Kraftstoffspeicherleitungen, über die Kraftstoff in das Dieselaggregat gelangt, sind gemäß dem 2N-Schema reserviert .

    Alle zwei Wochen testen wir das Stromversorgungssystem: 1 Stunde lang schalten wir einen Stromversorgungsstrahl aus und überprüfen den Betrieb von Dieselgeneratoren, Automatisierung, USVs, Überwachungssystemen und die Ausbildung von Dienstingenieuren.



    Kalte Versorgung


    In Nord-4 haben wir uns mit Ethylenglykol und Wasser auf einem Kühlkreislauf niedergelassen. Innengeräte von Klimaanlagen befinden sich in Maschinenräumen und Energiezentren, Kältemaschinen arbeiten auf dem Dach, Automatisierungs- und Steuerungssysteme, Wärmetauscher, Wasserkreislaufpumpen und Speichertanks befinden sich auf der technischen Etage.

    Ethylenglykol zirkuliert im Kreislauf, der sich mit Kältemaschinen auf dem Dach befindet. Bei Minusgraden gefriert es nicht. Im Rechenzentrum fließt Wasser durch die Rohre des Kühlsystems.


    Technischer Boden mit Rohrleitungskühlung .

    Wenn Ethylenglykol wärmer als Außenluft ist, leitet das Kühlsystem unnötige Wärme ab, ohne die Kompressoren einzuschalten. Diese Art der freien Kühlung aufgrund der „Straße“ wird freie Kühlung genannt. NORD-4 schaltet auf volle Freikühlung um, wenn es + 13 ° C und niedriger auf der Straße ist, und auf teilweise Freikühlung bei Temperaturen von + 14 bis + 20 ° C.

    Bei freier Kühlung ist die Stromversorgung der Kälteanlage wesentlich günstiger: Wenn die Klimakompressoren ausgeschaltet sind, verbrauchen nur Lüfter und Pumpen Strom. Spart bis zu 85% Strom.

    Auf dem NORD-4-Dach sollen laut Projekt 14 Kältemaschinen der Marke Stulz CyberCool-2 installiert werden. Jetzt funktioniert 7, da nur die Hälfte des Rechenzentrums läuft. Redundanzstufe N + 2.



    Jeder NORD-4-Maschinenraum wird von 14 Stulz-Klimaanlagen gekühlt. Wenn Sie in die Klimaanlage schauen möchten, klicken Sie hier .



    Von der Klimaanlage gelangt die gekühlte Luft unter den Doppelboden und durch die perforierten Fliesen des Doppelbodens in den kalten Korridor. Von dort wird kalte Luft vom Gerät angesaugt. Warme Luft wird aus dem Gerät in den heißen Korridor geblasen und zur Klimaanlage zurückgeführt. Dieses Schema wird als "kalte und heiße Korridore" bezeichnet.
    Im kalten Korridor wird die Temperatur auf 25 ° C (± 2) gehalten, im heißen auf 10-15 Grad. Luftfeuchtigkeit - 30-70%.



    So bewegen sich Kalt- und Warmluft im Maschinenraum nach dem Prinzip der „Kalt- und Warmluftkorridore“.

    Einer der kalten Gänge der Whisky Hall.



    Alle Kältekomponenten sind gemäß dem N + 1- oder N + 2-Schema reserviert: Jeder Kühler, jede Klimaanlage, Pumpe, jeder Wärmetauscher und jedes Rohr können zu Reparatur- oder Wartungszwecken abgeschaltet werden, ohne den Betrieb des gesamten Systems zu unterbrechen.



    Brandschutz


    Im 1. Stock der NORD-4 befindet sich eine Feuerlöschstation mit Zylindern mit Novec. Diese Substanz hinterlässt beim Sprühen Ausrüstung und sogar Papier trocken. Aus diesem Grund wird Novec auch als „trockenes Wasser“ bezeichnet. Einige Handwerker adaptierten diesen Stoff zur Flüssigkeitskühlung von Servern .



    Das System ist automatisch, aber wir bedienen es im halbmanuellen Modus: Die Automatisierung funktioniert nur, wenn Personen aus brandgefährdeten Räumen evakuiert werden. Wenn Rauch auftritt, wird ein Sensor ausgelöst, der ein Signal an den Wachposten sendet, das den Ort des Feuers anzeigt. Um zu verhindern, dass Novec falsche Positivmeldungen ausgibt, überprüft ein Wachmann den Problemraum. Gleichzeitig heult in allen Räumlichkeiten des Rechenzentrums eine Sirene und fordert alle auf, das Rechenzentrum zu verlassen. Während der Evakuierung ist das ACS an allen Türen ausgeschaltet, damit die Personen das Gebäude schnell verlassen können.

    Wenn es immer noch brennt, prüft der Wachmann, ob noch Personen im Haus sind, schließt die Zimmertür und schaltet die Automatik ein. Nach 45 Sekunden betritt Novec den Raum. Nach 2-3 Minuten überprüfen zwei Sicherheitspersonal in Gasmasken (einer betritt die Halle, der andere versichert am Eingang), ob das Feuer beseitigt wurde.

    Durch diese Rohre stürzt sich Novec in die Maschinen- und Technikräume. Die Feuerlöschanlage ist nach dem 2N-Schema reserviert.



    Überwachungszentrum


    Alle Informationen über den Zustand der technischen Infrastruktur von Rechenzentren werden in einem einzigen Überwachungssystem gesammelt. Jedes Rechenzentrum verfügt über eine Betriebszentrale mit einer Videowand, in der detaillierte Informationen zu diesem Rechenzentrum in Form von visuellen Diagrammen, Tabellen und Grafiken angezeigt werden. Das System wurde auf der Basis von Nagios- und Cacti-Software eigenständig erstellt. Stellen Sie sicher, dass Sie in zukünftigen Beiträgen ausführlicher darüber sprechen.

    In der Betriebszentrale des Rechenzentrums arbeitet eine Schicht von Ingenieuren rund um die Uhr. Zu jedem Zeitpunkt befindet sich mindestens ein Techniker hinter der Videowand. Die Mitarbeiter überwachen die wichtigsten Vitaldaten des Rechenzentrums und bearbeiten Vorfälle mit Kunden und Infrastruktur.
    In NORD-4 überwachen wir 1785 Objekte und 15.200 Parameter der technischen Infrastruktur. Hier sind die wichtigsten:

    Ausrüstungszustand(Ein / Aus, Fehler, Laden, Betriebsparameter): Klimaanlagen, Kältemaschinen, Schalttafeln, Pumpen, Dieselaggregate, USV, Batterien, Lecksensoren usw.

    Klimatische Bedingungen : Temperatur und Luftfeuchtigkeit in Maschinenräumen und Infrastruktureinrichtungen, Leckagesensoren, Glykoltemperatur.
    Der NORD-Standort verfügt sogar über eine eigene Wetterstation. Die gesammelten Wetterstatistiken helfen uns, die Belastung der Kälteanlage vorherzusagen.

    Stromversorgung (Spannung, Ströme, Frequenz, Einschaltstrom-Analysatoren): Eingänge, Haupt- und Zwischenschalttafeln, ATS und PDU in Racks.

    Physische Sicherheit : ACS, externe und interne Überwachungskameras.

    An der Videowand im Überwachungszentrum werden wichtige Parameter angezeigt, die die Funktionsfähigkeit des Rechenzentrums bestimmen. Alle anderen Daten verbleiben in einem einzigen Überwachungssystem und gelangen nur bei Störungen auf einen speziellen Videowandmonitor.


    Wenn Sie in diesem Schaltplan einen Stromstrahl ausschalten, sehen wir, ob die USV mit Strom versorgt wird, der Batteriestand und der Dieselgenerator angelaufen sind oder die Temperatur im Raum angestiegen ist.

    Jetzt funktioniert nur noch ein Teil des Rechenzentrums, sodass die Videowand im Kundencenter bislang bescheidener aussieht als in unseren anderen Rechenzentren.



    Zum Vergleich: Dies ist das Kundencenter des NORD 2-Rechenzentrums.


    Neben der automatisierten Überwachung durchlaufen die Einsatzingenieure zweimal täglich alle Maschinenräume und Infrastruktureinrichtungen mit elektronischen Checklisten. Wenn ein Client-Gerät nicht richtig angeschlossen ist , eine Glühbirne im Korridor durchbrennt oder ein Kreuz falsch verlegt ist, wird dies auf einem Umweg als Ereignis im Ticket-System vermerkt und abgewickelt. Für die nächste Schicht und den Produktionsleiter werden die Überprüfungsergebnisse in Form eines automatisch generierten Berichts geliefert.

    Einige der Parameter von technischen Systemen, leiten wir die Website unter Rechenzentrum-Linie und mobiles DataLine4All App für Android und iOS-Geräte . Ausführlichere Informationen stehen Kunden des Rechenzentrums im persönlichen Konto zur Verfügung.

    Bequemlichkeit für den Betrieb


    Zum Schluss noch wichtige Kleinigkeiten, die das Arbeiten in NORD-4 noch komfortabler machen.
    Abladebereich. Alle Geräte gelangen über ein spezielles Fach in das Rechenzentrum. Der Hubtisch hilft beim Entladen von Kisten mit Geräten von LKWs jeder Höhe.



    Für den Transport der Geräte zu den Maschinenräumen im 2. und 3. Stock stehen 2 Lastenaufzüge von 5 Tonnen zur Verfügung.



    Abgeschlossene Schließfächer sind auf Böden mit Maschinenräumen zur Aufbewahrung von Kundenwerkzeugen, Ersatzteilen und anderen kleinen Gegenständen installiert. So können Kunden ihre Schätze bequem aufbewahren, ohne Regale zu verwenden.



    Wir haben uns alle wichtigen Infrastruktureinrichtungen des NORD-4-Rechenzentrums angesehen. Stellen Sie Fragen in den Kommentaren, wenn Sie weitere Details wünschen. In einem der Seminare in unserem kostenlosen Kurs „Management der Rechenzentrums-Engineering-Infrastruktur “ können Sie sich das funktionierende Rechenzentrum ansehen und nützliche Kenntnisse über den Betrieb des Rechenzentrums erwerben . Senden Sie eine Bewerbung auf der Website , warten Sie auf unsere Bestätigung und kommen Sie.
    In den nächsten Beiträgen werden wir detailliert darauf eingehen, wie die Stromversorgung im Rechenzentrum angeordnet ist.


    Jetzt auch beliebt: