Auswahl der Ausrüstung für Enterprise Cloud Storage



    Daten sind die Grundlage eines jeden Geschäfts. Wenn ihr Speicherort nicht zuverlässig genug ist oder keinen ständigen Zugriff bietet, sind praktisch alle Aktivitäten des Unternehmens gefährdet.

    Natürlich ist es möglich und notwendig, die Sicherheit und Zugänglichkeit von Informationen durch die richtige Auswahl der Serversoftware und eine kompetente Konfiguration zu gewährleisten. Aber nicht weniger wichtig ist Eisen - Geräte, die Daten speichern und verarbeiten. Wenn es nicht den Anforderungen des Unternehmens entspricht, wird es durch keine Software ausreichend zuverlässig und fehlertolerant gemacht.

    In diesem Artikel werden wir einen der Ansätze zur Auswahl von Eisen für die Erstellung von Enterprise Cloud Storage betrachten.

    Warum ist die Wolke?


    Die Cloud-Infrastruktur bietet mehrere Vorteile:

    • Die Fähigkeit, schnell zu skalieren . Die Erhöhung der Speicherkapazität und Rechenleistung wird durch die schnelle Verbindung zusätzlicher Server und Speicher erreicht. Dies gilt insbesondere für Unternehmen, bei denen eine unregelmäßige Cloud-Auslastung angenommen wird.

    • Kostensenkung . Mit der Cloud können Sie ein einziges Center erstellen, in dem alle Computerprozesse ausgeführt werden. Um den Speicherplatz zu erhöhen, müssen Sie lediglich Laufwerke kaufen, ohne die Installation neuer Server organisieren zu müssen.

    • Vereinfachung von Geschäftsprozessen . Cloud-Speicher impliziert im Gegensatz zu lokalem Speicher die Möglichkeit eines ständigen Zugriffs darauf. Dies bedeutet, dass Sie zu jeder Tageszeit und von jedem Ort aus mit Dateien arbeiten können. Die Mitarbeiter werden in der Lage sein, die für die Arbeit notwendigen Informationen einfacher und schneller zu erhalten. Es wird möglich sein, Remote-Jobs zu organisieren.

    • Erhöhte Fehlertoleranz . Es liegt auf der Hand, dass die Sicherheit bei technischen Problemen höher ist, wenn die Daten auf mehreren Servern gespeichert sind, als wenn sie nur auf einer Maschine gespeichert wären.

    Warum meins?


    Derzeit gibt es viele öffentliche Cloud-Dienste auf dem Markt. Für viele kleine und mittlere Unternehmen sind sie wirklich eine gute Wahl, insbesondere wenn es um Dienstleistungen geht, bei denen nur die verwendeten Ressourcen bezahlt werden oder die Dienstleistung getestet wird. Der Cloud-Speicher bietet jedoch auch mehrere Vorteile. Es wird nützlich sein, wenn:

    • Die Aktivitäten des Unternehmens beschränken den Standort der Server . Russischer Staat. Institutionen sowie Organisationen, die an der Verarbeitung personenbezogener Daten beteiligt sind, sind gesetzlich verpflichtet, alle ihre Informationen auf dem Territorium der Russischen Föderation zu speichern. Dementsprechend ist es nicht möglich, fremde Server für sie zu mieten, und es ist im Allgemeinen sehr unerwünscht, vertraulichen Informationen an Auftragnehmer zu vertrauen. Durch die Einrichtung eines privaten Lagers können Sie die Cloud optimal nutzen, ohne gegen geltendes Recht zu verstoßen.

    • Eine vollständige Verwaltung der Sicherheitsrichtlinien ist erforderlich . Es ist unmöglich, genau zu wissen, wie der Datenschutz in Microsoft- oder Amazon-Diensten funktioniert. Um die Informationen so zu sichern, wie Sie es für notwendig halten, können Sie nur in Ihrer eigenen Cloud.

    • Einstellen der Ausrüstung für die sich nach oben . Beim Mieten muss man mit dem arbeiten, was der Anbieter anbietet. Wenn Sie jedoch über eigene Server verfügen, können Sie diese so konfigurieren, dass sie bestimmte Probleme speziell für Ihr Unternehmen lösen und die Software verwenden, die Ihrem IT-Team perfekt gehört.

    Geräteauswahl


    Beim Kauf von Cloud-Speichergeräten stellt sich häufig die Frage: Mieten Sie ein Auto oder kaufen Sie ein eigenes. Wir haben bereits herausgefunden, in welchen Fällen unser eigener Server unverzichtbar ist. Sie können jedoch eine Cloud für Dienste von Drittanbietern organisieren. Dies gilt insbesondere für kleine Unternehmen, da nicht immer der erforderliche Betrag aus dem Budget für den Kauf von Servern bereitgestellt werden kann, nicht immer ein eigener Serverraum erstellt werden kann und kein Geld für die Maschinenwartung aufgewendet werden muss.

    Wenn Sie sich dennoch dazu entschließen, Ihre eigenen Server für den Cloud-Speicher zu verwenden, sollten Sie berücksichtigen, dass das Ändern der Geräte problematisch und kostspielig sein wird. Es ist in Ordnung, wenn die Kapazität nicht ausreicht: Sie können dem Cluster jederzeit einen weiteren Computer hinzufügen. Wenn sich die Leistung jedoch als übermäßig herausstellt, kann damit nichts getan werden. Daher haben Sie die Wahl, Folgendes zu tun.

    Definieren Sie klar den Zweck, für den der Server verwendet wird . In unserem Fall ist dies eine Dateispeicherung. Dementsprechend sind Antriebe die interessantesten. Worauf Sie bei der Auswahl achten sollten:

    Kapazität. Dies hängt davon ab, wie viele Mitarbeiter den Speicher verwenden, welche Arten von Dateien sie auf den Server hochladen, wie viele Informationen bereits auf die Übertragung in die Cloud warten und wie stark das Volumen der Arbeitsdaten jährlich zunimmt.

    Das Arbeiten mit Textdateien, Präsentationen, PDFs und einer geringen Anzahl von Bildern erfordert durchschnittlich 10-15 GB pro Mitarbeiter. Um mit großen Mengen qualitativ hochwertiger Bilder und Fotografien arbeiten zu können, müssen Sie mindestens 50-100 GB oder mehr vergrößern. Die Anforderungen des Personals für die Video- und Audioverarbeitung können mehrere Terabyte pro Person erreichen. In einigen Fällen können beispielsweise bei Verwendung großer Unternehmenssoftwarepakete mit Unterstützung für versionierte Projekte etwa 10 Terabyte pro Cloud-Benutzer verwendet werden. Vergessen Sie nicht, die Kapazität für Sicherungsdateien und die unvorhergesehenen Bedürfnisse des Unternehmens zu berücksichtigen.

    In Bezug auf RAID-ControllerDann ist es für eine Unternehmens-Cloud besser, keine On-Board-Lösungen zu verwenden. Ihre Leistung reicht möglicherweise nicht aus, um eine große Anzahl von Anforderungen mit einer zufriedenstellenden Geschwindigkeit zu bearbeiten. Daher ist es besser, diskrete Modelle aus den unteren und mittleren Preisklassen zu wählen.

    Es ist auch notwendig, die Rechenleistung zu bestimmen . Wenn Sie einen Cloud-Speicher erstellen, der auf mehreren Servern basiert, wird empfohlen, identische oder sehr enge Konfigurationen auszuwählen. Dies erleichtert die Verwaltung des Lastenausgleichs. Im Allgemeinen ist es besser, nicht auf eine leistungsstarke Maschine zu setzen, die mit einem teuren Prozessor und RAM ausgestattet ist, sondern 2-3 Autos günstiger zu kaufen. Warum?

    Wenn Ihr Speicher nur statische Dateien ohne die Möglichkeit ihres Starts akzeptiert und ausgibt, ist die Prozessorleistung nicht allzu wichtig. Daher ist es besser, nicht die Anzahl der Kerne zu verfolgen und ein Modell mit einem guten "Takt" zu wählen. Von den günstigen Optionen sind die Intel Xeon-Prozessoren der E56XX-Serie mit 4 Kernen nicht schlecht, und Intel Core i5-Maschinen können von teureren Modellen empfohlen werden.

    Beispiele für Servermodelle


    Wenn Sie den Server nicht selbst erstellen möchten, sondern sofort einsatzbereite Geräte benötigen, sollten Sie auf mehrere geeignete Modelle für die Erstellung von Dateispeichern achten .

    Dell PowerEdge T110 . Der Server ist mit einem Intel Core i3 2120 Prozessor mit nur zwei Kernen ausgestattet, von denen jeder eine gute Taktrate von 3,3 GHz aufweist, was für unsere Cloud wichtiger ist. Die anfängliche Konfiguration des RAM ist nicht sehr groß - 4 GB, kann aber auf 32 GB erweitert werden. Der Server ist in zwei Ausstattungsvarianten erhältlich - ohne vorinstallierte Festplatte oder mit einem 1-TB-Festplattenlaufwerk und einer SATA-Schnittstelle.

    Lenovo ThinkServer RS140. Es verfügt über einen leistungsstarken Intel Xeon E3-Prozessor mit vier Kernen mit jeweils 3,3 GHz. RAM "out of the box" - 4 GB plus vier weitere Steckplätze für die Erweiterung. Ebenfalls enthalten sind zwei 1-TB-Festplatten mit einer SATA-Schnittstelle.

    HP ProLiant ML10 Gen9 . In vielerlei Hinsicht ähnelt es dem oben beschriebenen Modell - alle gleichen Intel Xeon E3- und Zwei-Terabyte-Festplatten. Der Hauptunterschied im RAM - der HP Server verfügt über zwei Platten mit jeweils 4 GB.

    Ist genügend Speicherplatz zum Speichern von Dateien vorhanden?


    Die Speicherkapazität ist der Eckpfeiler des Dateiservers. Nach der Beurteilung des gespeicherten Datenvolumens und der Wachstumsdynamik können Sie nach sechs Monaten zu dem unangenehmen Schluss kommen, dass Sie einen Fehler bei der Prognose gemacht haben und die Daten schneller wachsen als geplant.

    Bei der Speichervirtualisierung können Sie fast immer (mit einem vernünftigen Ansatz für die Speicherplanung) das Festplattensubsystem der virtuellen Maschine erweitern oder die LUN erhöhen. Bei einem physischen Dateiserver und lokalen Datenträgern sind Ihre Fähigkeiten wesentlich geringer. Trotz des Vorhandenseins von freien Steckplätzen für zusätzliche Festplatten im Server kann das Problem auftreten, Laufwerke auszuwählen, die für Ihr RAID-Array geeignet sind.

    Bevor Sie das Problem jedoch umfassend lösen, sollten Sie sich über die technischen Tools im Klaren sein, mit denen Sie dem Platzmangel begegnen können.

    NTFS-Datenträgerkontingente


    Einer der ältesten und zuverlässigsten Benutzereinschränkungsmechanismen sind Dateisystemkontingente.



    Indem Sie Kontingente für ein Volume aktivieren, können Sie die Anzahl der Dateien begrenzen, die jeder Benutzer speichert. Dateien, deren Eigentümer der Benutzer auf NTFS-Ebene ist, fallen unter das Benutzerkontingent. Der Hauptnachteil des Mechanismus besteht darin, dass erstens nicht so einfach festgestellt werden kann, welche Dateien zu einem bestimmten Benutzer gehören, und dass zweitens von Administratoren erstellte Dateien nicht in das Kontingent aufgenommen werden. Der Kontingentmechanismus wird in der Praxis selten verwendet. Er wurde fast vollständig durch den Ressourcen-Manager für Dateiserver ersetzt, der erstmals in Windows Server 2003 R2 verwendet wurde.

    Ressourcen-Manager für Dateiserver


    Diese Komponente von Windows Server ermöglicht Kontingente für Speicherplatz auf der Ebene eines bestimmten Ordners. Wenn Sie persönliche Basisverzeichnisse auf Dateiservern für Mitarbeiter sowie dedizierte Ordner für freigegebene Abteilungsdokumente auswählen, ist FSRM die beste Wahl.



    Kontingente allein erhöhen natürlich nicht den Dateispeicher. Die Benutzer sind jedoch in der Regel der gerechten (gleichen) Aufteilung der Ressourcen treu und im Falle eines Mangels bereit, kleine bürokratische Verfahren zur Erweiterung des Speicherplatzes zu überwinden.

    Kontingente helfen auch gegen Serverüberlastung, falls ein Benutzer versehentlich eine große Menge an Informationen platziert. Dies hat zumindest keine Auswirkungen auf andere Mitarbeiter oder Abteilungen.

    Darüber hinaus enthält FSRM einen Mechanismus zum "Prüfen" (Filtern) von Dateien, die auf dem Server gespeichert werden können. Wenn Sie sicher sind, dass MP3- und AVI-Dateien keinen Platz auf dem Dateiserver haben, können Sie verhindern, dass sie mit FSRM gespeichert werden.

    NTFS-Komprimierung


    Reguläre Dateien können von NTFS komprimiert werden. Unter Berücksichtigung der Leistung moderner Prozessoren verfügt der Server über genügend Ressourcen für diesen Vorgang. Wenn nicht genügend Speicherplatz vorhanden ist, können Sie diesen sicher für das Volume oder einzelne Ordner hinzufügen. In Windows Server 2012 wurde beispielsweise ein erweiterter Mechanismus eingeführt, mit dem die NTFS-Komprimierung auf Dateiservern für die meisten Szenarien der Vergangenheit angehört.



    Deduplizierung


    Windows Server 2012 bietet die Möglichkeit, Daten auf einem NTFS-Volume zu deduplizieren. Dies ist ein ziemlich fortschrittlicher und flexibler Mechanismus, der sowohl die Deduplizierung mit einem variablen langen Block als auch die effektive Komprimierung gespeicherter Blöcke kombiniert. Darüber hinaus kann der Mechanismus für unterschiedliche Datentypen unterschiedliche Komprimierungsalgorithmen verwenden. Wenn die Komprimierung nicht effektiv ist, verwenden Sie sie nicht. Solche Feinheiten sind für die herkömmliche Komprimierung mit NTFS nicht verfügbar.

    Darüber hinaus optimiert die Deduplizierung nicht die Dateien, mit denen Benutzer in den letzten 30 Tagen gearbeitet haben (dieses Intervall kann konfiguriert werden), um die Geschwindigkeit der Arbeit mit sich dynamisch ändernden Daten nicht zu verlangsamen.

    Sie können die potenzielle Zunahme des freien Speicherplatzes mit dem Dienstprogramm ddpeval auswerten. Bei einem typischen Dateiserver liegen die Einsparungen zwischen 30 und 50%.



    Dateiserverleistung


    Wie bereits erwähnt, ist ein Dateiserver nicht der ressourcenintensivste Dienst. Dennoch sollten Sie die Konfiguration von Festplatten- und Netzwerksubsystemen in angemessener Weise berücksichtigen.

    Festplattensubsystem
    Lineare Lese- oder Schreibgeschwindigkeiten sind für einen Dateiserver nicht kritisch. Jede moderne Festplatte zeichnet sich durch eine hohe lineare Lese- / Schreibgeschwindigkeit aus, ist jedoch nur in Fällen wichtig, in denen der Benutzer eine große Datei auf sein lokales Laufwerk kopiert oder sie umgekehrt auf dem Server ablegt.

    Wenn Sie sich die Statistiken von Perfmon ansehen, ist die durchschnittliche Lese- / Schreibgeschwindigkeit für 150-200 Benutzer recht niedrig und beträgt nur wenige Megabyte pro Sekunde. Spitzenwerte sind interessanter. Es sollte jedoch beachtet werden, dass diese Spitzen auch durch die Geschwindigkeit der Netzwerkschnittstelle begrenzt sind und für einen regulären Server 1 Gbit / s (d. H. 100 MB Austausch mit dem Festplattensubsystem) betragen.



    Im normalen Betrieb ist der Zugriff auf Dateien nicht linear. Es werden beliebige Blöcke von der Festplatte gelesen und geschrieben. Daher ist die Festplattenleistung bei Operationen mit wahlfreiem Zugriff, dh maximalem IOPS, kritischer.

    Für 150-200 Mitarbeiter sind die Indikatoren eher bescheiden - 10-20 Operationen der Eingabe-Ausgabe pro Sekunde mit einer Festplattenwarteschlange innerhalb von 1-2.



    Jedes Array von Standard-SATA-Laufwerken erfüllt diese Anforderungen.

    Für 500-1000 aktive Benutzer springt die Anzahl der Vorgänge auf 250-300, und die Festplattenwarteschlange erreicht 5-10. Wenn die Warteschlange diesen Wert erreicht, können Benutzer feststellen, dass der Dateiserver "verlangsamt".



    In der Praxis benötigen Sie bereits ein Array mit mindestens 3-4 typischen SATA-Laufwerken, um 300 IOPS-Leistung zu erzielen.

    In diesem Fall sollte man nicht nur die "Raw Performance" berücksichtigen, sondern auch die Verzögerung, die durch den Betrieb des RAID-Controllers entsteht - die sogenannte RAID-Strafe. Dieses Thema wird im Artikel https://habrahabr.ru/post/164325/ klar erläutert .

    Um die erforderliche Anzahl von Platten zu bestimmen, verwenden wir die Formel:

    Total number of Disks required = ((Total Read IOPS + (Total Write IOPS*RAID Penalty))/Disk Speed IOPS)

    RAID-5 mit einer Schreibstrafe von 4 Operationen, einem Leseprofil von 50%, einem Schreibzugriff von 50%, einer Festplattengeschwindigkeit von 75 IOPS und einer Zielleistung von 300 IOPS:

    (300*0,5 + (300*0,5*4))/75 = 10 дисков.

    Wenn Sie viele aktive Benutzer haben, benötigen Sie einen umfangreichen Server oder produktivere Datenträger, z. B. SAS mit einer Drehzahl von 10.000 U / min.

    Geschwindigkeit der Netzwerkschnittstelle
    Eine niedrige Geschwindigkeit der Netzwerkschnittstelle ist einer der Gründe für Verzögerungen bei der Arbeit mit einem Dateiserver. Im Jahr 2016 ist ein Server mit einer 100-Mbit / s-Netzwerkkarte Unsinn.

    Ein typischer Server ist mit einer Netzwerkkarte mit einer Geschwindigkeit von 1 Gbit / s ausgestattet, dies begrenzt jedoch auch die Plattenaustauschgeschwindigkeit von etwa 100 Mbit / s. Wenn der Server über mehrere Netzwerkkarten verfügt, können Sie diese (zusammengefasst) in einer logischen Schnittstelle kombinieren, um die Leistung und Verfügbarkeit der Cloud zu erhöhen. Die gute Nachricht ist, dass für einen Dateiserver („viele Clients greifen auf denselben Server zu“) die Aggregation gut funktioniert.

    Besitzer von HP Servern können das proprietäre Dienstprogramm HP Network Configuration Utility verwenden.



    Wenn Sie Windows Server 2012 verwenden, ist die Verwendung des standardmäßigen NIC Teaming-Tools eine einfachere und zuverlässigere Methode.



    In diesem Artikel erfahren Sie mehr über diese Einstellung und die Einzelheiten ihrer Verwendung in einer Hyper-V-Umgebung .

    Jetzt auch beliebt: