Transparenter Cloud-Tiered-Speicher mit Isilon CloudPools

Ursprünglicher Autor: Stefan Radtke
  • Übersetzung


Eine solche Möglichkeit besteht seit einigen Jahren in der Schaffung eines gestuften Speichers auf der Basis von EMC Isilon. Dies impliziert die Fähigkeit, Daten an bestimmte Speicherpools zu senden - ein Knotensystem, das auf der Grundlage von Einheitlichkeit oder Dichte kombiniert wird. Infolgedessen wird die Effizienz der Datenspeicherung in Bezug auf die Kosten erheblich steigen.

Sie können eine Richtlinie erstellen, nach der alle neuen Daten in Pool-1 gespeichert werden, der aus S210-Schnellknoten erstellt wird.



Die Reaktionszeit ist sehr kurz, aber die Kosten sind höher (schnellere Laufwerke, Prozessoren usw.). Als Nächstes können Sie eine Richtlinie der zweiten Ebene erstellen, z. B. "Verschieben Sie alle Daten, auf die seit mehr als 30 Tagen nicht mehr zugegriffen wurde, in Pool-2". Dieser Komplex kann aus X410-Knoten mit einer größeren Kapazität (36 SATA-Festplatten) und einer höheren Antwortzeit im Vergleich zu Pool-1 aufgebaut werden. Noch weniger benötigte Daten können bereits in Pool-3 verschoben werden, der aus HD400-Knoten mit einer sehr hohen Speicherdichte besteht - 59 SATA-Festplatten + 1 SSD pro 4U-Modul, aber die Antwortzeit ist noch länger als bei Tier 2. Aber seitdem Diese Ebene ist nur für sehr selten nachgefragte Daten vorgesehen und hat keinen großen Einfluss auf die Benutzer.

Das richtlinienbasierte Verschieben von Daten wird im Hintergrund mithilfe der OneFS-Engine ausgeführt. Dadurch wird der logische Speicherort der Dateien nicht geändert. Das heißt, Sie können einen Ordner erstellen, dessen Dateien sich in drei verschiedenen Repositorys befinden.

Pools und Lagerebenen


Dieselben Daten können verschiedene Phasen des Lebenszyklus durchlaufen: Rohdaten, Rohdaten, verarbeitet, Duplikate, Sicherung, Archivierung. Jede Stufe hat ihre eigenen Anforderungen an die Zugänglichkeit und Sicherheit von Daten. Im Gegensatz zu vielen anderen Speichersystemen, in denen verschiedene Arten von Informationen zusammen gespeichert werden, verwendet Isilon unterschiedliche Speicherebenen (Tier). Für jede Ebene werden bestimmte Richtlinien für die Trennung, Verarbeitung und Speicherung von Daten verwendet. Ein solcher Ansatz ermöglicht es, die Kosten für die Speicherung von Informationen in verschiedenen Phasen des Lebenszyklus zu senken, sie schneller zu verarbeiten und effizienter zu verwalten. Diese Aufgaben werden mithilfe von Speicherebenen erfüllt, die wiederum in höher spezialisierte Pools unterteilt werden können.


Ein einziges Dateisystem für alle Pools / Speicherebenen.

Heute gibt es verschiedene Arten von Pools:

  • S - schnell, entwickelt für Transaktionsberechnungen.
  • X - schnell, entwickelt für Streaming-Aufgaben.
  • NL - langsamer, um "warme" Archive zu erstellen.
  • HD - langsamer, entwickelt, um "kalte" Archive zu erstellen.

Eine fünfte Ansicht erschien ebenfalls - eine Wolke (extern oder intern).

Wie bereits erwähnt, besteht jeder Pool aus Knoten desselben Typs (tatsächlich können sie geringfügig variieren, dies geht jedoch bereits über den Rahmen des Beitrags hinaus). Wenn Sie einen sehr großen Cluster bereitgestellt haben, ist es ratsam, ihn in verschiedene Speicherebenen zu unterteilen. Jede Ebene enthält einen oder mehrere Pools. In einigen Fällen ist eine solche Aufteilung jedoch nicht erforderlich. Es kann durchaus sein, dass Ihre Richtlinien nicht das Vorhandensein von Pools oder Speicherebenen implizieren.

Politiker


Richtlinien für die Speicherebene können einfach über die WebUI, die CLI oder die API konfiguriert werden. Darüber hinaus können Sie als Kriterien beim Erstellen einer Richtlinie nicht nur die Häufigkeit des Zugriffs auf Dateien verwenden, sondern auch Dateitypen, deren Speicherort, Eigentümer oder andere Attribute. Die Benutzeroberfläche verfügt bereits über vordefinierte Vorlagen, die Sie verwenden können. Beispielsweise enthält die Archivvorlage Regeln, nach denen ältere Daten in den entsprechenden Speicher verschoben werden. Mit der ExtraProtect-Vorlage können Sie mit bestimmten Attributwerten (z. B. n + 3 anstelle von n + 2) ein höheres Maß an Dateischutz einrichten. Gleichzeitig ist die Verwendung der WebUI selbst sehr einfach und intuitiv.





CloudPools - Innovation in OneFS 8.0


Eine der interessanten Neuerungen in OneFS 8.0 war eine neue Art von Pool - Cloud. Verwenden Sie jetzt die Objekt-API, die unterstützt wird:


Die letzten beiden Produkte können dank der Unterstützung einer Reihe von Object REST-APIs zum Erstellen eines privaten Cloud-Archivs verwendet werden. Sie können wahrscheinlich mit der Einführung von Support für andere Cloud-Speicheranbieter wie Google und Virtustream rechnen .


Mit CloudPools können Sie ein einzelnes Dateisystem verwenden, um mit Cloud-Speicher zu arbeiten.

Cloud-Speichersicherheit


Angenommen, Sie richten eine Richtlinie ein, die Anforderungen für Dateien festlegt, die in die Cloud verschoben werden müssen. Zum Beispiel müssen Sie umziehen:

  1. Dateien größer als 5 MB -> UND
  2. Dateien in / ifs / data / stefan -> AND
  3. Dateien, die seit mehr als drei Monaten nicht mehr angefordert wurden.

Die Richtlinie wird gemäß dem Smartpools-Aufgabenplan angewendet. Wie bei allen anderen Aufgaben in OneFS werden die Planungs- und Ausführungssteuerung von der Job-Engine ausgeführt. Aufgaben können Priorität und Ausführungszeit zugewiesen und je nach aktueller Situation angehalten werden.



Sobald Smartpools gestartet werden (z. B. jeden Tag um 22:00 Uhr), werden alle Ordner und Dateien mit den aktuellen Richtlinien überprüft und diejenigen in die Cloud verschoben, die die angegebenen Kriterien erfüllen.

Das lokale Dateisystem speichert Stub-Dateien mit drei Arten von Informationen:

  1. Datei-Metadaten (Erstellungszeit, letzte Zugriffszeit, Größe usw.)
  2. Ein "Link" zu Daten in der Cloud.
  3. Teil der ursprünglich zwischengespeicherten Daten.

Wie bereits erwähnt, gibt es aus Sicht des Benutzers oder der Anwendung keinen Unterschied zwischen einer „normalen“ Datei und einer Stub-Datei. Wenn Sie möchten, können Sie natürlich rechnen, aber wir werden ein anderes Mal darüber sprechen.

Rufen Sie Dateien aus dem Cloud-Pool und dem lokalen Cache auf


Wenn auf eine Stub-Datei zugegriffen wird, wird der entsprechende Inhalt aus der Cloud abgerufen und lokal auf einer SSD oder HDD zwischengespeichert. Diese Daten werden jedoch nicht für immer im Dateisystem gespeichert. Andernfalls könnte jeder Benutzer das gesamte lokale Dateisystem mit nur Anzeigebefehlen verstopfen, da die Speicherkapazität ein Mehrfaches der Größe des lokalen Dateisystems betragen kann. Daher kann nur ein Administrator oder Benutzer mit den entsprechenden Berechtigungen einigen Daten ein permanentes Cache-Attribut zuweisen. Das Verhalten des Caches selbst kann mithilfe der CloudPools-Einstellungen gesteuert werden. Beispielsweise können Sie einem Cluster Folgendes mitteilen:

  • Zwischengespeicherte oder nicht zwischengespeicherte lokal aufgerufene Daten.
  • Verwendete Cache Read Ahead-Mechanismen nur für die Daten, auf die der Zugriff zulässig ist, oder für vollständige Dateien.
  • Gespeicherte Daten für eine bestimmte Zeit (von Sekunden bis Jahren) im Cache.
  • Mit einer bestimmten Häufigkeit habe ich das verzögerte Schreiben in den Cache ausgeführt (dh wie oft der Cluster im lokalen Cache geänderte Daten in die Cloud schreiben soll).

Haltbarkeitsdatum


Die Haltbarkeit gibt an, wie lange archivierte Daten in der Cloud gespeichert werden, nachdem die Stub-Datei gelöscht wurde. Dieser Parameter kann für jede Richtlinie separat konfiguriert werden. Standardmäßig beträgt die Aufbewahrungsfrist eine Woche. Danach werden die entsprechenden Daten gelöscht. Darüber hinaus können Sie Folgendes konfigurieren:

  • Haltbarkeit für inkrementelle NDMP-Sicherung und SyncIQ. Dieser Parameter bestimmt, wie lange die Daten nach der Synchronisierung mit anderen Speichern mithilfe von SyncIQ oder nach einer Sicherung, die im Rahmen einer inkrementellen NDMP-Task durchgeführt wird, in der Cloud gespeichert werden. Standardmäßig beträgt die Haltbarkeit in diesem Fall 5 Jahre. Das heißt, nach dem Löschen der lokalen Stub-Datei kann diese mithilfe von NDMP oder SyncIQ wiederhergestellt werden, während die Daten für den angegebenen Zeitraum verfügbar sind.
  • Haltbarkeit für eine vollständige NDMP-Sicherung. Alles ist das gleiche wie im vorherigen Fall, nur für vollständige NDMP-Sicherungen.

Fazit


CloudPools ist ein praktisches Tool zum Erstellen von transparentem externem Tiered Storage aus dem horizontal skalierbaren Isilon-NAS-System. Derzeit werden zwei Cloud-Dienste von Drittanbietern und zwei externe Systeme (Isilon, ECS) unterstützt. Sicherlich wird die Liste der unterstützten Dienste und Systeme erheblich erweitert. Aus Sicht des Kunden ist die Datenübertragung transparent und die Sicherheit wird durch Verschlüsselung mit AES-256 gewährleistet. Mit anderen Worten, mit CloudPools können Sie ein skalierbares Multiprotokollsystem mit einer kurzen Antwortzeit implementieren, dessen Wachstumsgrenzen praktisch unbegrenzt sind.

Außerhalb des Umfangs dieser Veröffentlichung bleiben eine Reihe wichtiger Fragen offen. Beispiel: Leistung: Was passiert mit Stub-Dateien während der Sicherung und Replikation? Was ist mit Disaster Recovery, Zugriff auf Daten in CloudPools von verschiedenen Standorten aus, der schrittweisen Erstellung des CloudPools-Systems? Wir werden darüber in einer der folgenden Veröffentlichungen schreiben.

Jetzt auch beliebt: