NetApp StorageGrid-Objektspeicher

    In diesem Artikel gehe ich auf das traditionelle FAS-Thema ein und beschreibe das Thema Objektspeicherung auf NetApp StorageGrid WebScale-Systemen. Kurz gesagt, der Objektspeicher ist neben NAS und SAN der dritte Speichertyp. Stellen Sie sich vor, dass jede Datei aus Daten und Metainformationen besteht (Eigentümer, Rechte, Änderungszeit usw.), sodass Sie durch die Objektspeicherung diese Teile trennen und in Form von "Schlüssel / Wert" speichern können. Dieser Ansatz zur Informationsspeicherung eröffnet die Möglichkeit einer dezentralen, verteilten Speicherung großer Datenmengen mit transparenter Datenmigration, Replikation und transparentem Umschalten von Endbenutzern zwischen Knoten eines Objektclusters. Im weiteren Sinne kann die Objektspeicherung sowohl auf Geräteebene (Festplattenebene) als auch auf Verwendung spezieller SCSI-Befehle (Object-based Storage Device Commands) und auf der Ebene des Zugriffsprotokolls auf das Speichersystem, das aus mehreren Platten besteht (die wiederum keine Objekte sein müssen). In beiden Fällen wird Ethernet für die Verbindung und das IP-Protokoll für die Datenübertragung verwendet. Ein Beispiel für die Implementierung von Objektspeicher auf Geräteebene sind die Festplatten der Seagate Kinetic Open Storage-Plattformlinie. Ein Beispiel für Cloud-Speicher ist Microsoft Azure BLOB, Amazon S3. In diesem Artikel werde ich mich auf Objektspeichersysteme konzentrieren, die auf Ihrer Site bereitgestellt und bei Bedarf mit der Cloud verbunden werden können. S3-, SWIFT- und CDMI-Objektprotokolle haben große Popularität erlangt. Alle sind Add-Ons über HTTP. die aus mehreren Platten besteht (die wiederum überhaupt kein Objekt sein müssen). In beiden Fällen wird Ethernet für die Verbindung und das IP-Protokoll für die Datenübertragung verwendet. Ein Beispiel für die Implementierung von Objektspeicher auf Geräteebene sind die Festplatten der Seagate Kinetic Open Storage-Plattformlinie. Ein Beispiel für Cloud-Speicher ist Microsoft Azure BLOB, Amazon S3. In diesem Artikel werde ich mich auf Objektspeichersysteme konzentrieren, die auf Ihrer Site bereitgestellt und bei Bedarf mit der Cloud verbunden werden können. S3-, SWIFT- und CDMI-Objektprotokolle haben große Popularität erlangt. Alle sind Add-Ons über HTTP. die aus mehreren Platten besteht (die wiederum überhaupt kein Objekt sein müssen). In beiden Fällen wird Ethernet für die Verbindung und das IP-Protokoll für die Datenübertragung verwendet. Ein Beispiel für die Implementierung von Objektspeicher auf Geräteebene sind die Festplatten der Seagate Kinetic Open Storage-Plattformlinie. Ein Beispiel für Cloud-Speicher ist Microsoft Azure BLOB, Amazon S3. In diesem Artikel werde ich mich auf Objektspeichersysteme konzentrieren, die auf Ihrer Site bereitgestellt und bei Bedarf mit der Cloud verbunden werden können. S3-, SWIFT- und CDMI-Objektprotokolle haben große Popularität erlangt. Alle sind Add-Ons über HTTP. Ein Beispiel für die Implementierung von Objektspeicher auf Geräteebene sind die Festplatten der Seagate Kinetic Open Storage-Plattformlinie. Ein Beispiel für Cloud-Speicher ist Microsoft Azure BLOB, Amazon S3. In diesem Artikel werde ich mich auf Objektspeichersysteme konzentrieren, die auf Ihrer Site bereitgestellt und bei Bedarf mit der Cloud verbunden werden können. S3-, SWIFT- und CDMI-Objektprotokolle haben große Popularität erlangt. Alle sind Add-Ons über HTTP. Ein Beispiel für die Implementierung von Objektspeicher auf Geräteebene sind die Festplatten der Seagate Kinetic Open Storage-Plattformlinie. Ein Beispiel für Cloud-Speicher ist Microsoft Azure BLOB, Amazon S3. In diesem Artikel werde ich mich auf Objektspeichersysteme konzentrieren, die auf Ihrer Site bereitgestellt und bei Bedarf mit der Cloud verbunden werden können. S3-, SWIFT- und CDMI-Objektprotokolle erfreuen sich großer Beliebtheit. Sie sind alle Add-Ons über HTTP.



    Die Geschichte


    Anfänglich wurde StorageGRID für das Gesundheitswesen entwickelt, da die Lagerung von Millionen großer und kleiner Objekte eine spezielle Lösung erforderte. Große Hersteller von medizinischen Geräten wie Siemens, AGFA und andere wichtige PACS- Systeme unterstützen die Möglichkeit, Objekte direkt an StorageGRID zu senden. Dieser Ansatz ermöglichte die Implementierung eines zuvor unmöglichen Szenarios für die Speicherung von Dateien, z. B. wenn ein Arzt in den letzten 10 Jahren Patientendaten abrufen muss, obwohl der Patient von Minnesota nach Los Angeles gezogen ist. StorageGRID ist in der Gesundheitsbranche nach wie vor sehr beliebt, könnte jedoch auch in Cloud-Lösungen zum Speichern einer Vielzahl von Daten Anwendung finden.

    Die NetApp StorageGrid-Familie besteht aus zwei Vertretern:
    1. Net-Software, NetApp StorageGrid WebScale
    2. NetApp StorageGrid Appliance basierend auf der E-Serie - SG5660.

    Beide Optionen können gleichzeitig in einem Cluster vorhanden sein.


    Die erste Option besteht aus einem System mit zwei Controllern, wobei ein Controller ein Speicherknoten und der zweite ein Rechenknoten ist. Das heißt Das Gehäuse besteht aus zwei Controllern, dies ist jedoch kein Hochverfügbarkeitssystem an sich. Mindestens zwei solcher SG5660-Systeme (d. h. vier Controller) werden aus Gründen der Fehlertoleranz empfohlen. Zusätzlich zum SG5600 sind für eine Hardwarelösung mindestens 2 Server erforderlich, um die Gateway- und Admin-Knoten zu hosten.
    Die zweite Option (Software) kann als ESXi-Appliance oder als Docker-Image auf Basis von Debian Linux geliefert werden. In dieser Version können Sie eine reguläre E-Serie mit zwei Controllern und Hochverfügbarkeit mit Standard-Betriebssystem SANtricity und zusätzlich mindestens zwei Servern mit Storage-, Gateway- und Admin-Knoten verwenden. In der Softwareversion werden mehr Serverkapazitäten benötigt, da der Storage-Knoten (der ressourcenintensivste) auf dem Server enthalten sein muss.


    Das Wachstum unstrukturierter Daten gewinnt stetig an Dynamik. Beispiele für solche Datengeneratoren sind der wachsende IoT-Markt, Foto- und Videokameras mit beispielloser Auflösung und Bildqualität, medizinische Geräte und andere Geräte, die auf dem Markt erschienen sind. Um all diese Aufgaben abzuschließen, wurde StorageGrid von Grund auf neu entwickelt:

    Webdatenrepositorys
    • Für kleine Objekte mit extrem hohen Transaktionslasten
    • Milliarden von Objekten speichern

    Datenarchive
    • Große Objekte, geringe Transaktionslast
    • Langzeitspeicherung ohne hohe Reaktionsgeschwindigkeit

    Medien-Repositorys
    • Global verteilte, große Objekte
    • StorageGRID eignet sich hervorragend für das Gesundheitswesen
    • StorageGRID eignet sich auch sehr gut für Video-on-Demand-Aufgaben (VoD).
    • Stream Datenzugriff, hohe Bandbreite


    Hauptfunktionen von StorageGrid


    Ermöglicht die Verwaltung von geoverteilten unstrukturierten Daten. Verwaltungsrichtlinien für alle Standorte, an denen sich die StorageGrid-Clusterknoten befinden, über ein einziges Control Panel, sodass Daten dorthin abgerufen werden, wo sie benötigt werden. Es werden Bandbibliotheken und HTTP-ähnliche REST-Protokolle wie CDMI, S3 und Swift unterstützt, mit denen das System in Cloud-Anbieter integriert werden kann. Daten können nahtlos zwischen allen Ebenen verschoben werden: lokaler Speicher, Cloud und Bandbibliotheken.
    Speicher-Grid-Web-GUI



    Die Vorteile der StorageGrid-Plattform umfassen:
    • Unterstützung für alle gängigen Objektprotokolle
    • Skalierbarkeit auf 100 Milliarden Objekte (375 Millionen pro Knoten), 70PiB-Informationen (soft limit)
    • Verbreitung: bis zu 16 Standorte
    • Möglichkeit, Bandbibliotheken als Ebene zum Speichern von Datenarchiven zu verwenden
    • Wenn sich Richtlinien ändern, wird der Datenlebenszyklus automatisch an die Änderungen angepasst.
    • Eine der fortschrittlichsten ILM- Einstellungen (Data Lifecycle Policy ): Verteilen Sie Daten automatisch über lokale Ebenen (SSD, SATA, SAS, Band, Geo-EC), öffentliche Clouds (wie AWS S3) und zwischen Kundenstandorten. Die Datenverteilung kann auf der Grundlage von Informationen über die Datenkosten, den Sicherheitsbedarf, die Leistung, die Verfügbarkeit, die Netzwerkkosten und die Lebensdauer gespeicherter Daten erfolgen.



    Löschcodierung


    Nahezu alle Objektspeichersysteme können mehrere Kopien eines Objekts speichern (Replikation), wodurch Daten auf verschiedenen Knoten und Standorten dupliziert werden und somit Fehlertoleranz gewährleistet wird. Und Erasure Coding (EC) ist ein RAID-ähnlicher Mechanismus, der jedoch auf der Objektebene ausgeführt wird, die in mehrere Teile unterteilt ist, und nicht auf der Ebene ganzer Festplatten. EC ermöglicht deutlich weniger Speicherplatz und bietet einen Fehlertoleranzmechanismus.


    Geo-ec

    Geo Distributed Erasure Coding ist ein EC, bei dem sich die Teile eines Objekts, aus denen eine solche „RAID-Gruppe“ besteht, auf Systemen befinden können, die sich in verschiedenen Teilen der Welt befinden, zwei oder drei Kopien von Daten speichern und es Ihnen ermöglichen, unglaubliche Verfügbarkeitsindikatoren zu erzielen. Dies führt jedoch zu einer entsprechenden Menge Verkehr und Raum belegt. Hier hilft die geoverteilte Erasure Coding-Funktion, die es ermöglicht, Fehlertoleranz und Verfügbarkeit nicht zu verschlechtern und den belegten Platz erheblich zu reduzieren. Folgende EG-Regelungen stehen zur Verfügung:
    • 2 + 1 für drei Standorte
    • 4 + 2 für drei Standorte
    • 6 + 3 für drei Standorte
    • 9 + 3 für vier Standorte
    • 8 + 2 für fünf Standorte.


    Die Löschcodierung spart zum einen Speicherplatz und zum anderen zusätzlichen Aufwand bei der Berechnung der Prüfsumme und der Wiederherstellung des Objekts. Im Fall von Geo-EC erhöht sich beim Lesen eines Objekts auch die Antwortgeschwindigkeit, da das Lesen an zwei Standorten erfolgt. Das heißt EC sollte mit Bedacht verwendet werden, und später im ILM- Absatz werde ich Ihnen sagen, wie.

    Hierarchisches EC

    Mit StorageGrid können Sie Daten basierend auf den Richtlinien für Haltbarkeit und Fehlertoleranz verteilen. Die hierarchische Löschcodierung ermöglicht die automatische Ausführung der lokalen EC und der Geo-EC basierend auf diesen Richtlinien. Hierarchical EC eignet sich gut für Installationen mit mindestens drei Standorten, um den Ausfall eines gesamten Standorts zu verhindern.


    DDP - Local EC

    Dynamic Disk Pools (von StorageGrid WebScale als lokales EC verwendet) sind Hardwarefunktionen von NetApp E-Series, eine Art RAID, das wie normale RAID-Gruppen auf einem lokalen System erstellt wird. Mit DDP können Sie die Leistung nicht verlieren, wenn eine oder mehrere Festplatten lokal ausfallen (andernfalls werden Objekte von anderen Knoten oder Standorten abgerufen). Außerdem wird Energie- und Netzwerkverkehr (WAN / LAN) gespart: Datenzugriff und Wiederherstellung werden lokal durchgeführt. Diese Funktionalität ergänzt die Geo-EC perfekt.


    Information Lifecycle Management


    ILM auf StorageGRID-Systemen ermöglicht eine flexible und viel effizientere Nutzung des Speicherplatzes aufgrund von Richtlinien zum Datenlebenszyklus. So können Sie beispielsweise die Richtlinie so konfigurieren, dass, wenn das Objekt aufgezeichnet wurde oder innerhalb von 30 Tagen mindestens ein Aufruf erfolgte, X Kopien davon an mehreren verschiedenen Standorten gespeichert werden. Wenn seit mehr als 30 Tagen nicht mehr darauf zugegriffen wurde, löschen Sie die Kopien und führen Sie sie durch die EC aus. In diesem Fall ist die längere Lesezeit des Objekts kein Problem mehr. Und wenn auf das Objekt 1 Jahr lang nicht zugegriffen wurde, senden Sie es in die Cloud oder auf Band. Es ist wichtig zu beachten, dass das obige Beispiel granular auf der Ebene jedes einzelnen Objekts und nicht auf der Ebene eines großen Datensatzes wie einer LUN oder eines Dateiballs (in einem SAN bzw. NAS) funktioniert. Wenn sich der Preis der Ressourcen ändert,


    Langlebigkeit


    Es kann in zwei Teile unterteilt werden: Datenintegrität und Verfügbarkeit.
    Die Datenintegrität wird gewährleistet durch: die Verwendung digitaler Hashes beim Schreiben, Lesen, Migrieren und regelmäßigen Überprüfen von Daten. Beschädigte Objekte werden transparent aus Kopien wiederhergestellt. Der geoverteilte Erasure-Coding-Mechanismus ermöglicht es Ihnen, den Speicherplatz zum Speichern von Kopien von Daten wirtschaftlich zu nutzen.
    Die Datenverfügbarkeit wird durch die fehlertolerante Architektur, die Unterstützung für Geschäftskontinuität, Softwareupdates und Plattformausrüstung sichergestellt. Lastverteilung sowohl im Normalbetrieb als auch bei Ausfall. NetApp AutoSupport kann den Support automatisch über die proaktive Fehlerbehebung benachrichtigen. Die Löschcodierung auf Knotenebene verbessert die Verfügbarkeit jedes Knotens, die Wiederherstellungszeit, die Auswirkung auf die Leistung und die Netzwerkaktivität (nur auf der E-Series-Plattform mit Dynamic Disk Pools verfügbar).

    NAS


    Die Funktionalität von NAS mit CIFS / NFS-Protokollen kann mithilfe der NAS Bridge implementiert werden. Auf diese Weise können Sie die vorhandene Infrastruktur nicht ändern und den Endbenutzern den Standarddateizugriff gewähren. Dank der Lebenszyklusrichtlinien kann StorageGrid diese Daten auf der Grundlage von Metainformationen (z. B. beim letzten Ändern oder Erstellen einer Datei) transparent über die Speicherebenen verschieben. File Bridge-Lizenzen sind in StorageGrid enthalten und müssen nicht erworben werden. Die Integration mit Active Directory und LDAP wird unterstützt. Die NAS-Bridge bietet sozusagen "von oben" Zugriff über CIFS / NFS, und dies ist das am häufigsten verwendete NAS.
    Unten im Backend wird dieselbe NAS-Bridge mithilfe des Objektprotokolls verbunden und konvertiert Dateien in Objekte. Anschließend werden sie bereits als normale Objekte gespeichert und verarbeitet.

    Sicherheit


    Unterstützung für End-to-End-Verschlüsselung jedes Objekts und Secure Multi-Tenancy. Unterstützung für Authentifizierungs- und Sicherheitsmechanismen für S3 und CDMI. Die Integration mit LDAP / AD wird unterstützt, um Benutzer innerhalb eines einzelnen Mandanten zu authentifizieren.

    Produktionsbereit


    Dies ist ein sehr wichtiger Moment, in dem der Kunde keine Armee von Programmierern und Administratoren hat. Es ist wichtig, dass der Komplex zuverlässig ist. Die StorageGrid-Technologien sind bereits über 14 Jahre alt (2001 die erste Installation) und es ist gelungen, mit einer großen Anzahl von Integrationen mit anderen bekannten Produkten für die Sicherung, Archivierung, Dateisynchronisierung, Zusammenarbeit usw. zu wachsen.

    • Hierarchischer NTP-Speicherverwaltungsdienst: Software Object Storage & Cloud Connector (File Vacuum)
    • Ctera File synchronisieren und teilen, Zusammenarbeit
    • Stealth Microsoft SQL / Exchange / SharePoint-Integration
    • PoINT Hierarchischer Speicherverwaltungsdienst
    • Commvault Backup und Archivierung
    • Citrix Sharefile Dateisynchronisierung und -freigabe, Zusammenarbeit
    • Egnyte File synchronisieren und teilen, Zusammenarbeit
    • SoftNAS Allzweck-NFS- und CIFS-Gateway
    • NetApp AltaVault (SteelStore) . Der Link wird nach der Veröffentlichung des nächsten Artikels verfügbar sein.
    • Symantec Enterprise Vault mit NetApp StorageGRID Adapter
    • Amazon s3
    • Amazon Cloudfront
    • Öffnen Sie Stapel schnell mit weißer Box
    • Inktank Ceph mit Calamari
    • Swift API
    • OpenStack Glance-Integration: Nutzen Sie StorageGRID Webscale als Glance-Image-Repository über S3 und Swift
    • NetApp OpenStack Cinder Treiber
    • Openstack Kilo
    • Openstack-Hitze-Orchestrierung
    • Und andere.


    StorageGrid-Lizenzierungsrichtlinie


    Das Produkt ist ein lizenziertes Terabyte, unabhängig von Anzahl und Typ der Knoten. StorageGRID-Hardware- und -Softwareimplementierungen können im selben Cluster koexistieren. Alle möglichen Funktionen sind in der Grundausstattung enthalten:
    • Bei der Hardware-Implementierung wird das Produkt nach der Anzahl der RAW-Terabytes lizenziert
    • Wenn Sie eine Softwarelizenz erwerben (ohne Hardware-StorageGRID zu verwenden), wird das Produkt nach dem verfügbaren Speicherplatz lizenziert und der Koeffizient von 1,25 verwendet.


    Schlussfolgerungen


    StorageGRID ist ein Produkt für Anwendungen, die RESTful HTTP unterstützen. Es eignet sich für große und kleine Objekte, hohe Bandbreite, transaktionale und automatische, transparente Datenübertragung über Speicherebenen. Mit Geo-Clustering können Sie eine unglaublich hohe Fehlertoleranz und Datenverfügbarkeit erzielen und den Ausfall ganzer Standorte verbergen. Durch die Verwendung einer RAID-ähnlichen Architektur kann die EC-Technologie erheblich Platz sparen. StorageGRID unterstützt mehrere Speicherebenen und einen der fortschrittlichsten Data Lifecycle Management-Mechanismen. ILM verschiebt die Daten automatisch, wenn sich der Preis auf der einen oder anderen Speicherebene ändert. Dies ermöglicht eine rationellere Ressourcennutzung und eine flexible Reaktion auf Änderungen der Kosten für die Datenspeicherung (z. B. in der Cloud oder in Bandbibliotheken). StorageGRID ist ein etabliertes, ausgereiftes Produkt mit einer breiten Liste an Softwareintegrationen von Drittanbietern, die den Support und die Integration in vorhandene Infrastrukturen vereinfachen. Unterstützung für Objektverschlüsselung und LDAP / AD-Authentifizierung bieten Schutz vor Datendiebstahl. StorageGRID kann ein vollständiger Ersatz für Amazon S3 sein, mit dem Sie Speicher an mehrere Unternehmen vermieten und als private Cloud für diejenigen fungieren können, die keine Daten in einer öffentlichen Cloud hosten können. Es kann eine Ergänzung zu AWS S3 sein, das es als Datenspeicherebene verwendet und über einen Mechanismus zur Berechnung der Speicherkosten für Mandanten von StorageGRID-Speicher verfügt. Unterstützung für Objektverschlüsselung und LDAP / AD-Authentifizierung bieten Schutz vor Datendiebstahl. StorageGRID kann ein vollständiger Ersatz für Amazon S3 sein, mit dem Sie Speicher an mehrere Unternehmen vermieten und als private Cloud für diejenigen fungieren können, die keine Daten in einer öffentlichen Cloud hosten können. Es kann eine Ergänzung zu AWS S3 sein, das es als Datenspeicherebene verwendet und über einen Mechanismus zur Berechnung der Speicherkosten für Mandanten von StorageGRID-Speicher verfügt. Unterstützung für Objektverschlüsselung und LDAP / AD-Authentifizierung bieten Schutz vor Datendiebstahl. StorageGRID kann ein vollständiger Ersatz für Amazon S3 sein, mit dem Sie Speicher an mehrere Unternehmen vermieten und als private Cloud für diejenigen fungieren können, die keine Daten in einer öffentlichen Cloud hosten können. Es kann eine Ergänzung zu AWS S3 sein, das es als Datenspeicherebene verwendet und über einen Mechanismus zur Berechnung der Speicherkosten für Mandanten von StorageGRID-Speicher verfügt.

    Dies kann Links zu Habra-Artikeln enthalten, die später veröffentlicht werden .
    Bitte senden Sie Fehlermeldungen im Text an das LAN .
    Kommentare, Ergänzungen und Fragen zum nebenstehenden Artikel bitte kommentieren .

    Jetzt auch beliebt: