NetApp ist mit Inline-Deduplizierung noch effizienter

    Vor einigen Tagen wurde die Version von Data ONTAP 8.3.2RC1 verfügbar. "RC" bedeutet Release Candidate. Daher hat diese Version gemäß den Namenskonventionen für die NetApp-Version bereits alle internen Tests bestanden und kann von Kunden nicht nur zur Bewertung neuer Funktionen, sondern auch zur Steigerung der Produktivität, einschließlich der Systeme, auf denen das Unternehmen ausgeführt wird, verwendet werden -kritische Aufgaben. Die Herstellerunterstützung erstreckt sich vollständig auf Systeme, auf denen RC-Versionen von Data ONTAP ausgeführt werden.

    NetApp-Verkäufer (ja, das sind auch wir;) sind nicht müde, daran zu erinnern (und dies absolut richtig zu machen), dass eine hohe Auslastung der Festplattenressourcen in NetApp-Systemen durch den Einsatz von Optimierungssoftware erreicht wird - Deduplizierung und Komprimierung.

    Bild

    Die folgenden Informationen geben einen kurzen Überblick über die Funktionen von NetApp Data ONTAP 8.3.2RC1, die für "noch nicht Bison" hilfreich sind.

    Die Deduplizierung steht Kunden seit sehr langer Zeit zur Verfügung und arbeitet seit ihrer Einführung ausschließlich im „Offline“ -Modus. Gemäß dem Zeitplan wird ein Prozess gestartet, der nach doppelten Datenblöcken sucht und nur einen von ihnen auf der Festplatte belässt. Gleichzeitig vergleicht das System nicht nur die Hash-Summen aus den Blöcken, sondern auch die Daten selbst, wodurch das Fehlen von Hash-Kollisionen garantiert wird.

    Dies vermeidet Leistungsprobleme. Wenn Sie die Deduplizierung aktivieren, ändert sich die Belastung des Prozessors / Speichers nicht. Für eine Reihe von Aufgaben ist ein solcher Deduplizierungsmechanismus jedoch nicht optimal. Stellen Sie sich vor, Sie haben eine Farm mit vielen virtuellen Workstations (VDI) und müssen die Software auf allen Desktops aktualisieren oder einen Patch für das Betriebssystem installieren. Zu diesem Zeitpunkt werden viele identische Datenblöcke auf die Festplatten geschrieben. Ja, dann ist der Deduplizierungsprozess natürlich erfolgreich und der „zusätzliche“ Speicherplatz wird freigegeben, aber das Update selbst führt zu einer großen Anzahl von Schreibvorgängen. Dies bedeutet, dass wir ein überlastetes Back-End erhalten und dies die Leistung anderer Dienste beeinträchtigen kann, die mit diesem Speicher arbeiten.

    Mit dem Aufkommen von cDOT 8.3.2 haben NetApp-Speicherbesitzer eine Lösung - Inline-Deduplizierung (On-the-Fly-Deduplizierung). Für alle Flash-Speicher ist die Inline-Deduplizierungsunterstützung auf allen neu erstellten Volumes sofort verfügbar und kann auch auf vorhandenen Volumes mit Daten aktiviert werden (ohne das Volume neu zu erstellen). Bei Speichersystemen, die den Flash-Pool verwenden, funktioniert die Online-Deduplizierung nur für Schreibvorgänge auf SSDs und kann auch auf neuen und bereits erstellten Volumes aktiviert werden. Bei Systemen, die auf normalen Festplatten basieren, muss der neue Modus zwangsweise aktiviert werden. Sie können den Betrieb der Inline-Deduplizierung mit dem Befehl "

    Volume-Effizienz" mithilfe der Option "-inline-deduplication" (true / false)

    steuern : Ändern der Volume-Effizienz -vserver SVM_test -volume / vol / volume-001 -inline-deduplication true

    Unten finden Sie eine Tabelle der unterstützten Optimierungsmodi für AFF und andere NetApp FAS-Systeme:
    Bild

    Dtata ONTAP reserviert ungefähr 1% des gesamten RAM für das Speichern von Hashes beschreibbarer Blöcke. Um eine hohe Leistung aufrechtzuerhalten, mussten Entwickler die globale Deduplizierung aufgeben - die Implementierung würde zu viel Speicher und Prozessorressourcen erfordern. Nur der Hash der kürzlich aufgezeichneten Blöcke wird im Speicher gespeichert. Beim Neustart wird der Speicher gelöscht und die Statistik wird erneut gesammelt.

    Ein weiteres wichtiges Merkmal - die Volumenmigration (Data Motion) - führt dazu, dass alle Vorteile der Deduplizierung verschwinden, bis die Nachbearbeitung funktioniert hat. Dies muss bei der Planung der Übertragung deduplizierter Daten innerhalb des Systems berücksichtigt werden.

    Um die Effizienz der Inline-Deduplizierung zu erhöhen, kann sie mit dem „klassischen“ Nachbearbeitungsschema verwendet werden. Für den gesamten Flash-Speicher ist die Nachbearbeitung zunächst deaktiviert (um die Gesamtzahl der Schreibvorgänge zu minimieren), sodass sie zwangsweise aktiviert werden muss.

    Die Verwendung der Inline-Deduplizierung negiert keine anderen Möglichkeiten zur Steigerung der Effizienz der Datenspeicherung in NetApp-Speichersystemen. Bei gleichzeitiger Einbeziehung von Online-Komprimierung und Deduplizierung wird wie folgt vorgegangen:
    • Inline-Nullblock-Reduktion - leere (mit Nullen gefüllte) Blöcke sind ausgeschlossen
    • Inline-Komprimierung - Daten werden komprimiert
    • Inline-Deduplizierung - komprimierte Blöcke werden auf Hash-Identität überprüft. Wenn die Hashes übereinstimmen, wird das Ganze verglichen, wenn die Hashes übereinstimmen und doppelte Blöcke vom Schreiben auf Datenträger ausgeschlossen sind


    Aufgrund der Ablehnung der globalen Deduplizierung konnten Data ONTAP-Entwickler einen interessanten Mechanismus zur Optimierung von Schreibvorgängen implementieren, der für eine Reihe von Workloads gut geeignet ist und nur minimale Auswirkungen auf die Systemleistung hat. Durch die Reduzierung der Belastung des Backends können wir in einigen Fällen über die Steigerung der integrierten Leistung des Systems sprechen. Jeder Benutzer eines NetApp-Systems (das cDOT 8.3 unterstützt) kann die Wirksamkeit der Inline-Deduplizierung durch ein Upgrade auf Version 8.3.2RC1 überprüfen. Natürlich ist es ratsam, Experimente an Testsystemen oder als Teil von Piloten durchzuführen - wir raten niemandem, ein funktionierendes Produkt vor Neujahr neu zu konfigurieren :)

    In unserer Arbeit mussten wir uns mit einer Vielzahl von Situationen auseinandersetzen, bis zu dem Punkt, dass während der Deduplizierung nach der Verarbeitung die Systemleistung für die Hauptlast nicht mehr ausreichte. All dies kann und sollte in der Projektentwicklungsphase bewertet werden, wobei bei der Auswahl eines Datenspeichersystems die erforderliche Gangreserve festgelegt wird. Trinity-Spezialisten verfügen über umfassendes Wissen und umfangreiche Erfahrung in der Durchführung von Forschungsarbeiten vor dem Projekt und in der Dimensionierung von Speichersystemen für die unterschiedlichsten Anforderungen der Kunden.

    Weitere Bewertungen finden Sie im Trinity-Blog .
    Und nutzen Sie auch die Trinity-Entwicklungen:

    Jetzt auch beliebt: