Windows Software RAID und Trim

[Weingeist 157]

Hallo Leute,

 

Habe ein paar Tests gefahren weil ich dazu keine befriedigende Antwort im Netz gefunden habe.

 

Kann definitiv sagen, dass es mit einem E5, C600 Chipsatz, Windows 7, Intel SSD 520 funktioniert.

 

Überprüft wurde das ganze mit einem HexEditor auf Datenträger-Ebene. Ist Trim in Windows deaktiviert, bleiben die Sektoren nach dem löschen einer Datei gefüllt. Wird Trim aktiviert, werden Sie gelöscht, auf beiden Datenträger. Nachträgliches aktivieren von Trim bewirkt nicht, dass die Sektoren gelöscht werden. Jedoch hat Windows diese Sektoren jeweils prioritär wieder überschrieben wenn neue Daten hinzukamen.

 

Das gibt ein paar schicke neue Möglichkeiten für Local Storage für HyperV VM's (Angeblich weitergabe von gelöschten Sektoren mit SMB 3 und HyperV3) und evtl. Sogar Hochverfügbarkeit mit Boardmitteln (iSCSI, Cluster). Jedoch noch nicht getestet.

 

Hoffe das hilft dem ein oder anderen. Mir war das immer ein Dorn im Auge mit den SSD's und der Ungewissheit wenn mir eine wegstirbt. Was allerdings Windows macht, wenn eine aus dem Spiegel stirbt, weiss ich auch nicht so genau. ;)

[Dr.Melzer 191]

Und was genau willst du uns damit sagen?

[Weingeist 157]

Danke für die Blumen. Das sollte aus dem Text und Titel zwar klar ersichtlich sein, aber für Dich lasse ich natürlich gerne eine Erklärung folgen. ;)

 

Trim funktioniert in der Regel nicht mit SSD die in einem RAID-Verbund sind. Weder im Hardware noch Software-RAID. SSD wird mit der Zeit extrem lahm. Sucht man im Netzt danach findet man auf die Frage nur die Antwort, dass man die Trim-Funktionalität verliert sobald RAID eingesetzt wird. Da man je nach Situation vielleicht mit Local-Storage arbeiten möchte/muss (Ja das gibt es bei Kleinumgebungen) kann man so trotzem ein sehr schnelles System, mit Trim-Funktionialität und RAID bewirtschaften. Nicht jeder kann und will 10'000 Euro für ne SAN-SSD ausgeben, dessen Performance aber vielleicht trotzdem haben. Zusammen mit RAID.

 

Des weiteren: Wenn die Hyper-V-Guest ihrem Host mitteilen welche Sektoren frei sind und dies gleichzeitig auf den SSD's geschieht ist das ein ziemlich hilfreich für die SSD. Weil so die SSD eben nicht ganz zugemüllt wird, obwohl von der virtuellen Disc allokiert. Zumindest wenn MS da keinen Schmarrn erzählt. Ist gegenüber VmWare aktuell ein Vorteil.

[zahni 521]

Keine Sorge, so schnell geht Deine SSD nicht kaputt. Es gibt da noch ein paar andere Techniken wie Wear Leveling und Garbage Collection:

 

SSD-Technik: Wear-Leveling-Algorithmus, TRIM und Garbage Collection - SSD gegen magnetische Festplatte: Die geheimen Schwächen der SSD - computerwoche.de

 

Bist Du sicher, dass ein ESXi Server kein TRIM beherrscht ?

 

Generell solltest Du von jeder Art "Software-RAID" die Finger lassen. Und ja, es gibt RAID-Controller, die mit SSD's richtig umgehen können.

[Dr.Melzer 191]

Generell solltest Du von jeder Art "Software-RAID" die Finger lassen. Und ja, es gibt RAID-Controller, die mit SSD's richtig umgehen können.

 

Deswegen hat mich der tiefere Sinn des Beitrags von Weingeist interesiert. ;)

[Weingeist 157]

Ich traue den SSD's ned mehr oder weniger als einer Enterprise SAS-Disc. ;)

 

RAID-Controller mit Trim-Unterstützung als normale PCI-Express-Karte dazu mit gutem IO Durchsatz? Bitte melden. ;)

 

Software-RAID: Auch ZFS ist ein Software-RAID und funktioniert prächtig und extrem performant. Ebenso Datacore, welches sogar auf Windows-Server-Basis läuft. Alos pauschalisieren kann man es nicht. Auch MS geht mit Ihrer Entwicklung im Storage-Bereich in diese Richtung. ;)

 

Das Standard-Software-RAID von Windows ist bei entsprechender Hardware ziemlich robust. W-Server sowieso. BlueScreens hatte ich im Betrieb schon ewig nimmer. Da es aktuell nichts vernünftiges und bezahlbares für SSD's mit Trim auf PCI Basis gibt (mir ist zumindest nichts bekannt, lasse mich gerne belehren), finde ich das eine gute Lösung bzw. besser als eine Single Disc. Abhängen tut Windows ein Volume auch nicht mehr wenn wenn ein Spiegelpartner weg ist. War früher - soweit ich mich erinnere - ein Problem. Zumindest konnte ich problemlos eine Disc herausziehen und Volume war immer noch verfügbar. Neuen Datenträger rein und wieder syncro.

 

Sehe das ganze für VDI, da geht der Trend richtung Local-Disc Storage auch bei grösseren Installationen, weil die IOPS halt extrem günstig sind.

 

ESX und Trim: Sofern es nicht mit 5.1 gekommen ist. Ja. Aber auch da bin ich der Meinung das es noch nicht geht. Angeblich auch eher schwierig, weil das Hostsystem mit dem aktuellen Format nicht mit dem Guest-System kommunizieren kann und ein Datestore meines Wissens auch nicht. Wäre also wenn dann nur via wachsenden Discs, NFS und regelmässigem Shrinken zu erreichen. Den Komfort wie in HyperV hat man nicht.

[zahni 521]

Auswahl von HP SSD-Lösungen:

 

HP Boosts Application Performance with HP 3PAR Solid State Technology

 

http://h20000.www2.hp.com/bizsupport/TechSupport/Document.jsp?lang=en&cc=us&taskId=120&prodSeriesId=3802118&prodTypeId=329290&objectID=c02963968

 

Zu Software RAID: Zu Hause im LAB kann man alles Mögliche machen. Wenn Du Dich bei Kunden unbeliebt machen willst, installierst Du solche Lösungen auch dort.

 

Interessant wird es nähmlich, wenn eine SSD ausfällt. Beim Windows Software-RAID, sollte der Kunde täglich den Eventlog von Windows im Auge behalten...

[Weingeist 157]

HP 3PAR P10000 with all SSDs is available today for a starting price of $350,000.

Solche Produkte sind mir auch bekannt, das ist aber nicht sehr realisitisch für kleinere Betriebe.

 

Der zweite Link klingt schon eher nach 'Otto-Normal-Betrieb' finanzierbar. Allerdings konnte ich auf die schnelle nicht wirklich etwas finden ob Trim in einem RAID-Verbund tatsächlich funktioniert.

 

Zurück zum Windows-Software-RAID: Mir sind die Probleme von früher durchaus bekannt, habe als das aufkam auch diverse Tests gefahren und für untauglich befunden. Dazu dann diverse Restores und Rettungen Durchgeführt welche andere aufgesezt hatten.

Lag aber meistens an nicht 100%ig funktionierender HotSwapTechnik, Anwendung auf Systemlaufwerke (Probleme beim Reboot, Bootsektoren) und instabile Systeme, Windwos das sich daher aufhängte etc.

 

Die Probleme von damals konnte ich aber nicht reproduzieren (Systemlaufwerk ausgenommen). Einfach pauschal das ist nix weil das Feature mit früheren Hardwaregenerationen zu Problemen führte finde ich etwas naja. Eine Begründung würde mich daher brennend interessieren.

 

Ich sehe Aktuell zwei Probleme:

1. Wie reagiert Windows wenn ein Laufwerk langsam stirbt, also einfach sektoren mit müll raus lässt anstelle sich ganz auszuklinken. Bis dato habe ich aber nur letzteres bei SSD's gesehen/gehört.

 

2. Was passiert wenn der Host stirbt. Das Problem mit Filesystem-Sauereien kann man da immer haben, sollte aber mit einem Batteriegestützten Controller kleiner sein. Waren noch nicht alle Infos beim Controller, nützt es auch da nix.

 

 

Die Überwachung ist wieder eine andere Sache. Müsste man dann logischerweise einen Trigger bauen. Tut aber nichts zur Sache ob das RAID an sich tauglich ist oder nicht.

 

Von daher, wenn sich ein paar Profis mit Erfahrungen mit Systemen von Heute diesbezüglich melden würden wäre das Klasse.

[Dr.Melzer 191]

Von daher, wenn sich ein paar Profis mit Erfahrungen mit Systemen von Heute diesbezüglich melden würden wäre das Klasse.

 

Die Profis haben sich schon gemeldet und dir einstimmig bescheinigt dass Software RAID Nonsense ist.

 

Damit erledigen sich all deine anderen Überlegungen dazu automatisch.

[Weingeist 157]

@Dr: Ich weiss schon das es Dir unheimlich schwer fällt jeweils eine Begründung für Deine Aussagen zu liefern, daher nochmals, kannst Du das begründen? Nur einfach sagen es ist nonsens kann jeder. ;)

 

Ich versuche es Dir noch einfacher zu machen: Zum Beispiel: Ob Du Erfahrung mit dem Feature gemacht hast oder welche kennst die es - in der Neuzeit mit Serverhardware (2k8/2012, SSD) - haben. ODER Dein (mein) Punkt 1 oder 2 Argument genug sind ...

 

@Zahni: Auf alle Fälle Danke, das war immerhin etwas zum Thema. :)

[zahni 521]

Ich habe es Dir doch schon oben geschrieben:

 

Die Problem treten dann auf, wenn ein Teilnehmer am RAID ausfällt.

 

Teilweise kannst Du nicht mehr ohne Weiteres booten, der Server meldet sich nicht von selber sondern schreibt nur in den Eventlog (daher mein Hinweis), Performance-GAU, weil Dinge, die der Prozessor im RAID Controller macht, nun von der Host-CPU erledigt werden. Kein Hot-Plug. Nach Fehler RAID nur manuell wieder zum Laufen zu bekommen. Meist wird zum Booten ein dedizierten Laufwerk benötigt, das kein Teilnehmer des RAID-Verbundes ist.

 

Das Board hier hat eine Suchfunktion...

 

PS: Deine Bemühungen in Ehren, aber das führt zu nichts. Manche Dinge solltest Du einfach mal so glauben.

[bla!zilla 10]

VMware ESXi interessiert sich auch in der aktuellen Version nicht die Bohne für TRIM. SSDs werden nur als Hostcache empfohlen, und auch da gibt es kein TRIM. Wenn du SSDs als Datastore nutzen willst, dann geht VMware ESXi davon aus, dass du ein passendes Speichersystem dahinter hast. Und dort sollte es einen Controller geben, der sich entsprechend um die SSDs kümmert.

 

Software-RAID: Auch ZFS ist ein Software-RAID und funktioniert prächtig und extrem performant. Ebenso Datacore, welches sogar auf Windows-Server-Basis läuft. Alos pauschalisieren kann man es nicht. Auch MS geht mit Ihrer Entwicklung im Storage-Bereich in diese Richtung.

 

ZFS is schön, interessiert sich aber auch nicht für TRIM. TRIM ist auch nicht unbedingt notwendig. TRIM ist nice-to-have. Nicht mehr, nicht weniger (wobei man mit TRIM Commands nette Sachen anfangen kann, siehe W2K12 und UNMAP).

 

Bezüglich DataCore: Als DCIE kann ich dir sagen: Disk-only sieht DataCore nicht gerne. Du solltest ein RAID einsetzen. Wenn du SSDs in Pools mischt (wegen Tiering) oder SSD-only Pools betreibst, dann hast du einen Controller, der entsprechend mit der Disk umzugehen weiß.

[Weingeist 157]

@zahni: Danke für die Anregungen. Die Anmerkungen die Du nennst habe ich vorher selber bereits angeführt (HotSwap, Systemlaufwerk etc.) und auch entkräftet. Siehe auch weiter unten, etwas ausführlicher. ;)

 

Systemlaufwerk : darum ging es zwar nicht sondern um Datenplatten für VM's aber habe ich jetzt nicht extra getestet. Gehe davon aus, dass sich da nichts geändert hat (Diskbootsektoren). Dem kann man schon frühzeitig beikommen indem man sie direkt nach Erstellung des RAID's manuell auf den Spiegel schreibt oder die entsprechenden Werkzeuge bereit hält um es im Schadenfall zu tun. Ging früher schon. Aufwand ist für ersteres ist minimal. Zweiteres auch kein Hexenwerk wenn man wusste wie

 

HotSwap : War das absolue KO-Kriterium für diese Funktion

Sah aber früher auch ATA-Hotswap Systeme wo sogar das funktioniert hat, auch wenn ich es auch nicht glauben wollte.

Genau das Funktioniet jetzt aber absolut tadellos.

Habe während der ganzen Tests diverse unterschiedliche Workloads parallel laufen lassen Zugriff war nie unterbrochen.Auch nicht bei einem Benchmark I/O Test. Nicht beim Crashen, Entfernen der Offline Disk, Wieder spiegeln auf neue Disc usw.

Sonst hätte ich den Thread sicher nicht eröffnet und das ganze nur als Lab-Spielerei abgetan. ;)

 

Was mich überhaupt auf die Idee gebracht hatte, waren die neuen Features von Server 2012. MS wird kaum solche Funktionen ankündigen, wenn es nicht auch zuverlässig wäre. Also muss Hotswap funktionieren. Tut das, sollte es auch mit dynamischen Discs.

 

Performance-GAU: Der ist minimalst mit aktuellen CPU's und beträgt unter Vollast 2-3% der CPU Auslastung, welche auch ohne Spiegel schon fast erreicht ist. Write IOPS gehen kaum feststellbar verloren im Vergleich zu einzelnen Discs, die Differenzen hatte ich auch bei Single-Discs.

 

@Blazilla: Datacore und ZFS war wegen der Pauschalisierung, dass Software-RAID nix ist aufgeführt, nicht wegen SSD, Trim oder so. Das man auf nem einzelnen Node ein RAID als Untergrund hat, macht sicher auch bei Datacore Sinn. Was ich da meinte war ein Software-Spiegel über mehrer Nodes, welches den Guests präsentiert wird. ;)

 

Bemerkung zum Server 2012: Der ist der Knaller wie ich finde. Bei der Verwendung der neuen Speicher-Features von Windows Server 2012. Speicherpools, welche quasi eine Erweiterung der dynamischen Datenträger sind, aber keinen Zusammenhang mit den beteiligten Festplatten haben. Windows macht Daten einfach irgendwo drauf wos Platz hat und schaut dass die Daten mindestens zwei oder auf Wunsch auf drei verschiedene physische Datenträger sind. Funktioniert astrein. Konnte das Dateisystem nicht korrumpieren. Nicht NTFS und das neue ReFs schon gar nicht (soll sich ja selbstheilen wens trotzdem vorkommt)

 

Analysiert man die Daten auf den physischen Datenträger und den virtuellen Datenträger (die Datenrettungstools unter Windows erkennen alle, Windows Datenträgermanager nur noch die virtuellen) werden die Daten 1:1 abgelegt wie auf der virtuellen. Windows muss das intern irgendwie verlinken. Ist mit Datenrettungstools daher möglich trotz der Speichervirtualisierung die Daten wieder von den Festplatten zu holen bei einem absoluten Totalausfall.

 

Brauche ich mehr Platz, hänge ich einfach Festplatten beliebiger Grösse rein, fügt sie dem Pool hinzu und habe wieder Platz.

 

Bei Ausfällen: Hier macht Windows den Job gleich selber und stellt den Krempel einfach auf einer anderen Platte wieder her. Man kann man sogar extra HotSpares-Drives definieren. Ganz wie in physischen Speichersystemen.

 

Kombiniert man das nun alles mit den neuen Transparenten Failover-Funktionen bekommt man für SMB 3.0 fähige OS für wenig Geld Enterprise-Features von sauteuren Storage-Lösungen. Dann noch der ReadCache im RAM (Bis 20%) und das Zeug rennt wie Hölle. Soweit die Theorie. Praxis wird sich zeigen. ;)

[Weingeist 157]

Anhang: Wie gesagt, der einzige Unsicherheitsfaktor den ich aktuell sehe - und auch schon genannt habe - ist was passiert wenn eine Disc sich langsam verabschiedet. Wie entscheidet Windows welche Disc nun der Übeltäter ist und teilweise falsche Sektoren liefert.

 

Bei Dreifachspiegel wird er wohl sinnvollerweise jene behalten, welche die gleichen Ergebnisse liefern und die falschen nach zu vielem Vorkommen und selbstreperatur kappen.

 

Werde ich bei Gelegenheit mal testen indem ich mutwillig manuell Müll auf die Sektoren schreibe. Wenn das funktionieren würde und er die zwei "guten" als Referenz nimmt und die "schlechte" selber repariert und nach zuvielem Vorkommen abhängt, Hut ab. Theoretisch sollte das SMART bei Enterprise-Laufwerken aber eh zuverlässig selber ankündigen.

 

Zusammen mit iSCSI (was dankbarerweise auch endlich legal verwendet werden darf und nicht nur in Testlabs oder bei kauf des Storage-Servers) würde sich das ganze sogar komplett über mehrere Gebäude/Brandabschnitte zusätzlich gespiegelt erstellen lassen. Hochverfügbarkeit mit Standard-Server-Hardware und Transparentem Failover sowie teilweise Scale Out (also lesen von allen Nodes). Für die absolute Paranoia ;)

 

Zu guter Letzt: Trim funktioniert bei der Nutzung von Pools leider nicht... Eventuell aber auch mit manuellem Killen von Sektoren Script/Anstossbar.

[zahni 521]

Im RZ brauchst Du folgende Lösung:

 

High Performance I/O , dass auch mit SQL-Datenbanken zurecht kommt.

Bei Störung erfolgt Benachrichtigung, möglichst mit automatischer Bestellung der Ersatzfestplatte, Austausch im laufenden Betrieb. Hier brauchst Du ausgereifte Lösungen.

 

ZFS hört sich für mich wie die Lösung im alten WHS an. Dafür fand ich es auch richtig gut. Die Replikation erfolgt dort aber nicht Realtime und ist daher nicht für SQL-Datenbanken u.ä, geeignet.

 

-Zahni