Backup exec + raid 5 + performance bei kleinen dateien

[g1n 10]

Hallo liebe Gemeinde,

 

ich stehe gerade vor einer merkwürdigen Situation in der ich Rat gebrauchen könnte. Ich habe in unserer Domain einen 2k3-R2 Standard-Server auf einer FSC-Kiste zu laufen (TX150S5, Dualcore 2,13ghz, 3GB-RAM, RAID-Controller SAS 128MB (LSI 8308elp) konfiguriert mit einem RAID5 aus 4 Platten (4x WD5000KS, 500GB, 7200upm, 16mb Cache), RAID-Controller hat BBU, Write-Back + Read-Ahead + Cache-Mode aktiviert). Auf dieser Kiste läuft Backup-Exec 12.5 welches den Datenbestand auf besagtem RAID-5 wegsichern soll. Die Daten zum wegsichern bekommt die Kiste vom Main-FileServer per DFS-R repliziert (läuft auch 1A). Die Sicherung erfolgt per LTO-4 Laufwerk von IBM. der Performance-Test mit h2benchw ergibt folgenden Werte auf dem RAID-5

 

Sequenzielle Leserate Medium (ungebremst): 189.9 MByte/s
Sequenzielle Leserate Read-Ahead (Verzögerung: 0.36 ms): 217.1 MByte/s
Wiederholtes sequenzielles Lesen ("Coretest"): 419.6 MByte/s
Zonenmessung Lesen: Kalibrierung... ca. 168.7 MByte/s bei 50% der Kapazität.
Lese mit 999 Messpunkten (22843 Blöcke à 128 Sektoren = 1427.69 MByte)

 

Wenn ich nun Daten wegsichere (mit BEWS vom RAID5 auf LTO-4) stelle ich was fest was mich etwas irritiert. Die Sicherung beginnt immer mit einem 17GB Großen TAR-File, das schiebt das RAID5 mit netten 105MB/s aufs LTO-4-Tape, sobald aber das Verzeichnis mit den Arbeitsdaten anfängt (hauptsächlich Bilder, PPTs, kleine Videos, Excel-Sheets und Words mit einer Durchschnittsgröße von 5-20MB), bricht die Datenrate auf magere 41-45MB/s ein. Das untere Limit des LTO-4 Laufwerks liegt bei 40MB/s damit das Laufwerk das Band nicht ständig stoppt und wieder starten muss, was wiederum schlecht für die Tapes als auch das Laufwerk ist.

 

Das noch viel kuriosere ist, ich habe mal einen großen Teil der Kundendaten auf eine einzelne Platte (WD7501AALS, 7200upm, 32mb, Caviar Black) kopiert die in einem identischen Server klemmt (selber Controller, selbe Ausstattung). Wenn ich die identischen Daten von dieser einzelnen Platte übers Netzwerk aufs Band schaufle, schaffe ich Datenraten zwischen 55-65MB/s durch weg.

 

Hier mal ein Bench der einzelnen Platte:

Sequenzielle Leserate Medium (ungebremst): 104.7 MByte/s
Sequenzielle Leserate Read-Ahead (Verzögerung: 0.66 ms): 151.8 MByte/s
Wiederholtes sequenzielles Lesen ("Coretest"): 152.3 MByte/s
Zonenmessung Lesen: Kalibrierung... ca. 95.1 MByte/s bei 50% der Kapazität.

 

Ich bekomme die Krise ;) eine einzelne Platte bekommt einen fast 1,5 mal schnellere konstanten Datenstrom hin, als ein RAID-5 aus 4 platten. Ist das normal dass ein RAID-5 beim Lesen von vielen kleinen Dateien so einbricht?!

 

beste Grüße

g1n

bearbeitet 1. Dezember 2009 von g1n
werte hinzugefügt

[Windowsbetatest 10]

Hallo,

 

ein Performanceeinbruch ist normal. SATA HDDs sind ja nicht für Server gedacht.

 

Du hast zwei Probleme, ein RAID5 mit einer geraden Anzahl HDDs ist immer schlecht, da sich XOR Summen schlecht über eine ungerade Anzahl HDDs berechnen lassen.

 

( 5 HDDs = 4x Daten + 1x Parität, 4 HDDs 3x Daten + 1x Parität)

 

Außerdem werden die Daten in Blöcke (meist 64 oder 128KB) aufgeteilt. Zum Lesen eines Bytes oder Sektors, müssen diese Blöcke von allen HDDs gelesen werden, die Prüfsumme gebildet und die unnötigen Daten verworfen werden. Dies dauert etwas (Latenz) und duch das "wegwerfen" ist es niciht sehr performant. Bei Lesen großer Datenmengen fällt die Latenz nicht so auf, da sie auf das geammte Datenvolumen verteilt wird (z.B. 512 KB anstatt 4 KB).

 

Mache Controller können die Prüfsummenbildung auch weglassen ("non parity Read"), ob da sein gute Idee ist, steht auf einem anderem Blatt.

 

mfg

[g1n 10]

Alles klar, das erklärt einiges. Ich hätte für dieses System auch kein RAID5 gewählt. Das war mein Vorgänger, der war unbedingt der Meinung er müsse ein RAID5 einsetzen um gegenüber dem RAID10 mehr Speicherplatz rauszuholen. Ich danke ihm jetzt im Nachhinein für seine Cleverness....denn der zusätzliche Speicherplatz wird nie gebraucht ;)

 

Ich habs gerade mal versucht vom Main-FileServer zu sichern, der ist absolut identisch bis auf die Tatsache dass die 4 Platten als RAID-10 laufen. die Performance ist nicht unbedingt besser, was bei vielen kleinen dateien aber normal zu sien scheint, oder

 

wäre es sinnvoll eine einzelne, extrem schnelle Festplatte als "Puffer"-Speicher zu verwenden?