Jump to content

Storage für Hyper-V optimieren


Direkt zur Lösung Gelöst von rssd1983,
Der letzte Beitrag zu diesem Thema ist mehr als 180 Tage alt. Bitte erstelle einen neuen Beitrag zu Deiner Anfrage!

Empfohlene Beiträge

Hallo Zusammen,

ich habe ein Hyper-V Cluster übernommen und stehe jetzt vor dem Problem, dass wir in unserem Hyper-V Cluster sporadische Ausfälle einzelner iSCSI-Verbindungen haben. Dadurch funktioniert auch das Failover nicht und die VM's sind dann einfach aus. Zweites Problem, welches mich zum akuten Handeln zwingt, ist wenn eine Platte ausfällt und das RAID wiederhergestellt wird. Dann ist die Performance sehr schlecht und die Ausfälle der iSCSI-Verbindung häufen sich.

Mein Ziel:
- Storage redundant (am wichtigsten für VM's, Datengräber sind zweitrangig und könnten ausgelagert werden)
- akzeptable Performance auch bei einer Wiederherstellung nach HDD-Ausfall


Meine Fragen:

1. Welche Empfehlung gebt ihr mir für die RAID-Konfiguration?

2. Wäre ein Umstieg auf SMB3 eine Lösung?
2.1. Hat jmd. schon Erfahrung mit ähnlicher Hardware gesammelt (Hyper-V & SMB3 & NAS)?
2.2. Wie kann die Redundanz des Speichers erreicht werden? (falls ein Storage ausfällt)


Unsere Konfiguration:

2x QNAP TS-EC1679U-SAS-RP
16x 300GB 15k SAS (HGST & Seagate)

Store1:
1x RAID10 über 4 HDD (VM's)
1x RAID10 über 4 HDD (VM's)
1x RAID5 über 5 HDD (Datengrab, WSUS-Content)
1x RAID5 über 3 HDD (Datengrab)

Store2:
1x RAID10 über 4 HDD (VM's)
1x RAID10 über 4 HDD (VM's)
1x RAID5 über 5 HDD (Datengrab)
1x RAID5 über 3 HDD (Datengrab)


3x Hyper-V Host (alle 3 identisch)
Supermicro X9DR7-TF+
2x Intel Xeon E5-2690 v2, 10x 3.00GHz
192 GB DDR3-1600
2x Intel SSD DC S3500 Series 120GB, 2.5", SATA 6Gb/s (RAID1, OS: Windows Server 2012 Standard)


Die beiden QNAP sind jeweils über 2x 10GBit mit den Servern (auch 2x 10GBit) verbunden (2x Netgear ProSafe Plus XS708E, 8-Port Switch).

Es laufen insgesamt ca. 25 VM's auf allen 3 Hosts verteilt.

Unser Client-Netzwerk ist komplett mit 1GBit angebunden.


Falls ich Informationen unterschlagen habe, bitte jederzeit nachfragen.

Vielen Dank und Grüße,
René
Link zu diesem Kommentar

Moin,

 

wie ist denn die Netzwerkanbindung der Hosts? Wieviele Karten bzw. Ports, wie sind die konfiguriert?

 

Eine schnelle Darstellung des physischen und logischen Verbindung bekommst du mit diesem Skript:

https://gallery.technet.microsoft.com/Get-HyperVNetworkReport-e7acf854

 

Darüber hinaus ist relevant, wie die Host-Netzwerke eingerichtet sind: phsische Anbindung, VLANs, IP-Konfiguration.

 

Zu deinen Fragen:

  • Die Storage-Konfiguration hängt immer von den Anforderungen ab, es gibt da keine Pauschalempfehlungen.
  • Dass ein RAID-Rebuild die Performance beeinträchtigt, ist völlig normal - während so einer Phase sollte bzw. muss man den Betrieb reduzieren.
  • Deine Konfiguration erschließt sich mir nicht.
    • Was sind diese "Stores"?
    • Wie sind die einzelnen Bereiche wohin angebunden?
    • Was ist der Grund für diese Aufteilung?
  • SMB3 ist keine Pauschallösung.
  • Wie sind die einzelnen Volumes im Cluster eingebunden? Ein CSV, mehrere, ...?

Gruß, Nils

Link zu diesem Kommentar

Hallo Nils,

 

die Hosts haben eine integrierte NIC mit zwei 10Gbit-Ports.

Jeder Port hat eine eigene IP-Adresse im gleichen Subetz.

Im Moment läuft noch der gesamte Netzwerktraffic über diese Verbindung. >> Das will ich zeitnah ändern und durch weitere NIC's erweitern und in 3 Netze (Storage, Failover, Client/VM) aufteilen.

 

Mit Stores meine ich die zwei "QNAP TS-EC1679U-SAS-RP" die wir im Einsatz haben. Diese haben ebenfalls zwei 10Gbit-Ports, die ebenfalls eine eigenständige IP-Adresse im gleichen Subnetz wie die Hosts haben.

 

In den einzelnen Speicherpools (zB. RAID10) sind wiederum mehrere iSCSI-Ziele mit jeweils 2 LUN's konfiguriert. Pro LUN sind 2 VM's abgelegt.

An den Hosts sind die iSCSI-Ziele direkt eingebunden und werden in einem CSV abgelegt (wenn ich das so richtig analysiert habe, es gibt auf allen 3 Hosts einen Ordner "ClusterVolume" in dem alle VM's abgelegt sind).

 

Der Grund für die Aufteilung ist mit grosser Sicherheit der Versuch den Performanceproblemen zu entkommen.

 

Würde es evtl. schon helfen, wenn die Anzahl der iSCSI-Ziele reduziert wird? Was ist da so üblich?

 

Gruß,

René

bearbeitet von rssd1983
Link zu diesem Kommentar

Moin,

 

Im Moment läuft noch der gesamte Netzwerktraffic über diese Verbindung.

 

mit großer Sicherheit ist das dein Problem. iSCSI darf nie, nie, nie mit anderem Traffic vermischt werden. Separates Netz, mindestens separates VLAN und eigenes, nicht geroutetes IP-Segment.

 

Vermutlich wäre es nicht schlecht, wenn du dir mal jemanden ins Haus holst, der sich mit der Materie auskennt.

 

Gruß, Nils

Link zu diesem Kommentar

Hi Nils,

 

danke für die Antwort.

 

Ich werde jetzt schnellstmöglich das separate Netz erschaffen und das Konzept überarbeiten.

 

Ist die Konfiguration mit den zwei RAID10-Speicherpools sinnvoll oder sollte man die besser zusammenlegen zu einem grossen Speicherpool?

 

Und was mich auch stört, sind die "vielen" iSCSI-Ziele. Ist das sinnvoll mehrere zu haben oder sollte man die auch auf ein Minimum reduzieren?

 

Vielen Dank schon im Voraus

 

Grüße,

René

Link zu diesem Kommentar

Moin,

 

kann sinnvoll sein oder nicht, ist in einem Forum aber nicht sinnvoll diskutierbar. Das ist eine Designfrage, die viel mit den Anforderungen zu tun hat, weniger eine technische Frage.

 

Wenn ihr tatsächlich für euren Cluster nur eine einzige Netzwerk- und IP-Verbindung pro Node habt, wird auch sonst vermutlich einiges im Argen sein. Ich behaupte mal, dass zumindest punktuelles Einschalten eines kompetenten Externen euch schnell oder mittelfristig Geld spart.

 

Gruß, Nils

Link zu diesem Kommentar

Wir haben "nur" 1 GBe iSCSI aber keinerlei Probleme. Multipath, seperate Switche, seperates Netzwerk. Die NilsK schon schrieb wäre es gut wenn ihr den Traffic vom Rest trennt. (Netzwerkarten) Treiber, Firmware und ggf. MPIO Treiber auf den Geräten aktualisieren würde sicherlich auch nicht Schaden.

 

Das bei einem RAID Rebuild das Ganze komplett in die Knie geht ist ungewöhnlich. Klar hat man mehr Last drauf, aber eigentlich sollte ein stabiles System das aushalten. Eure RAID Konfiguration erscheint mir ein bisserl merkwürdig. Wozu die extra RAID5? Werden die iSCSI Verbindungen denn dann direkt in die VM geführt? Das ist eigentlich selten notwendig und meist nicht besonders gut für die Performance.

Link zu diesem Kommentar

RAID 6 ist für die Kisten vielleicht nicht ganz so der Burner. RAID 6 is super, wenn ich lange, sequenzielle IOs habe (Archivierung, Backup etc.). Kleine random IOs, gerade kleine Write IOs kann RAID 6 wahnsinnig schlecht. Vermutlich stecken da auch noch 7,2k SAS-NL oder so drin > Noch schlimmer.

 

Bei der Plattenkonstellation und dem Wunsch nach Performance: RAID 1+0. Wenn man Kapazität braucht: RAID 5.

Link zu diesem Kommentar

Guten Morgen,

 

@NilsK: Ich werde jetzt so schnell es geht den Traffic aufteilen und neue Hardware beschaffen (muss auch erst genehmigt werden). Sollten dann immernoch Probleme da sein, würde ich ein neues Thema eröffnen, da die Umsetzung ein paar Tage dauern könnte :-)

 

@Doso: Die RAID5-Speicherpools sind Datengräber, die zum Teil auch direkt über iSCSI an VM's eingebunden sind. Es gibt auch iSCSI-Verbindungen von VMs zu RAID10-Pools (z.B. Exchange)

 

@magheinz: Die kleinen RAIDs sind aus den Performanceeinbrüchen bei einem Rebuild entstanden. Somit waren dann nur 2-4 VMs betroffen und nicht alle. Es hat ganz am Anfang einmal ein großes RAID6 gegeben, das hat dann alles lahm gelegt bei einem Rebuild. Die Switche sind von Netgear (http://www.downloads.netgear.com/files/GDC/datasheet/en/XS708E.pdf). Ich würde spontan behaupten, dass die auf allen Ports gleichzeitig die 10Gb können

 

@DocData: RAID6 war damals anscheinend wirklich nicht gut :-). Als Platten stecken 600GB 15k SAS dahinter (HGST & Seagate). Ich plane aber die Kisten zu erweitern und möchte dann für die VMs mit SSDs arbeiten.

bearbeitet von rssd1983
Link zu diesem Kommentar

Moin,

 

wie gesagt: Komplettes Redesign mit jemandem, der sich auskennt. Die Stichworte und die Splitter, die du angibst, klingen nicht gut. Da kommen auch so Dinge dazu wie eure Konfiguration für Exchange - seit 2007, spätestens seit 2010 braucht Exchange keine große Storage-Performance mehr, regelmäßig ist das ein Kandidat für den "langsamen" Storage-Bereich.

 

Was mich überrascht, ist, dass bei euch Rebuilds angeblich so eine große Rolle spielen. Wie oft habt ihr denn sowas? Eigentlich ist das die große Ausnahme. Wenn es wirklich eine Rolle spielt, sucht euch ein neues Storage.

 

Gruß, Nils

Link zu diesem Kommentar
Der letzte Beitrag zu diesem Thema ist mehr als 180 Tage alt. Bitte erstelle einen neuen Beitrag zu Deiner Anfrage!

Schreibe einen Kommentar

Du kannst jetzt antworten und Dich später registrieren. Falls Du bereits ein Mitglied bist, logge Dich jetzt ein.

Gast
Auf dieses Thema antworten...

×   Du hast formatierten Text eingefügt.   Formatierung jetzt entfernen

  Only 75 emoji are allowed.

×   Dein Link wurde automatisch eingebettet.   Einbetten rückgängig machen und als Link darstellen

×   Dein vorheriger Inhalt wurde wiederhergestellt.   Editor-Fenster leeren

×   Du kannst Bilder nicht direkt einfügen. Lade Bilder hoch oder lade sie von einer URL.

×
×
  • Neu erstellen...