Jump to content

Bei Speicher Migration geht Performance des kompletten Clusters in die Knie


Der letzte Beitrag zu diesem Thema ist mehr als 180 Tage alt. Bitte erstelle einen neuen Beitrag zu Deiner Anfrage!

Empfohlene Beiträge

Hi,

 

wir haben hier nen Hyper-V Cluster mit 3 2K8R2 Datacenter Servern. Dazu drei Storages: 1x DELL Equallogic (10GBit) und 2x normale iSCSI Storages (1GBit)

Netzwerk ist nach BestPractice und derzeit mögliche Anzahl an Netzwerkkarten Konfiguriert. Heißt:

4 LANs:

1x iSCSI

1x LAN Normal + Host

1x Live Migration

1x CSV Heartbeat

 

Dazu noch einen Server mit SCVMM 2008 R2.

 

Zum Problem: Verschieb ich beispielsweiße eine Maschine von Volume 1 nach Volume 2 oder Erstelle eine neue VHD mit fixed Size, geht in derzeit eigentlich genau gar nix mehr. Alle Maschine sind sau lahm. Ewige Sanduhren. Auch die VMs welche auf dem Volume 3 (EQUALLogic) liegen.

Ich finde jedoch nirgens eine zu Hohe Auslastung beispielsweise langweilen sich die Netzwerkschnittstellen der Storages oder der Hyper-V Host obwohl eigentlich eine Speichermigration läuft.

 

Hab ich hier irgendwo eine Fehler oder muss noch etwas eingestellt werden!? Einzig wo ich vielleicht ansetzen könnte: Ich hab ja eine eigene Netzwerkschnittstelle für Live Migration, wird diese auch bei einer SpeicherMigration benutzt!? Weil das wäre ja falsch hier sollte er ja das Netz iSCSI nutzen..., muss das vielleicht auch noch für Live Migration aktiviert werden!?

 

Zweite Überlegung von mir wäre noch. Wo läuft die Migration eigentlich ab!? Macht das der SCVMM Server oder die Hyper-V Host selber!? Schon die Hosts oder nicht? Mein SCVMM ist ja nur mit einer normal 1GBit Netzwerkkarte ans LAN angebunden.

 

 

Über irgendwelche Tipps wäre ich dankbar

bearbeitet von fireblade2000
Link zu diesem Kommentar

Die Hosts und die Equallogic sind mit je zwei 10GBits angebunden, die 2 anderen iSCSI Storages nur mit einer 1GBit.

 

Es laufen ca. 30 VMs

 

Was genau ist bzw. wie genau meinst Du Performance Monitoring laufen lassen?

 

Mir ist diese Verhalten jedoch auch schon damals aufgefallen und da waren es vielleicht 10 VMs. Ist also schon von anfang an, bzw. da dachte ich das liegt an den alten Storages.

 

EDIT: Obwohl ich dazu sagen muss... mir fällt gerade ein letzte Woche musste ich eine Datei (400GB) von dem Volume 2 (also 1GB iSCSI Target) auf meine Festplatte kopieren und das hat fast 20 Stunden gedauert...

 

Eventuell sollte ich dann das ganze mal Hyper-V unabhängig betrachten und die eigentlich Performance von der Anbindung der Storages mal prüfen. Habt ihr ne Idee wie ich das am besten messen kann? Oder Per Stoppuhr ne Datei kopieren

 

 

 

mmmh also wenn ich von einem Hyper-V Host eine Datei auf mein Storages schiebe. Bsp 1GB Datei auf C:\ClusterStorage\Volume2 und C:\ClusterStorage\Volume3 dann geht das innerhalb von Sekunden. ABER über die CSV-HEARTBEAT NIC und da zu 100% Auslastung. Schieb ich etwas von meinem Rechner über die Freigabe \\HYP3\c$\ClusterStorage\Volume2 auf das Storage geht es ebenfalls über die CSV Heartbeat NIC aber sehr langsam und mit ständiger Unterbrechung (siehe Bild)

 

 

 

post-15294-0-10347100-1357563050_thumb.jpg

 

Ist hier der Hund falsch begraben!? Sollte das ganze nicht über meine iSCSI NIC gehen? Oder muss/ist die CSV Heartbeat NIC und die iSCSI NIC die gleiche sein?

bearbeitet von fireblade2000
Link zu diesem Kommentar

Das sind drei DELL PowerEdge M610 Server mit 48GB RAM und zwei E5620 CPUs.

 

dazu zwei Boardcom BCM57095 1GBit Karten (eine Onboard) mit je zwei Ports sowie einer Broadcoam BCM57711 10GBit Karte mit zwei Ports.

Das ganze ist dann an einem 10GB Backbone mit zwei Active/Active DELL PowerConnect 10GBit Switches angebunden, an dem dann die Equallogic dran hängt. Die alten iSCSI Storages hängen hier jeweils an einem Port eines 10GBit Switches da diese ja nur ein 1GBit Port haben.

bearbeitet von fireblade2000
Link zu diesem Kommentar

Moin,

 

ohne es jetzt in der Tiefe analysiert zu haben, klingt das für mich nach Redirected I/O Mode im CSV (Cluster-Shared Volume). Kurz gesagt: Bei bestimmten datenträgernahen Aktivitäten muss Hyper-V in den Redirected Mode umschalten, in dem ALLE Speicherzugriffe sämtlicher VMs nicht mehr über die SAN-Verbindung laufen, sondern über die normalen Netzwerkverbindungen des CSV Coordinator Node. Das führt dann zu dem Leistungsverhalten, das du beschreibst.

 

http://www.faq-o-matic.net/2011/10/26/hyper-v-csv-vss-speicher-und-backup-voraussetzungen/

 

In Windows Server 2012 ändert sich das Verhalten für die meisten Szenarien. Ob deines dazugehören würde, kann ich so ohne Weiteres nicht beurteilen.

 

Schöne Grüße, Nils

bearbeitet von NilsK
Link zu diesem Kommentar

klingt zumindest mal nach meinem Verhalten.

 

Hiese das im Groben: Umsteigen auf 2012 oder würde man die Problematik vielleicht beheben, wenn ich das dann gleich berücksichtige.

 

Weil ich sowieso 2013/2014 auf eine komplette neue Server Hyper-V Farm samt neuem Netzwerkmodell umsteigen will

 

EDIT: Also wenn ich den Faq-o-matic Artikel lese wird mir fast schlecht...

das klingt ja genau nach meinem Verhalten..., es wird ja z.B. empfohlen keine dynamische VHDs zu benutzen. Ich benutzte gerade wegen dem dynamische. Weil wenn ich eine Fixed VHD mit z.B. 500GB anlegen, dann wird beim Erstellen für die nächsten 3-4 Stunden meine Farm sau lahm. Bei einer dynamischen wird ja nur das angelegt was verbraucht wird und ist somit da ohne meine Farm zu bremsen.

 

Somit beißt sich die Ratte in den eigenen Schwanz...

bearbeitet von fireblade2000
Link zu diesem Kommentar

Daher meine Frage nach den NICs.

 

EDIT: Obwohl ich dazu sagen muss... mir fällt gerade ein letzte Woche musste ich eine Datei (400GB) von dem Volume 2 (also 1GB iSCSI Target) auf meine Festplatte kopieren und das hat fast 20 Stunden gedauert...

 

Eventuell sollte ich dann das ganze mal Hyper-V unabhängig betrachten und die eigentlich Performance von der Anbindung der Storages mal prüfen. Habt ihr ne Idee wie ich das am besten messen kann? Oder Per Stoppuhr ne Datei kopieren

 

Deine Frage nach einem Test und einer Analyse ist ein guter Ansatz, iometer und netio werden genauere Aussagen zur Performance (Netzwerk, Storage) erlauben.

 

M.E. hast Du ein Problem mit den Nodes, und das vermutlich unabhängig von CSV oder Clustering.

Ob das durch ein reines Upgrade auf 2012 von selbst verschwindet...?

Link zu diesem Kommentar

Also her mit iometer..., hat mir jemand ein paar Testideen wie ich das am besten angehe oder soll ich mal selber probieren

 

M.E. hast Du ein Problem mit den Nodes, und das vermutlich unabhängig von CSV oder Clustering.

Ob das durch ein reines Upgrade auf 2012 von selbst verschwindet...?

Ein reines Upgrade gibt es ja nicht, das werden komplett neue Maschinen, auch nicht mehr in einem Bladecenter und mit beliebiger Anzahl an Netzwerkkarten. Deswegen wäre es ja sogar wichtig mein Problem zu analysieren, dann mach ich es in der neuen Farm gleich richtig. Diese hier war ja mehr als Einstieg in die Thematik Hyper-V gedacht. Aber wie so alles wächst es halt doch recht schnell und wird immer wichtiger.

bearbeitet von fireblade2000
Link zu diesem Kommentar

Moin,

 

Hiese das im Groben: Umsteigen auf 2012 oder würde man die Problematik vielleicht beheben, wenn ich das dann gleich berücksichtige.

 

nein, so einfach sollte man das nicht sehen. Zum einen ist bei den von dir genannten Werten vermutlich tatsächlich noch Weiteres im Busch, wie Lian schon vermutet. Zum anderen ist doch die Frage, warum du dein System so oft in den Redirected Mode zwingst. Wenn du ständig VMs von einem Volume aufs andere verschiebst, scheint mir eher das Design nicht zu stimmen.

 

Darüber hinaus zeigt Aidans Whitepaper ja gerade auf, wie man CSV so designen kann, dass man den Redirected Mode möglichst vermeidet.

 

Bezüglich Dynamic VHD: Für die meisten Applikationen ist das ohnehin "not recommended", wenn nicht sogar "unsupported".

 

Schöne Grüße, Nils

Link zu diesem Kommentar

ok also erstmal Testen und analysieren...

 

@NilsK: Nein wir verschieben nicht ständig Volumes auf andere Storages, sondern ziehen alt auf neu um und dabei ist mir das ganze aufgefallen und hab es deswegen erstmal gebremst bzw. nur nachts gemacht.

 

Neu ist das mir die Probleme nun auch beim Erstellen von Fixed VHDs (da man ja gelernt hat keine dynamischen mehr zu nehmen) auffallen und normales Kopieren vom CSV ewig dauert. Deswegen hab ich diesen Thread eröffnet weil das nicht normal sein kann.

Weil wie soll ich z.B. künftig auf Fixed VHDs umsteigen wenn allein das Erstellen meine Farm darnieder legt.

 

Also, muss ich das jetzt irgendwie mal analysieren und nochmal die Konfig Anhand dem Link von Necron durchgehen und das Whitepaper von Aidan lesen... viel zu tun (nebenher)

 

EDIT: Kleine Verständisfrage: Du schreibst wenn ich mein System in den Redirected Mode zwinge: Heißt das wenn ich VSS nutze oder eine Maschine verschiebe ist das normal das es so ist? Wäre für mein Verständnis mal ne wichtige Frage.

bearbeitet von fireblade2000
Link zu diesem Kommentar
Der letzte Beitrag zu diesem Thema ist mehr als 180 Tage alt. Bitte erstelle einen neuen Beitrag zu Deiner Anfrage!

Schreibe einen Kommentar

Du kannst jetzt antworten und Dich später registrieren. Falls Du bereits ein Mitglied bist, logge Dich jetzt ein.

Gast
Auf dieses Thema antworten...

×   Du hast formatierten Text eingefügt.   Formatierung jetzt entfernen

  Only 75 emoji are allowed.

×   Dein Link wurde automatisch eingebettet.   Einbetten rückgängig machen und als Link darstellen

×   Dein vorheriger Inhalt wurde wiederhergestellt.   Editor-Fenster leeren

×   Du kannst Bilder nicht direkt einfügen. Lade Bilder hoch oder lade sie von einer URL.

×
×
  • Neu erstellen...