HP DL160 Gen9, VM verliert ständig die Netzwerkverbindung ESXI 6

[chv 0]

Servus zusammen,

 

Wir haben ein sehr Exotisches Problem mit einem HP Proliant Server, der sporadisch die Netzwerkverbindungen zur VM verliert ( host ist erreichbar) und suchen fieberhaft nach einer Lösung …

 

Ich habe bereits diesen Beitrag hier vor 4 Jahren hier im Forum gefunden:
http://www.mcseboard.de/topic/166441-vms-verlieren-sporadisch-netzwerkverbindung/page-2

 

Das Problem ist im grunde das selbe, wir haben einen Server HP DL160 Gen9
(Ganz neu) mit dem HP ESXI VMware 6.0 Image Installiert. Es läuft aktuell nur eine VM
(windows 2012r2) mit einer SQL Software auf dem Server.
 

Es passiert unregelmäßig, mal läuft der Server einen Tag mal drei oder fünf Tage am Stück bis es passiert. Die VM Hängt auch nicht, per Konsole können wir normal rein aber keinen PING raus oder rein durchführen, erst wenn wir die VM einfach neustarten ist diese wieder sauber erreichbar.
im Windows Log finden wir keinen Fehler oder Hinweis dazu.
Wir haben auch bereits Netzwerkkabel und Switch mal getauscht, auch eine HP Netzwerkkarte wurde zusätzlich eingebaut um zu schauen ob es an der Onboard Karte liegt, jedoch tritt der Fehler davon unabhängig weiter auf. Der Host insgesamt ist wie gesagt erreichbar.

Onboard Netzwerkkarte ist die I350 von HP
Zusatzkarte zum Testen war eine ältere: 82571EB

Wir haben auch Kontakt mit HP aufgenommen, die sich das ILO Log und ein erstelltes von der Windows VM sowie vom ESXI angeschaut haben.

Diese haben folgendes festgestellt, aber leider keine Lösung parat außer das Mainboard vom Server zu tauschen.

 

NIC statistics for vmnic1:

   Packets received: 301719

   Packets sent: 49915

   Bytes received: 59747535

   Bytes sent: 12929932

   Receive packets dropped: 0

   Transmit packets dropped: 0

   Multicast packets received: 106146

   Broadcast packets received: 0

   Multicast packets sent: 0

   Broadcast packets sent: 0

   Total receive errors: 304

   Receive length errors: 0

   Receive over errors: 0

   Receive CRC errors: 304

 

 

 

NIC statistics for vmnic0:

   Packets received: 547965

   Packets sent: 461734

   Bytes received: 107575886

   Bytes sent: 120392772

   Receive packets dropped: 0

   Transmit packets dropped: 0

   Multicast packets received: 103798

   Broadcast packets received: 0

   Multicast packets sent: 0

   Broadcast packets sent: 0

   Total receive errors: 1673

   Receive length errors: 0

   Receive over errors: 0

   Receive CRC errors: 1673

 

vmnic0  0000:05:00.0  igb     Up            Up             100  Full    fc:15:b4:8e:12:04  1500  Intel Corporation I350 Gigabit Network Connection

vmnic1  0000:05:00.1  igb     Up            Up             100  Full    fc:15:b4:8e:12:05  1500  Intel Corporation I350 Gigabit Network Connection

 

50331650            4       0 vSwitch1         fc:15:b4:8e:12:05  vmnic1

 

NICDriverInfo:

         Bus Info: 0000:05:00.0

         Driver: igb

         Firmware Version: 1.61, 0x80000c71

        Version: 5.2.10

 

(Wir haben dem Server teilweise mal nur eine Netzwerkkarte zugewiesen, aber auch schon mal beide, aber kein Bound o.ä erstellt.)

 

Wir haben auch bereits versucht wie im Beitrag oben die Netzwerkkarten auf 100Mbit zu stellen, das Problem tritt jedoch auch damit auf …

Auch die aktuellsten Hotfixes vom ESXI wurden eingespielt … es bringt alles nichts.

 

Wir verzweifeln … hat irgendwer noch eine Idee?

 

vielen dank jetzt schon für eure Tipps.

 

edit: mein kollege meinte noch das die CRC Fehler im Log auch je nachdem nichts mit diesem Problem zu tun haben müssen, das könnte zb auch durchs Backup (Acronis Vmware) produziert werden. (Hatte er schon mal an einer anderen Maschine, was aber unbedenklich sei)

bearbeitet 5. Februar 2016 von chv

[Sanches 22]

Moin (und willkommen im Board),

 

findet ihr keinen Hinweis im ESX Log zu diesem Phänomen?

Installiert doch mal ein zusätzliche VM und prüft deren Erreichbarkeit, ob das Verhalten auch bei dieser auftritt.

 

Ist das bereits ein produktives System?

 

Gruß Sebastian

[testperson 1.527]

Hi.

 

welche Netzwerkkarten nutzt du in der VM? Schalte mal das Recieve Side Scaling ab (netsh int tcp set global rsc=disabled) und boote die VM durch.

 

Gruß

Jan

[chv 0]

Ja ist bereits Produktiv, zum glück nich sehr intensiv, es läuft nur die AD und en kleines SQL Programm ... (es arbeiten aber nur 3 Leute aktuell aktiv mit dem System, gott sei dank)

Wir haben bereits eine Acronis VM Installiert, das Problem scheint auch dort zu sein, bzw ist es so wenn ich lokal bin und dann die acronis vm Pingen will ... antwortet diese auch nicht mehr ... nur noch der eigentliche esxi host dann erreichbar.

 

es wird diese netzwerkkarte genutzt (onboard) : Intel Corporation I350 Gigabit Network Connection

@testperson, wir werden deinen tipp heute abend testen, da aktuell auf der vm gearbeitet wird ... ich gebe bescheid,.

[zahni 521]

Zunächst mal die neusten Updates installieren:

 

https://esxi-patches.v-front.de/ESXi-6.0.0.html

 

Ansonsten:

 

Wie ist der VSwitch konfiguriert?

Was hängen am anderen Ende für Switche? Sind die  Kabel  von ausreichender Qualität?

Über die Paar CRC- und Receive-Fehler würde ich mir zunächst nicht zu viele Gedanken machen.

Welche virtuelle NIC wird  in der VM verwendet. Ich empfehle VMXNET3. Sind die VMare-Tools in der VM auch aktualisiert worden? Das müsste möglich sein, wenn obige Updates installiert worden sind.

Die neusten Tools findet man u.a. hier:  https://packages.vmware.com/tools/releases/latest/windows/x64/index.html

 

Edit: Bei HP gibt es auch aktuelle Treiber, z.B. für den igb-Contoller:

 

http://h20565.www2.hpe.com/hpsc/swd/public/readIndex?sp4ts.oid=7268998&swLangOid=8&swEnvOid=4183

 

Das müsste sich alles auch direkt mit dem HP-Service Pack-Installer remote installieren lassen (der kann auch ESXI)

bearbeitet 5. Februar 2016 von zahni

[Smalltalk 3]

Moin,

 

wurde an der Standard-Konfig des vSwitch etwas verändert?

Gibt es besondere Einstellungen an den Switch-Ports?

 

Gab es das Problem auch als nur eine einzelne Netzwerkkarte zugewiesen war? Bzw. wurde hier der vSwitch angepasst dass nur diese eine Karte präsentiert wurde?

 

Und - gibt es das Problem seit Installation des ESX oder kam es erst nach einer gewissen Zeit?

[chv 0]

Servus zusammen,

 

wir gehen jetzt mal schritt für schritt eure ideen durch, aktuell haben wir vom

testperson den befehl mal getestet ...

 

mal schauen ob es was bringt / ändert.

 

insgesamt sei noch gesagt, im normallfall ist eine netzwerkkarte für die vm eingetragen , also nichts gebündelt ... oder mehrer parallel !

 

es ist eigentlich auch alles standard voreingestellt ... mein kollege wird wohl morgen wenn zeit ist deine details

zahni noch durch gehen.

 

hotfixes vom esxi hat er auf jeden fall schon gemacht und hp meinte die firmware von den lan karten sind auch "sauber"

[zahni 521]

Wie schon mehrfach geschrieben: Wie sind die virtuellen Switche konfiguriert? Du kannst keine NICs "direkt" eintragen. 

[Gipsy 13]

Hallo,

 

welche Netzwerkkarte hast du bei der VM ausgewählt?

VMXNET oder E1XXXX?

 

Wir hatten das genaue Problem auch und das Problem war, dass wir aus historischen Gründen immer den E1000 eingestellt hatten.

 

Ab Windows Server 2012 gibt es damit Probleme.

 

Nachdem wir auf VMXNET umgestellt und ein paar Hotfixe installiert haben war das Problem weg :-)

 

Viele Grüße

Gipsy

[chv 0]

hier ein screen der aktuellen einstellungen ...

 

aktuell sind beide mal zugewiesen aber nur die eine ( erste ) ist in windows aktiviert ... die zweite hängt an einem weiteren router weil wir getestet haben obs am router liegt ...

also wir haben jetzt von E1000 auf VMXNET 3 gestellt !

bearbeitet 6. Februar 2016 von chv

[zahni 521]

Wieso sin denn beide VMs mit beiden Switchen verbunden? Die müssen ja 2 virtuelle NICs haben. Hier sind Probleme vorprogrammiert.

 

In Deiner Umgebung: Installiere einen VSwitch, hänge da beide NICs rein und verwende als Teaming-Policy "Route based on the originating port ID" . Pro VM eine NIC und fertig.

[chv 0]

Das ist nur die aktuelle ... es sind zwei nics vorhanden normal eine für vm und eine für acronis ( Backup ) ... der screen ist jetzt im grunde vööööllig falsch ... wir probieren seit wochen rum ... um die lösung zu finden wieso auf einmal die verbindung abbricht zur vm ... vll bringt ja die VMX.. umstellung was ... wir beobachten jetzt und geben feedback.

[Smalltalk 3]

Ohne dir zu Nahe treten zu wollen. Doch ich glaube dass an dem System einfach mal überall rumgestellt wurde.

 

Hat der virtuelle Windows Server zwei Netzwerkkarten präsentiert? Hat er diese evtl. im Bonding oder sind es zwei getrennte Karten mit unterschiedlichen IP-Adressen? Wie sind die Switch-Ports am physikalischen Switch konfiguriert? Seid ihr euch sicher dass euch kein SpanningTree reinschlägt? Wie hoch ist dort der Counter und verändert er sich mehrfach am Tag?

 

Bitte, wenn kein IPv6 genutzt wird, dieses auch mal abschalten. Gibt genügend Beispiele für ältere Umgebungen in denen es unnötig Last im Netzwerk erzeugt. In diesem Fall auf dem Management-Interface.

[Doso 77]

Bitte, wenn kein IPv6 genutzt wird, dieses auch mal abschalten+

 

Best practice bei Windows Server ist es IPv6 nicht abzuschalten, außer man hat ganz konkret Probleme damit. Einfach mal "auf Verdacht" abschalten macht eher was kaputt als das es nützt.

[Smalltalk 3]

Best practice bei Windows Server ist es IPv6 nicht abzuschalten, außer man hat ganz konkret Probleme damit. Einfach mal "auf Verdacht" abschalten macht eher was kaputt als das es nützt.

 

Und woher ziehst du diese Erfahrungen?

Wir hatten in der Vergangenheit ein "paar" Kunden die durch das aktivierte IPv6 Protokoll in ihrer veralteten Infrastruktur Performanceprobleme bekommen hatten. Durch interessante Phänomene mit IPv6-Multicast.