10GBe für Server/Storage - was setzt ihr ein?

[Doso 77]

Bei uns gibt es den Wunsch im nächsten Hardwarezyklus unseren Serverraum zumindest intern auf 10GBe auszurüsten. Eine Anbindung nach extern auf 10GBe (aktuell 1 GBe) kann leider noch ein bisserl dauern.

 

Unser SAN (wird ggf. 2019 auch getauscht) hat bereits 10Gbase-T mit RJ45 Steckern. Dazu kommen noch 5 größere Hyper-V Hosts in einem Cluster, aktuell mit 8 genutzten 1GBe Netzwerkanschlüssen. NIC Team mit jeweils 2 Ports für VMs, 2 Ports für das eine SAN, 2 Ports für das andere SAN und 2 Port für Cluster/Live Migration. Ja wir haben aktuell 2 SANs im Einsatz. Ich vermute einfach mal das kann man dann auf 4 Ports zusammen dampfen.

 

Scheinbar sind 10GBase-T Netzwerkkarten von Intel (Intel X540-T2) mittlerweile auch im bezahlbaren Bereich. Nur bei den Switchen stehe ich komplett auf dem Schlauch. Hat hier jemand gerade eine Empfehlung bzw. Erfahrung mit 10GBase-T Dingern?

 

Oder sollte man alternativ komplett weg von diesem ganzen 10GBase-T Krams und doch direkt auf SFP+ setzen weil... "das ist die Zukunft!". Es ist nicht viel Distanz zu überbrücken da wir nur 3 Racks haben, daher würden wohl auch Direct attached Kabel reichen.

 

Letztlich ist Geld da, mir stellt sich halt die Technolgiefrage. Über Meinungen und Erfahrungen würde ich mich freuen.

[magheinz 100]

Im Rechenzentrum bin ich ein Freund der DAC-, Twinax-, oder wie auch immer- Kabel.

Die sind robust und Preiswert.

[DocData 85]

Dem gibt es nichts hinzuzufügen. 10GBase-T mache ich im RZ nur da, wo ich Strecken überbrücken muss, die mit DAC nicht gehen.

[Nobbyaushb 1.355]

Tach,

 

bei meinem primären Arbeitgeber haben wir im Core-Bereich HP 55Serie 10GB Switche, 4 Stück zu je 48 Ports, max. 2 dürfen aus Redundanz-Gründen sterben.

 

Das Storage unter dem Hyper-V-Cluster ist mit je 4*10GB angebunden.

 

Im Core-Bereich haben wir Glasfaser only.

 

Könnte noch viel mehr schreiben....

 

Wenn du auf die nächsten 10 Jahre planst, kommst du um Glasfaser OM4 nicht vorbei.

 

Die Melanox 25, 40 und 100GB R-DMA Karten sind meiner Meinung nach im Enterprise-Bereich heute Standard, wie vor 4 Jahren 10GB bei uns damals.

 

Guck mal auf den Seiten von Carsten.

 

;)

[DocData 85]

Wenn du die nächsten 10 Jahre planst, dann bitte nur SM.

[magheinz 100]

IT und 10 Jahre planen...

Glasfasern sind schön und gut. Innerhalb des Rechenzentrums für 10Gbit aber nicht sinnvoll außer die Kabel sind länger als 15Meter. Singlemode um drei Schränke zu verbinden? da musst du ja schon wieder Dämpfungsglieder einbauen damit die Laser sich nicht gegenseitig zerbrutzeln. Will man richtig auf Glasfasern umsteigen sollte man auch die Nebeneffekte beachten: Mess und Spleisstechnik ist schweine teuer.

 

Bei den Kabellängen: DAC und gut ist.

bearbeitet 5. Dezember 2017 von magheinz

[Nobbyaushb 1.355]

Bei den Kabellängen: DAC und gut ist.

Wir haben alles in zwei (eigentlich sogar vier..) getrennten Serverräumen, sowohl Storage als auch Cluster, daher nix mit DAC.

 

Sind etwa 200m dazwischen.

 

Achja - Backup nochmal physisch getrennt.

 

;)

[DocData 85]

IT und 10 Jahre planen...

Glasfasern sind schön und gut. Innerhalb des Rechenzentrums für 10Gbit aber nicht sinnvoll außer die Kabel sind länger als 15Meter. Singlemode um drei Schränke zu verbinden? da musst du ja schon wieder Dämpfungsglieder einbauen damit die Laser sich nicht gegenseitig zerbrutzeln. Will man richtig auf Glasfasern umsteigen sollte man auch die Nebeneffekte beachten: Mess und Spleisstechnik ist schweine teuer.

 

Ich hatte SM nicht für Intra-RZ angedacht. War undeutlich, sorry.

[magheinz 100]

Wenn ich den OP nicht falsch verstanden habe, dann sind das komolett andere Anforderungen. Ausserdem schrieb ich ja extra die Längenbeschränkung von 15Meter. Zwischen Serverräume und Gebäude kann man ja auch gerne SM bauen. Wir haben ca 3000-5000 Switchports(je nach Zählweiwe). Ob die alle SM oder doch die meisten MM sind macht einen erheblichen Preisunterschied aus. Ich sehe aber auch technische Vorteile bei SM, keie Frage. Ob die aber immer den Aufpreis rechtfertigen muss man wissen. Bei Cisco-SFP+ ist der Unterschied fast eine Null am Ende mehr.

[Doso 77]

In 10 Jahren sehe ich die 60 Server die wir haben "irgendwo" in der Cloud.

 

Sind diese Direct Attached Kabel nicht ein bisserl nervig zu verlegen? Ich muss da ja immerhin so um 20-30 Stück verlegen, und die Hyper-V Nodes sind kleine 1 HE Server. Das war schon mit "normalen" Twisted Pair Kabeln ein bisserl fummelig teilweise.

[DocData 85]

Warum 20 bis 30??? Das sind 10 GbE.

[magheinz 100]

In 10 Jahren sehe ich die 60 Server die wir haben "irgendwo" in der Cloud.

 

Sind diese Direct Attached Kabel nicht ein bisserl nervig zu verlegen? Ich muss da ja immerhin so um 20-30 Stück verlegen, und die Hyper-V Nodes sind kleine 1 HE Server. Das war schon mit "normalen" Twisted Pair Kabeln ein bisserl fummelig teilweise.

Dicker sind die, dafür aber auch robuster.

Nimm halt nicht die Kürzesten sondern plane etwas Längenreserve ein für größere Biegeradien.

Übrigens: Wegen dieser Verkabelung setzen wir auf Bladecenter