1Gbit Netzwerk - Performance

[richidd 10]

Ich hab hier ein Problem aus dem ich Momentan nicht so richtig schlau draus werde.

Ich habe 1Gbit Verkabelung allerdings wird dies von den Clients nur mit ca. 10-15Mbyte/s ausgelastet.

 

Komponenten:

Gbit Switch Linksys SRW2024

Twistet Pair Cat5e Kabel

1Gbit NICs

Avg. RTT = 0.2ms

 

Ich habe 2 Server: Windows Server 2008 und Mac OS X Server 10.5.8

und ich habe 2 Clients: Windows XP und OS X 10.5.8

 

Wenn ich mich nun von den Clients auf die Server verbinde (CIFS/SMB)

und etwas kopiere, wird das Netzwerk nur zu ca. 10% ausgelastet. Also 10MByte/s von theoretisch 100MByte/s. Wenn ich mich allerdings vom Windows Server2008 auf den OS X Server per CIFS/SMB verbinde, dann habe ich eine Übertragungsrate von 90 - 100 MByte/s.

Wenn ich mich von den Mac OS X Server auf den Windows Server 2008 verbinde sind es immerhin noch zw. 30-40MByte/s.

 

Die Netzwerkverbindung aller Endgeräte steht mit 1Gbit.

 

Ich habe die Vermutung, dass es Client-seitig Probleme mit dem "automatischen" TCP Window scaling bzw. TCP Buffer Size geben könnte.

Ist die TCP Window Size nur beim Empfänger oder auch beim Sender wichtig?

 

Hat jmd ähnliche Erfahrungen gemacht oder eine Idee woran das liegen könnte?

[Windowsbetatest 10]

Hallo,

 

die Vermutung liegt erstmal nahe, das es am PCI-Bus (Bandbreite) oder an den TCP Parametern liegt.

 

Nimm dir mal jperf und messe die rohe Datenrate der Verbindung.

 

Jperf mach RAM zu RAM kopien, somit hast du das PCI Problem nicht mehr.

 

Wenn jperf mit einer Verbindung 300 MBit/s hat und mit z.B. zehn Verbindungen 900 MBit/s, hast du ein TCP Window Problem.

 

Liegt dr Wert für zehn Verbindungen unter 800 bis 900 MBit/s hast ein Bandbreiten (LAN, Switch ...) oder CPU Problem (TCP Offload, Switch CPU ...)

 

mfg

[richidd 10]

OK Also das sind meine Ergebnisse von jperf bei Standardeinstellungen.

Windows Server 2008 = jperf Server

Windows XP = jperf Client

 

TCP:

------------------------------------------------------------

Client connecting to 192.168.0.1, TCP port 5001

TCP window size: 0.01 MByte (default)

------------------------------------------------------------

[108] local 192.168.0.2 port 49235 connected with 192.168.0.1 port 5001

[ ID] Interval Transfer Bandwidth

[108] 0.0- 1.0 sec 20.2 MBytes 20.2 MBytes/sec

[108] 1.0- 2.0 sec 20.2 MBytes 20.2 MBytes/sec

[108] 2.0- 3.0 sec 20.1 MBytes 20.1 MBytes/sec

[108] 3.0- 4.0 sec 20.2 MBytes 20.2 MBytes/sec

[108] 4.0- 5.0 sec 20.1 MBytes 20.1 MBytes/sec

[108] 5.0- 6.0 sec 20.2 MBytes 20.2 MBytes/sec

[108] 6.0- 7.0 sec 20.3 MBytes 20.3 MBytes/sec

[108] 7.0- 8.0 sec 19.5 MBytes 19.5 MBytes/sec

[108] 8.0- 9.0 sec 20.2 MBytes 20.2 MBytes/sec

[108] 9.0-10.0 sec 20.5 MBytes 20.5 MBytes/sec

[108] 0.0-10.0 sec 202 MBytes 20.1 MBytes/sec

Done.

 

UDP @100MB Bandwith:

------------------------------------------------------------

Client connecting to 192.168.0.1, UDP port 5001

Sending 1470 byte datagrams

UDP buffer size: 0.01 MByte (default)

------------------------------------------------------------

[108] local 192.168.0.2 port 60732 connected with 192.168.0.1 port 5001

[ ID] Interval Transfer Bandwidth

[108] 0.0- 1.0 sec 11.9 MBytes 11.9 MBytes/sec

[108] 1.0- 2.0 sec 11.9 MBytes 11.9 MBytes/sec

[108] 2.0- 3.0 sec 11.8 MBytes 11.8 MBytes/sec

[108] 3.0- 4.0 sec 12.0 MBytes 12.0 MBytes/sec

[108] 4.0- 5.0 sec 11.7 MBytes 11.7 MBytes/sec

[108] 5.0- 6.0 sec 11.8 MBytes 11.8 MBytes/sec

[108] 6.0- 7.0 sec 11.8 MBytes 11.8 MBytes/sec

[108] 7.0- 8.0 sec 12.0 MBytes 12.0 MBytes/sec

[108] 8.0- 9.0 sec 11.8 MBytes 11.8 MBytes/sec

[108] 9.0-10.0 sec 11.8 MBytes 11.8 MBytes/sec

[108] 0.0-10.0 sec 119 MBytes 11.9 MBytes/sec

[108] Server Report:

[108] 0.0-13.7 sec 118 MBytes 8.63 MBytes/sec 0.132 ms 209/84598 (0.25%)

[108] Sent 84598 datagrams

Done.

 

Nicht gerade berauschend.

[Windowsbetatest 10]

Hallo,

 

das sieht nach TCP Window aus. Test mal mit 10 (oder 20) gleichzeitigen Streams.

 

mfg

[richidd 10]

So hab ich gemacht, da sieht es schon besser aus.

Wieder alles Standardeinstellungen und UDP 100MB Bandwith:

 

TCP - 10 Streams:

....

[ ID] Interval Transfer Bandwidth

[184] 9.0-10.0 sec 10.4 MBytes 10.4 MBytes/sec

[164] 9.0-10.0 sec 10.1 MBytes 10.1 MBytes/sec

[164] 0.0-10.0 sec 90.5 MBytes 9.04 MBytes/sec

[108] 9.0-10.0 sec 12.9 MBytes 12.9 MBytes/sec

[116] 9.0-10.0 sec 10.3 MBytes 10.3 MBytes/sec

[108] 0.0-10.0 sec 102 MBytes 10.2 MBytes/sec

[116] 0.0-10.0 sec 78.8 MBytes 7.86 MBytes/sec

[124] 9.0-10.0 sec 9.14 MBytes 9.14 MBytes/sec

[172] 9.0-10.0 sec 8.30 MBytes 8.30 MBytes/sec

[124] 0.0-10.0 sec 88.6 MBytes 8.84 MBytes/sec

[172] 0.0-10.0 sec 76.8 MBytes 7.67 MBytes/sec

[156] 9.0-10.0 sec 8.91 MBytes 8.91 MBytes/sec

[156] 0.0-10.0 sec 84.8 MBytes 8.44 MBytes/sec

[140] 9.0-10.0 sec 6.23 MBytes 6.23 MBytes/sec

[140] 0.0-10.3 sec 71.3 MBytes 6.95 MBytes/sec

[184] 0.0-10.3 sec 105 MBytes 10.2 MBytes/sec

[132] 9.0-10.0 sec 7.63 MBytes 7.63 MBytes/sec

[sUM] 9.0-10.0 sec 88.4 MBytes 88.4 MBytes/sec

[132] 0.0-10.3 sec 87.8 MBytes 8.50 MBytes/sec

[148] 0.0-10.5 sec 90.3 MBytes 8.60 MBytes/sec

[ ID] Interval Transfer Bandwidth

[sUM] 0.0-10.5 sec 876 MBytes 83.5 MBytes/sec

Done.

 

TCP - 20 Streams:

....

[ ID] Interval Transfer Bandwidth

[176] 0.0-10.2 sec 33.9 MBytes 3.33 MBytes/sec

[192] 9.0-10.0 sec 3.70 MBytes 3.70 MBytes/sec

[264] 9.0-10.0 sec 5.63 MBytes 5.63 MBytes/sec

[192] 0.0-10.3 sec 42.4 MBytes 4.13 MBytes/sec

[264] 0.0-10.3 sec 55.9 MBytes 5.45 MBytes/sec

[232] 9.0-10.0 sec 2.79 MBytes 2.79 MBytes/sec

[232] 0.0-10.4 sec 39.5 MBytes 3.81 MBytes/sec

[208] 9.0-10.0 sec 6.51 MBytes 6.51 MBytes/sec

[sUM] 9.0-10.0 sec 87.9 MBytes 87.9 MBytes/sec

[208] 0.0-10.4 sec 42.0 MBytes 4.03 MBytes/sec

[sUM] 0.0-10.4 sec 868 MBytes 83.5 MBytes/sec

Done.

 

UDP - 10 Streams:

...

[ ID] Interval Transfer Bandwidth

[116] 0.0-10.0 sec 41.6 MBytes 4.16 MBytes/sec

[156] WARNING: did not receive ack of last datagram after 10 tries.

[156] Sent 29630 datagrams

.

.

.

[116] WARNING: did not receive ack of last datagram after 10 tries.

[116] Sent 29655 datagrams

[sUM] 0.0-10.0 sec 416 MBytes 41.5 MBytes/sec

Done.

 

UDP - 20 Streams:

[ ID] Interval Transfer Bandwidth

[160] 0.0-10.0 sec 14.1 MBytes 1.41 MBytes/sec

[124] 9.0-10.0 sec 1.74 MBytes 1.74 MBytes/sec

[124] 0.0-10.0 sec 14.1 MBytes 1.41 MBytes/sec

[144] 9.0-10.0 sec 1.63 MBytes 1.63 MBytes/sec

[144] 0.0-10.0 sec 14.1 MBytes 1.40 MBytes/sec

[108] 9.0-10.0 sec 1.70 MBytes 1.70 MBytes/sec

[108] 0.0-10.0 sec 14.1 MBytes 1.40 MBytes/sec

[116] 9.0-10.0 sec 1.78 MBytes 1.78 MBytes/sec

[sUM] 9.0-10.0 sec 31.3 MBytes 31.3 MBytes/sec

[116] 0.0-10.0 sec 14.9 MBytes 1.49 MBytes/sec

[264] WARNING: did not receive ack of last datagram after 10 tries.

[264] Sent 10296 datagrams

.

.

.

[144] WARNING: did not receive ack of last datagram after 10 tries.

[144] Sent 10029 datagrams

[sUM] 0.0-10.2 sec 285 MBytes 28.1 MBytes/sec

Done.

 

Hmm also ich glaub UDP scheint hier nochmal nen Thema für sich zu sein.

Aber bei TCP macht es den Anschein, dass unter Windows und Mac die TCP Window Size und der Puffer nicht korrekt gescaled werden oder? Und die TCP Window Size dürfte nur beim Empfänger eine Rolle für die Übertragungsrate spielen?

[Windowsbetatest 10]

Hallo,

 

also die rohen Werte sehen gut aus. UDP für große Volumen aufwendiger und somit langsamer.

 

Bei Mac OS weiß ich es nicht, aber bei Windows XP ist das TCP Window 64 KB. Damit ist es nicht sehr schnell, stell es mal auf 1 MB und probiere es mit einer Verbindung nochmal.

 

Surfe mal zu

 

SpeedGuide.net :: The Broadband Guide

 

und post den Output.

 

mfg

[richidd 10]

Test wiederholt für TCP mit 1MB Window Size:

 

------------------------------------------------------------

Client connecting to 192.168.0.1, TCP port 5001

TCP window size: 1.00 MByte

------------------------------------------------------------

[108] local 192.168.0.2 port 51048 connected with 192.168.0.1 port 5001

[ ID] Interval Transfer Bandwidth

[108] 0.0- 1.0 sec 26.7 MBytes 26.7 MBytes/sec

[108] 1.0- 2.0 sec 26.6 MBytes 26.6 MBytes/sec

[108] 2.0- 3.0 sec 26.2 MBytes 26.2 MBytes/sec

[108] 3.0- 4.0 sec 26.1 MBytes 26.1 MBytes/sec

[108] 4.0- 5.0 sec 25.9 MBytes 25.9 MBytes/sec

[108] 5.0- 6.0 sec 26.2 MBytes 26.2 MBytes/sec

[108] 6.0- 7.0 sec 26.2 MBytes 26.2 MBytes/sec

[108] 7.0- 8.0 sec 26.2 MBytes 26.2 MBytes/sec

[108] 8.0- 9.0 sec 26.1 MBytes 26.1 MBytes/sec

[108] 9.0-10.0 sec 26.2 MBytes 26.2 MBytes/sec

[108] 0.0-10.0 sec 262 MBytes 26.1 MBytes/sec

Done.

 

Die Seite konnte ich leider nicht aufrufen.

Habe aber den Traffic mal gecaptured und bemerkt, dass das TCP Window niemals größer als 64 KB wird und nicht selten sogar auf 13-14KB abfällt. Also funktioniert ja was mit dem Scaling nicht so wie es sollte.