Caching von große Dateien in Ram bei Netzwerkzugriff - Geschwindigkeit gering

[Matador 10]

Hallo,

ich habe eine Windows Home Server 2003 per Gigabit connected.

 

Kopieren von kleinen Dateien auf den Home Server mit 30-45 MB /sec.

Freier des Servers Ram bei 800 MB (von 1GB).

 

Problem beim Kopieren von Dateien vom Home Server:

1. kleine, d. h. 40 MB Dateien. GEschwindigkeit 14-18 MB /sec.

Ram geht runter beim Kopieren auf 750, am Ende eines Kopiervorganges einer Datei wieder sprunghaft hoch.

 

Wenn große Dateien vom Server kopiert werden, z. B. DVD Image, dann startet dies mit einer stark schwankenden GEschwindigkeit von 12 MB /sec. , geht dann zunehmend runter.

Der Ram sinkt permanent von 750 auf 15 (!) MB (dann wurden ca 3GB kopiert) und danach wird sogar noch ausgelagert. Server ist sehr lahm dann, weil alle Prozesse ausglagert werden (müssen).

Perfomance ist dann bei 2-3 MB /sec.

Ist der Kopiervorgang beendet und greift man auf einen anderen Ordner zu, dann springt der freie Ram innerhalb von 1 sec. auf 800MB (Ausgangswert).

 

Was ist da los.

[gysinma1 13]

Hallo

 

Für nähere Angaben währe zwingend, dass Du noch mehr Angaben machst zu der Hardware, Treiber und Betriebssystem. (Am Samstag arbeitet die Kristallkugel nur vormittags) :D

 

Das Verhalten des Servers ist jedoch (zumindest theoretisch gesehen absolut normal).

 

Windows 2003 beginnt nicht bei 100% Memorygebrauch auszulagern, sondern bei etwa 50% linear d.h. der Server beginnt bereits bei 512 MB RAM linear auszulagern.

 

Kopierprozesse finden grundsätzlich über die explorer.exe statt. Erst ab Windows 2008 ist der Memorystack der Netzwerkkarten markant vergrössert worden. Dies kommt jedoch nur in einem reinen Netz Windows 2008 <--> Windows Vista vollständig zum Zuge. Jedoch wird auch da der Memory verwendet.

 

Ich würde grundsätzlich mal so beginnen:

- Duplex: Sind alle Geräte fix eingestellt (gerade einige Serverbetriebssysteme machen sich mit autoduplex schwer. Ist ein Team vorhanden. Teaming ist offiziell von Microsoft nicht supported. (Seltene Info jedoch immer wieder gehört heisst jedoch nicht, dass es nicht geht. Würde ich aber mal zur Fehlersuche deaktivieren).

- Ist die Namensauflösung "sauber" (konfiguriert) ? DNS i.o. Wins okey. Netbios over TCP/IP enabled oder disabled jedoch nicht default automatisch.

- Ist der Gigabitswitch sauber konfiguriert (keine CRCs)

- Hast Du im Perfmon schon geschaut, ob sich Queues bilden auf den Netzwerkkarten

- Ist da ein Realtime Virenscanner auf dem Netz eingeschaltet

- Welcher Prozess ist es genau welcher den Memory belegt (processexplorer) zeit Dir jeden Unterprozess auch an

- Sind die Netzwerkkartentreiber aktuell

- Ist das Dateisystem in Ordnung (ich erlebte auch schon, dass die Disk n Knall hatte und das System die Daten nicht richtig schreiben konnte).

- Ein praktisches Tool ist auch der netmon.exe von Microsoft um Kuriositäten im Netz zu finden

 

Jedoch wie in der Einleitung: Kleine, viele Dateien belasten mehr im Kopiervorgang als Einzelne grosse (auch unter Einbezug "langsamer" Datenträger wie DVDs).

 

Gruss

Matthias

[Matador 10]

Das verhalten von WIndows bei mir kann nicht normal sein.

 

Wenn ich große Dateien heunterkopiere, geht das System derart rundlos in die Knie, das man praktisch nichts mehr dran machen kann, nur durch die extensive Haupspeicher, Auslagerungsdatei Nutzung, die CPU ist kaum ausgelastet. ( für Kenner wie wenn man Prime95 Blend Test macht und währendessen arbeiten will,)

 

Sempron 3200 auf Asus NF630 System 1GB Ram, 750GB Samsung frisch partitioniert, defragmentiert.

Frisches Home Server (auf 2003 Server basierend) Virenscanner, Firewall aus.

 

 

Kopierprozesse finden grundsätzlich über die explorer.exe statt.

Ja da liegt ja das Problem, die Explorer.Exe des Servers frisst nicht den Ram.

 

 

Jedoch wie in der Einleitung: Kleine, viele Dateien belasten mehr im Kopiervorgang als Einzelne grosse (auch unter Einbezug "langsamer" Datenträger wie DVDs).

Bei mir ist es doch genau anders herum. Erst bei großen Dateien, DVD Images von der Platte, machen das Problem.

 

 

 

- Hast Du im Perfmon schon geschaut, ob sich Queues bilden auf den Netzwerkkarten

Wie geht das?

[XP-Fan 215]

Hallo Matador,

 

du schreibst du hast einen Virenscanner und Firewall installiert.

Welche Produkte hast du im Einsatz ?

 

Welcher Prozess zieht sich denn auf dem Server die Leistung wenn

du am Kopieren bist.

[gysinma1 13]

Das verhalten von WIndows bei mir kann nicht normal sein.

 

Scheint es aber doch zu sein.

 

Wenn ich große Dateien heunterkopiere, geht das System derart rundlos in die Knie, das man praktisch nichts mehr dran machen kann, nur durch die extensive Haupspeicher, Auslagerungsdatei Nutzung, die CPU ist kaum ausgelastet. ( für Kenner wie wenn man Prime95 Blend Test macht und währendessen arbeiten will,)

 

 

Sempron 3200 auf Asus NF630 System 1GB Ram, 750GB Samsung frisch partitioniert, defragmentiert.

Frisches Home Server (auf 2003 Server basierend) Virenscanner, Firewall aus.

 

Und welche Netzwerkkarte, welcher Treiber, welche Version ?

 

 

 

Ja da liegt ja das Problem, die Explorer.Exe des Servers frisst nicht den Ram.

Ja was jetzt Ja/Nein :D, welcher Prozess ist es denn "SYSTEM"

 

 

Bei mir ist es doch genau anders herum. Erst bei großen Dateien, DVD Images von der Platte, machen das Problem.

 

Wie geht das?

 

Ich würde zuerst herauszufinden versuchen, welcher Prozess den Memory aufbläst. Den genauen Prozess dazu findest Du mit dem ProcessEXplorer von Microsoft sollte der Taskmanager lediglich "system" oder svhost angeben.

 

Danach perfmon starten (in der Eingabeauffoderung eingeben):

Der startet sofort. Das rote Icon mit dem weissen Kreuz klichen, damit es stoppt. Soviel mal das Kreuz anwählen das alle MessProvider weg sind. Das Kreuz auswählen, es öffnet sich ein Fenster (dort nimmst du mal Peformance

objects = Pulldown menu weiss nicht wie das auf Deutsch heisst):

 

SYSTEM und nimmst im unteren Feld Context Switches / sec, add

SYSTEM und nimmst im unteren Feld Processor Queue length / sec, add

MEMORY und Commited Bytes

NEtwork Interface Output Queue length

 

Damit solltest Du herausfinden, ob sich Queues auf den Netzadaptern aufbauen. Die Anzahl Contect Switches /sec und Processor Queue length sagen Dir etwas über den "Gesundheitszustand" des OS. evtl. wäre es sinnvoll auch physical disk hinzuzunehmen um eine mögliche queue auf dem Raid zu erkennen.

 

eDIT: Ich sehe auch den Thread von XP-FAN, deinstalliere komplett den Virsenscanner und die Firewall mal zum Testen.

 

Gruss

Matthias

[blub 115]

Hallo Matador,

Nutzt du den Windowsexplorer? Der ist -vorsichtig ausgedrückt- nicht darauf optimiert, grosse Datenmengen zu kopieren bzw. zu verschieben.

Probiers mal mit robocopy aus dem Reskit: Download details: Windows Server 2003 Resource Kit Tools

der machts deutlich besser

 

cu

blub

[Matador 10]

Hallo Matador,

 

du schreibst du hast einen Virenscanner und Firewall installiert.

Welche Produkte hast du im Einsatz ?

Die Firewall von WIndows, den Mcaffe 8.5 den hab ich aber erst nach dem Problem installiert, und jetzt ist es auch nicht schlechter.

 

 

Und welche Netzwerkkarte, welcher Treiber, welche Version ?

Neueste Treiber für Windows Server 2003 von Nvidia.

65.6.5.0 ist der Treiber für den Nforce Networking Controller.

 

 

Hallo Matador,

Nutzt du den Windowsexplorer? Der ist -vorsichtig ausgedrückt- nicht darauf optimiert, grosse Datenmengen zu kopieren bzw. zu verschieben.

Probiers mal mit robocopy aus dem Reskit: Download details: Windows Server 2003 Resource Kit Tools

der machts deutlich besser

Beim Client nutze ich den Windows Explorer mit Teracopy, das zeigt den Speed an und man kann die Buffer Size von 32kb bis auf 16 MB verändern.

 

_____________________________________________________

 

ch würde zuerst herauszufinden versuchen, welcher Prozess den Memory aufbläst. Den genauen Prozess dazu findest Du mit dem ProcessEXplorer von Microsoft sollte der Taskmanager lediglich "system" oder svhost angeben.

Ich habe mir schon den Process Explorer installiert, und parallel den Task Manager laufen (bei dem geht beim Kopieren der Ram ca 3-5 MB pro Sekunden kontinuierlich herunter).

Beim Process Explorer sehe ich den Übertäter aber irgendwie nicht, es verändert sich kaum was von Sekunde zu Sekunde ( Spalten Virtual Size, Page Faults, Working set, IO Read).

Jetzt nach dem Neustart, wo auch kein Programm mehr läuft auf dem Server ist es etwas besser.

Er geht bei einem großen Image von 7 GB von 750MB physikal. Speicher innerhalb von einigen Minuten auf 100 MB runter. Dann ist der Kopiervorgang beendet.

Fehtl da noch etwas beim Process Explorer?

 

 

___________

Zusatz: Jetzt war es wieder soweit, während des Kopierens einer 4GB Datei versuchte ich gegen ENde, wo die Datei mit 5 MB kopiert wurde, den Perfmon zu starten. Nach verzögerung von Start -> Ausführen musste ich ca 30 sec. auf perfmon warten, dass ganze System wirkte zäh.

[gysinma1 13]

Hallo

 

Ja welcher Process ist es denn, der sich aufbläst (jemand muss doch das Memory "wegnehmen"). Wenn der Prozess im Taskmanager (Spalte Memory) den Prozess als SYSTEM, SVHOST, NTDV, ... angibt, kannst Du im Processexplorer genau nachschauen, welche DLL und welche Komponente das verursacht.

 

Wähle activate lower window und gehe mit dem Cursos auf dem Prozess der Dir das Memory klaut. Dann sieht Du genau welche Libraries, Binaries etc. wie arbeiten.

 

Tipp:Starte zuerst den Explorer und beginne dann zu kopieren, es ist einfacher den Fehler zu finden. Ich würde auch zuerst mal versuchen, das Problem mit Windows Board Mittel zu lösen oder zu identifizieren. Jedes weitere Produkt ist auch eine Komponente mehr. (Ich persönlich arbeite zwar fast immer mit robocopy).

 

Gruss

Matthias

[Matador 10]

Jetzt dürft ihr Experten mal gucken:

 

Vor dem Kopieren vom Server hatte der Server 620MB Ram frei und man konnte dran arbeiten:

 

Beim Kopiervorgang bei 80% machte ich einen Screenshoot auf dem Server, der so stark ausgelastet war, das der SCreenshot 1,5 min gebdauert hat zu speichern:

 

 

Was sagt ihr nun, welcher Prozess nimmt sich die 600MB Ram ??

[blub 115]

hast du es jetzt mal mit robocopy versucht? Erklärung siehe oben

[gysinma1 13]

Hallo

 

Ich sehe das der searchindexer 240 MB benötigt. Ist dieser eingeschaltet, so ist klar, dass er sofort beginnt die neuen Daten zu indexieren. Bei einem Fileserver (es streiten sich zwar die Geister) sollte dieser abgeschaltet sein.

 

Gruss

Matthias

[Matador 10]

hast du es jetzt mal mit robocopy versucht? Erklärung siehe oben

Ja, damit geht der Ram zwar nicht runter, aber 1. Handling ist schlecht 2. eine 4,5 GB DVD Image wollte ich runterkopieren, und nach 20 min habe ich abgebrochen.

Nebenbei hat der Client wie verrückt dabei auf der Festplatte gerödelt.

 

 

Ist dieser eingeschaltet, so ist klar, dass er sofort beginnt die neuen Daten zu indexieren.

Wenn man Daten vom Server herunterkopiert, sind doch keine neuen da zum indexieren, oder?

Ich werde es aber trotzdem mal probieren.

[Matador 10]

Indexdienst ist bzw. war abgeschaltet, Problem tritt immer(noch) auf?

 

Einer ne Idee?

[Matador 10]

Also letzlich habe ich eine dicke Rar datei auf dem Server vom CLient aus geöffnet und auf den Client entpackt, war kein Problem.

Will ich diese jedoch auf den Client kopieren, geht die Perormance und der ram in die Knie.