Jump to content

Robocopy - Fehler in EXE-Dateien bei Multithread


Der letzte Beitrag zu diesem Thema ist mehr als 180 Tage alt. Bitte erstelle einen neuen Beitrag zu Deiner Anfrage!

Empfohlene Beiträge

Wir nutzen Robocopy, um auf eine Vielzahl von Standorten Daten auf Networkshares per VPN zu kopieren. Bis von ca 18 Monaten gab es dabei nie Probleme. Es kam immer mal wieder vor, dass Die eine oder andere Datei mal kaputt gegangen ist aber das Problem ist jetzt, dass man es nicht an der Datei erkennen kann, da Datum, Größe, etc. alles gleich ist bis auf vielleicht das eine oder andere Bit in der Datei selbst.

EXE-Dateien laufen dann auch noch, zeigen aber dann Auffälligkeiten, so dass einige Programmfunktionen nicht mehr ordnungsgemäß laufen. Was wir wissen:

 

Das Problem ist existent:

  • egal ob Windows 7 oder Windows 10
  • egal ob neuste oder ältere Version
  • Nur bei MultiThread (bei Singlethread anscheinend nicht)
  • bei drei unterschiedlichen Computern
  • Betroffen sind EXE-Files mit unseren Programmversionen

 

Der Parameter /MT wird nicht genutzt, so dass Standard "8" genutzt werden müsste

Bei 7zip-Archiven konnten wir das Problem noch nicht feststellen

 

Hat jemand eine Idee oder kennt das Problem?  

 

Gibt es ansonsten ein ähnlich mächtiges Tool auf Kommandozeilennbasis, das vom Funktionsumfang her ähnlich ist und vielleicht auch noch mit Prüfsummen arbeitet.

 

Grüße Gustav

Link zu diesem Kommentar
vor einer Stunde schrieb Libretto:
 

Hat jemand eine Idee oder kennt das Problem? 

Hast Du denn verifiziert, dass es auch wirklich an robocopy liegt? Hast Du mal versucht, die betroffenen Dateien mit einem anderen Tool - notfalls einfach mit dem Windows-Explorer - zu transferieren? Es ist ziemlich unwahrscheinlich, dass robocopy nur einen bestimmten Dateityp nicht korrekt kopiert. Hast Du die Dateien in Quelle und Ziel mal per Check-Summe geprüft/verglichen? Mit Powershell Get-FileHash brauchst Du nicht mal ein externes Tool. ;-)

Link zu diesem Kommentar

Moin,

 

ich halte es auch für unwahrscheinlich, dass das Problem nur bei bestimmten Dateitypen auftritt. Vermutlich bemerkt man es bei den anderen Dateitypen nur nicht.

 

Wenn solche Probleme allerdings auftreten, sollte man neben einer Methode zum Entdecken auch nach den Ursachen forschen. Da ist möglicherweise irgendwas im VPN nicht okay - oder an anderer Stelle. 

 

Gruß, Nils

 

Link zu diesem Kommentar

@BOfH_666 Sequentiell ist auch das Kopieren mit Robocopy es kein Problem aber sobald es im Multithread läuft kann es passieren, dass von 50 Dateien 3-5 Bitfehler in die Datei bekommen. Ein bestimmter Dateityp muss nicht sein aber 7Zip Dateien als BEISPIEL BISHER machte noch nicht das Problem. Die Checksummen der Dateien sind unterschiedlich aber Robocopy selber interessiert sich ja nicht für Checksummen. Wäre ja nicht schlimm, wenn die Datei bei einem fehlerhaften Kopiervorgang eine andere Größe (0 Byte) oder ein falsches Datum hätte aber so ist es auf den ersten Blick erst einmal nicht direkt auszumachen.

 

Der Explorer würde es ja auch erst einmal nur sequentiell abarbeiten, was keine Probleme mit sich bringt.

 

Wir hatten ggf. eine Switch im Verdacht aber das Problem bestand nach einem Tausch weiterhin. Kann aber auch an einem Update von MS liegen oder Probleme bei der Übertragung auf mehrere IPSEC-Tunneln.

 

vor 16 Minuten schrieb NilsK:

Da ist möglicherweise irgendwas im VPN nicht okay - oder an anderer Stelle. 

 

Gruß, Nils

 

Wir nutzen IPFire und unsere Klienten die Digitalisierungsboxen der Telekom. das machen wir aber auch schon deutlich länger ohne Probleme. Der Verdacht ist uns auch schon gekommen. Vielleicht betrifft es auch vor allem Dateien, die - von wem auch immer - bei der Übertragung komprimiert werden, weshalb das Problem bei den sehr stark gepackten 7Zip-Dateien vielleicht nicht auftritt, da es da nichts mehr zum komprimieren gibt. Ausschließen wollten wir nur, dass es sich vielleicht um ein allgemeines Problem handelt im Zusammenhang mit Robocopy... Die Fehlersuche ansonsten dürfte hart werden, zumal aufgrund von Sicherheitsupdates Rückschritte innerhalb der IPFire VPN Schnittstelle ebenfalls keine Option sind.

Link zu diesem Kommentar

Moin,

 

naja, dann - intensiv beobachten und prüfen. Ein Weg über die PowerShell wurde dir schon genannt, eine andere Variante wäre fciv, was du bei Microsoft herunterladen kannst.

 

Wie gesagt, einen Fehler in robocopy würde ich erst mal nicht vermuten, das wird so viel eingesetzt, dass man davon sicher gehört hätte. Ausschließen kann man aber erst mal nix. Deine Überlegungen bezüglich der Komprimierung sind vielleicht gar nicht abwegig, aber das müsste man sicher intensiv strukturiert durch Tests überprüfen.

 

Gruß, Nils

 

bearbeitet von NilsK
Link zu diesem Kommentar

Zum VPN: IPFire arbeiten mit StrongSwan als VPN Gateway (alles über IPSec IKE 2)

 

Zum Virenscanner: Virenscanner ESET war testweise aus und Defender auch. Gleiches Ergebnis.

 

Zu Übertragung: Robocopy wird MEHRFACH (bis zu 10x) gestartet und überträgt dann ZEITGLEICH Daten auf 10 Standorte, was also bei einer Standard Multithread Einstellung (OHNE die Option /MT = 8 ) zeitgleich bis zu 80 Dateiübertragungen bedeutet.

 

Gab früher nie Probleme...Danke erst mal an Alle...

 

Link zu diesem Kommentar
vor 26 Minuten schrieb Libretto:

was also bei einer Standard Multithread Einstellung (OHNE die Option /MT = 8 ) zeitgleich bis zu 80 Dateiübertragungen bedeutet.

Hmmmm ... das glaube ich nicht. ;-)Ohne die Option /MT läuft robocopy im Single Thread Modus. Mit Option /MT aber ohne Angabe einer Anzahl werden 8 Threads bentutzt. Mit der Option /MT mit einer Zahl zwischen 1 und 128 werden die angegebenen Threads benutzt. Jedenfalls laut der robocopy Hilfe.

Link zu diesem Kommentar
Der letzte Beitrag zu diesem Thema ist mehr als 180 Tage alt. Bitte erstelle einen neuen Beitrag zu Deiner Anfrage!

Schreibe einen Kommentar

Du kannst jetzt antworten und Dich später registrieren. Falls Du bereits ein Mitglied bist, logge Dich jetzt ein.

Gast
Auf dieses Thema antworten...

×   Du hast formatierten Text eingefügt.   Formatierung jetzt entfernen

  Only 75 emoji are allowed.

×   Dein Link wurde automatisch eingebettet.   Einbetten rückgängig machen und als Link darstellen

×   Dein vorheriger Inhalt wurde wiederhergestellt.   Editor-Fenster leeren

×   Du kannst Bilder nicht direkt einfügen. Lade Bilder hoch oder lade sie von einer URL.

×
×
  • Neu erstellen...