Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

2,7 Millionen Dateien in kürstester Zeit kopieren

Mitglied: MC64de

MC64de (Level 1) - Jetzt verbinden

11.03.2010 um 10:01 Uhr, 13786 Aufrufe, 9 Kommentare

Hallo liebe Kollegen,

ich bin gerade etwas am verzweifeln. Ich muss ca. 2,7 Millionen Dateien, die in 7 Verzeichnissen verteilt sind, in ein einziges Verzeichnis so schnell wie möglich Kopieren. (=Die Verzeichnisse sollen zusammen geführt werden)

Wenn man dies ganz normal mit Windows-Explorer versucht, fängt der Kopiervorgang mit ca. 200 Dateien in der Sekunden an und sinkt mit der zunehmenden Anzahl an schon kopierten Dateien so lange ab, bis in der Sekunden nur noch 0,5 Dateien übertragen werden.

Durch den Einsatz eines Tools namens "FastCopy" habe ich versucht dieses Problem zu lösen und musste gestern festgestellt, dass das Programm auch nur noch 1 Datei in der Sekunde überträgt.

Hat jemand vielleicht eine Lösung wie ich die Dateien schnell kopieren kann?

Vielen Dank und freundliche Grüße
MC64de
Mitglied: KowaKowalski
11.03.2010 um 10:23 Uhr
Hi,


von wo nach wo möchtest Du kopieren?
per Netzwerk? oder sollen wirklich nur die Dateien auf einer Platte auf der sie eh schon sind zusammengeführt werden?

Wenn dem so ist: nicht kopieren! >>> sondern ausschneiden und (im neuen Verzeichnis) einfügen.
(Das klappt ohne Zeitverzug da die Daten nicht wirklick kopiert werden sondern nur die Position im Katalog angepasst wird)


Sollen Deine Daten aber übers Netz oder auch nur auf eine andere Platte im PC kannst Du diesen Weg vergessen.

Viel Spaß
kowa
Bitte warten ..
Mitglied: manuel-r
11.03.2010 um 11:00 Uhr
Meiner Erfahrung nach sind solche Copyjobs in aller Regel wesentlich schneller, wenn man sie über die Kommandozeile per copy, xcopy oder robocopy ausführt. Vielleicht gibt auch noch andere CLI-Tools die schneller sind. Wenn das ganze übers Netz passiert sollte die Geschwindigkeit zwischen Quelle und Ziel natürlich so schnell wie irgendwie möglich sein.
Eine weitere Möglichkeit wäre es die Daten auf der Quelle zuerst in ein ZIP/RAR zusammenzufassen. Dann die gesamte Datei auf das Ziel übertragen und dort wieder auspacken. Beim Kopieren einzelner Dateien übers Netz wird nämlich nicht einmal eine Verbindung aufgebaut und dann alles rüber geschoben sondern jedes Mal werden in den Ressourcen die Rechte und verfügbarer Speicherplatz geprüft. Diesen Vorgang merkt man schön daran, dass so lange kopiert wird, bis das Ziel voll ist oder irgendwann die Rechte nicht passen. Wäre es anders käme eine entsprechende Fehlermeldung nämlich schon gleich zu Beginn des Vorgangs. Das liegt zwar alles im Bereich von Sekundenbruchteilen summiert sich bei Tausenden oder Millionen von Dateien aber zu einer erheblichen Gesamtzeit.

Kleine Beispielrechnung:
Angenommen für die notwendigen Prüfungen werden je Datei 1ms benötigt, dann macht das bei 1 Mio Dateien schon mal eben 1.000.000 x 0,01s = 10.000s = 166 Min = 2,3 h aus. Du hast sogar 2,7 Mio Dateien, womit ich dann auf 450 Min = 7,5h komme. Und in der Realität gehe ich mal davon aus, dass 1ms je Vorgang nicht reichen wird.

Manuel
Bitte warten ..
Mitglied: MC64de
11.03.2010 um 11:06 Uhr
Hallo,

ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.

LG
MC64de
Bitte warten ..
Mitglied: KowaKowalski
11.03.2010 um 11:16 Uhr
Zitat von MC64de:
Hallo,

ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.


Da es also nach nem ArbeitsPC klang (viel Infos hast Du ja nicht rausgerückt) könnte es sein das Du noch mit IDE-Platten arbeitest.
Dann kannst Du nurnoch schauen das Deinen Platten im PC "clever" angeschlossen sind und nicht am selben Port hängen.


na dann
kowa
Bitte warten ..
Mitglied: AndreasHoster
11.03.2010 um 11:17 Uhr
2,7 Millionen Dateien in einem Verzeichnis unter Windows, das kann auf Dauer nicht gut gehen. Also schnellstens was besseres überlegen.

Aber wenns denn sein muß:
Erstens, NIEMALS NIEMALS NIEMALS mit dem Explorer auf dieses Verzeichnis zugreifen, allein der Aufbau der Darstellung sprengt Deinen Speicher und Deine Geduld. Nur mi Kommandozeilen Utilities arbeiten. Und bete, daß niemals ein Chkdsk-Lauf notwendig wird. Da wirst Du Stunden bis Tage warten.

Zweitens: Ich würde das dann mit Robocopy versuchen. Auch wenn die Geschwindigkeit da ebenfalls absinkt, weil das Bearbeiten der Verzeichnisstrukturen bei dieser Größe einfach aufwendig wird. NTFS verwendet B-Trees in den Verzeichnissen, was das finden von Dateien sehr schnell macht, aber bei einem B-Tree von 2,7 Millionen Einträgen einen weiteren hinzuzufügen, kostet eben etwas an Zeit.
Bitte warten ..
Mitglied: xhennex
11.03.2010 um 11:38 Uhr
Sehr schnelle und auch gute Erfahrungen habe ich mirt dem Kopieren enormer Dateimengen unter Knoppix gemacht.

Also, von CD starten und über den angebotenen Explorer von einer Platte auf die andere schieben.

Viel Glück dabei
Bitte warten ..
Mitglied: icogmbh
11.03.2010 um 12:04 Uhr
Hallo MC64de,

wenn die Zielfestplatte noch leer ist, würde ich die Festplatte klonen und dann wie KowaKowalski schrieb die Daten ausschneiden.

Gruß
icogmbh
Bitte warten ..
Mitglied: cardisch
11.03.2010 um 13:15 Uhr
Was hast du denn für Platten und Betriebssystem?!?
Ich habe ein Problem gehabt mit den WD Platten mit 4k Sektoren und WinXP, dies trifft aber wohl alle Hersteller mit solchen Platten), da wollte ich "nur" 300 MB mit winzig kleine Dateien (teilweise nur ein paar Byte groß) kopieren, das hat fast 30 Minuten gedauert.
Nachdem ich mir die Platte mal engeguckt habe stand da gaaanz klein "XP Users must format with WD Advanced Format first"...Nachdem dieses Tool die Partitionen ein wenig verschoben hat klappte alles wunderbar...

Gruß

Carsten
Bitte warten ..
Mitglied: Driver401
11.03.2010 um 13:46 Uhr
Ganz anderer Ansatz:
Du hast/machst doch sicher eine Datensicherung
Warum spielst Du die nicht auf die andere Platte zurück, wobei Du auch die vorhandenen Berechtigungen behältst - und dann die Zusammenfassung wie von KowaKowalski geschrieben.
Bitte warten ..
Ähnliche Inhalte
Windows Installation
Datei-Suchprogramm für Windows 7
gelöst Frage von ImTrainingWindows Installation7 Kommentare

Morgen, bräuchte ein Datei-Suchprogramm für Windows7! Sollte -Stichwortsuche -Netzlaufwerksuche -Filter -Performance technisch gut und schnell sein beherrschen:-) danke Gruß

Windows 7
Win 7 - ein Benutzer aber 2 Profile
Frage von napoleon123Windows 77 Kommentare

Hallo Zusammen, hier ein Problem, über das ich gestern gestolpert bin. (Windows 7 Prof 64 bit) Ein Computer hat ...

XML

XML-Datei mit Powershell editieren, 2. Teil

gelöst Frage von Jensxx1975XML13 Kommentare

Hallo zusammen, habe hier aus dem Form eine Script-Zeile erhalten um ein XML-File zu editieren. Läuft wunderbar. Nun möchte ...

Windows 7

2 Monitorbilder bei Windows 7 per Remotedesktop übertragen?

gelöst Frage von coltseaversWindows 75 Kommentare

Hallo zusammen, ich möchte mich gerne auf einen Rechner mit 2 Monitoren per Remotedesktop aufschalten. Beide Monitorbilder sollen gleichzeitig ...

Neue Wissensbeiträge
Internet
EU-Urheberrechtsreform: Zusammenfassung
Information von Frank vor 1 TagInternet1 Kommentar

Auf golem.de gibt es eine Analyse von Friedhelm Greis, der das Thema EU-Urheberrechtsreform gut und strukturiert zusammenfasst. Zwar haben ...

Microsoft Office

Office365 Schwachstellen bei Sicherheit und Datenschutz

Information von Penny.Cilin vor 2 TagenMicrosoft Office7 Kommentare

Auf Heise+ gibt es einen Artikel bzgl. Office365 Schwachstellen. Das ist noch ein Grund mehr seine Daten nicht in ...

Sicherheit
Schwachstellen in VPN Clients
Tipp von transocean vor 4 TagenSicherheit2 Kommentare

Moin, es gibt Sicherheitslücken bei VPN Clients namhafter Hersteller, wie man hier lesen kann. Gruß Uwe

Sicherheit

Wikileaks-Gründer Julian Assange wurde festgenommen

Information von Frank vor 7 TagenSicherheit3 Kommentare

Wikileaks-Gründer Julian Assange wurde heute in London festgenommen. Die Botschaft Ecuadors, in der er seit sieben Jahren lebte, hat ...

Heiß diskutierte Inhalte
Tipps & Tricks
Verdammt voll erwischt
Frage von AlchimedesTipps & Tricks23 Kommentare

Folgende Mail habe ich auf meinem Freenet Account erhalten: Nun folgendes Problem: 1) Ich besuche Porno Seiten yep hat ...

Drucker und Scanner
Xerox 7328 muss jeden Tag neu installert werden
Frage von PN-SchrauberDrucker und Scanner20 Kommentare

hallo, ich habe in Problem mit einem unserer Drucker. Vorweg, die meisten unserer Netzwerkdrucker laufen über einen Druckserver, dieser ...

HTML
Google maps
Frage von jensgebkenHTML20 Kommentare

Hallo Gemeinschaft, hab mal ne Frage zu Maps - habe es hinbekommen, dass ich einen iframe link erstellen kann ...

Switche und Hubs
PC Verursach Probleme im Netzwerk
gelöst Frage von spoboeSwitche und Hubs16 Kommentare

Hallo zusammen, folgene Situation macht mich inzwischen ratlos: In unserem Betrieb ist ein Rechner über die Hausverkabelung an einem ...