Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Ein Datentransfer mit mehreren Zielen (Windows)

Mitglied: anteNope

anteNope (Level 2) - Jetzt verbinden

01.07.2019, aktualisiert 20:58 Uhr, 597 Aufrufe, 18 Kommentare, 1 Danke

Nabend zusammen,
es gibt ja viele Möglichkeiten Daten von A nach B zu schaufeln. Aber gibt es die Möglichkeit von A nach B und C gleichzeitig zu kopieren, so das A nur einmal gelesen wird?

Quasi die Daten in A werden einmal eingelesen aber an zwei Orte gleichzeitig geschrieben?

Hier ein Beispiel:
Sagen wir man möchte von einer HDD (Quelle) ein großes Datenpaket auf 2 externe Festplatten (Ziel 1 und 2) kopieren. Die Festplatten schaffen jeweils ~130 MB/sec. Die Quelle limitiert also, weil sie prinzipiell 2x die Daten lesen müsste. Egal ob hierbei der Kopiervorgang sequenziell oder parallel abläuft.

Sequenziell: 1x 130 MB/sec, dann 1x 130 MB/sec
Parallel : 1x 65 MB/sec + 1x 65 MB/sec

Die benötigte Zeit ist bei beiden fast identisch. Ich meine nun aber nun, dass die Quelle mit 130 MB/sec gelesen wird und gleichzeitig auf Ziel1 UND Ziel2 mit jeweils 130 MB/sec geschrieben wird. Also simultan 😉.

Edit: fürs bessere Verständnis angepasst
Mitglied: certifiedit.net
01.07.2019 um 20:11 Uhr
Hallo,

nicht ohne Zwischenschritte (weiterer Server auf Z2) bzw schlicht Torrentähnlich, oder aber ein Proxy (was wieder auf dasselbe hinausläuft). Ansonsten wäre die Frage so, als würdest du einen LKW mit 100L Milch losschickst und erwartest, dass er an zwei Zielen mit jew. 100l ankommt.

VG
Bitte warten ..
Mitglied: anteNope
01.07.2019, aktualisiert um 20:24 Uhr
Mit physikalischen Gütern hingt der Vergleich leider etwas Da würde ja etwas aus dem Nichts entstehen. Bei Daten sieht das ja anders aus.

Die Daten werden ja von PC1 zu PC2 gesendet. Prinzipiell wäre es ja jetzt egal ob PC2 die auf 1 oder 2 lokale Ziele speichert. Dass dann das langsamste Ziel limitiert, ist klar. Könnte man vergleichen mit einem SoftwareRaid 1...
Mir ist nur kein Programm bekannt was das könnte oder vorsieht. Mal abgesehen von irgendwelchen SD-Karten/USB-Duplizierungsprogrammen die ein Image auf mehrere Ziele simultan schreiben können.
Bitte warten ..
Mitglied: certifiedit.net
01.07.2019 um 20:37 Uhr
auch daten entstehen nicht aus dem nichts, wie gesagt, der vergleich hinkt nicht so sehr, wie du denkst.

Mit etwas Aufwand (siehe oben) kann ich auch aus 100l Milch 200l "milch" machen, klar, qualität leidet, da hinkt es dann. Mit einem Zwischenserver brauch ich Energie und Technik um selbes zu schaffen - aber dann kannst du den auch gleich als Publisher nehmen.

Gut, es gibt die Möglichkeit von Broadcasts (ich schreie heraus und jeder nimmt es auf 1x schreien, nx empfangen) aber ich gehe hier nicht von einem Broadcastnetz aus.
Bitte warten ..
Mitglied: anteNope
01.07.2019, aktualisiert um 20:49 Uhr
Wir schreiben gerade aneinander vorbei. Ich hab mich da etwas blöd ausgedrückt mit den Zielen. Im LAN ist dein Milch-Tanker natürlich das perfekte Beispiel! 😂 Du redest von einer Duplizierung im Netzwerk, ich rede von der Duplizierung auf dem PC mit 2 lokal angeschlossenen Zielen (z.B. USB).

Das LAN hatte ich nur im Beispiel für etwas limitierendes gegeben. (von SSD auf zwei Festplatten gleichzeitig, ginge nämlich auch parallel ohne Limitierung).

Der empfangende PC packt die Daten ja eh erstmal in den RAM. Und ob er die von dort an 1 oder 2 (lokal angeschlossene) Ziele schreibt, sollte relativ egal sein.
Bitte warten ..
Mitglied: nEmEsIs
01.07.2019 um 20:49 Uhr
Hi

Du meinst also etwas in Richtung Multicast File Copy.

Weis nicht ob dir das hier hilft:
http://nuxref.com/2014/10/01/mass-file-distribution-using-multicasting/

Mit freundlichen Grüßen Nemesis
Bitte warten ..
Mitglied: em-pie
LÖSUNG 01.07.2019, aktualisiert um 20:55 Uhr
Moin,

also rein theoretisch sollte das ohne Zwischenlösung lösbar sein:
Mit ausreichend RAM und einen passenden Programm sollte das klappen. Ich denke hier ans Programmieren:
Wenn ich "dusselige" Textdateien einlese, liegen die Daten ja auch erstmal im RAM des Systems. Und von dort kann ich ja dann schnell nacheinander die Informationen waonders abspeichern, ohne die Daten (die Variable/ das Array) zu leeren.

Was du daher mal versuchen könntest:

Schneller wird es vermutlich nicht gehen; setzt aber natürlich voraus, dass du ausreichend RAM hast. Wenn dein File 1TB groß ist und du nur 4 GB RAM hast, wirds eng

Ob das in Summe tatsächlich einen Geschwindigkeitsvorteil bringt oder irgendweo doch hingt: mag sein. Habe mich damit auch noch nie befassen müssen.

Gruß
em-pie
Bitte warten ..
Mitglied: certifiedit.net
01.07.2019 um 20:53 Uhr
Nein, ich glaube, das tun wir nicht so sehr, wie du glaubst.

Denn jeder Duplizierungsvorgang braucht Leistung. Das kann das Lan, die Platte, die CPU oder auch der Chipsatz sein, Fakt ist, irgendwo laufen die Daten (i.d.R) als singulärer Stream (1S -> 1T) durch, sprich jedes Ziel hat seine eigene Source und damit seine eigene Transaktion.

Ferner stimmt es uach nicht, dass eine Kopie von einer SSD auf zwei (annahme) HDD ohne Limitierung ginge, es würde nur (ggf!) die Limitierung nicht ausreizen (kann aber, siehe Chipset, Ram, Software...).

Aber erklär mal praktisch, was du haben willst.

Am ehesten sehe ich da noch einen Multicast Transport, aber auch hier ist wieder die Frage des Limitierenden Netzwerks (Weshalb MC Netzwerke nicht zu groß sein sollten - hier schliesst sich der Kreis).

Viele Grüße
Bitte warten ..
Mitglied: certifiedit.net
01.07.2019 um 20:58 Uhr
Hier wie da Limitiert ihn aber die physik.

Eine Multicastlösung ist nicht so einfach, wie man sich das denkt, ich hatte mal ein "Schnapsidee" Projekt mit einer Streaminglösung durch zu planen und daher weiss ich genau, auf welche Physiknobelpreisideen manche Leute meinen zu kommen, wenn es darum geht Bandbreite einzusparen (und dabei ist sekundär, ob das nun Bus, Lan, WAN oder sonstwas ist, Bandbreite bleibt Bandbreite).

Viele Grüße,

Christian
certifiedit.net
Bitte warten ..
Mitglied: Lochkartenstanzer
01.07.2019 um 21:17 Uhr
Moin,

Baue einfach ein Sofware-Raid-1 aus den externen Platten und sorg dafür daß diese an getrennten Pci-Channels hängen, damit auch parallell darauf geschrieben werden kann.

Oder Du nimmst gleich ein externes RAID-Gehäuse dafür.

lks

.
Bitte warten ..
Mitglied: anteNope
01.07.2019, aktualisiert um 21:36 Uhr
So, die ursprüngliche Frage ist nun (hoffentlich) verständlicher formuliert. Komplett unabhängig von LAN! (von wo die Daten gelesen werden sollte prinzipiell keine Rolle spielen).

Ferner stimmt es uach nicht, dass eine Kopie von einer SSD auf zwei (annahme) HDD ohne Limitierung ginge, es würde nur (ggf!) die Limitierung nicht ausreizen (kann aber, siehe Chipset, Ram, Software...).

Klar Limits gibt es überall. Wenn man aber gerade keine Kartoffel als PC hat, sind die lächerlich hoch! Prinzipiell könnte man mit dem LowLevelFormatTool jeden SATA-Port sowie USB-Port mit Festplatten versehen und simultan beschreiben lassen. Das Limit für Chipsatz, CPU, sonstwas dürfte hierbei dann bei mehreren GB/sec liegen. (Board mit 2x NVMe Steckplätze = 6 GB/sec nur für die SSDs).

Darum und nur darum hatte ich den Flaschenhals LAN ins Beispiel eingebaut. Hier ist für GBIT-Verbindungen bei 100 MB/sec Ende.
Die Daten werden ja eh erstmal im RAM zwischengespeichert und dann auf dem endgültigen Ziel geschrieben. Und dem RAM sollte es relativ egal sein ob nun 1, 2 oder mehrere Ziele beschrieben werden sollen.

Kann man prinzipiell mit CD/DVD-Brennern vergleichen. Hier besteht auch die Möglichkeit EIN Image auf mehrere Datenträger simultan zu brennen. Da wird das Image auch nur einmal ausgelesen 😅

an getrennten Pci-Channels hängen, damit auch parallell darauf geschrieben werden kann.
... Ähm ja ... Ein B360 Chipsatz ist mit 8 GT/s via QPI / UPI angebunden, das entspricht etwa 20 GB/sec. https://de.wikipedia.org/wiki/Intel_QuickPath_Interconnect
Bitte warten ..
Mitglied: certifiedit.net
01.07.2019 um 21:25 Uhr
Unter dem Aspekt muss ich dem Kollegen oben Recht geben, wenn der RAM Groß genug ist, kein Problem, nach wie vor gilt: Die HW ist das limitierende, ob du an die Limits stößt hängt vom Umstand ab.
Bitte warten ..
Mitglied: anteNope
01.07.2019, aktualisiert um 21:40 Uhr
Meine Frage bezog sich ja auch nicht auf möglich Limits, sondern einfach nur ob es etwas (Programm) gibt das zwei Ziele gleichzeitig beschreiben kann.

Quasi robocopy mit einer Quelle und zwei Ziel-Angaben die dann gleichzeitig mit den identischen Daten aus der Quelle beschrieben werden.

"robocopy Quelle1 Ziel1 Ziel2"
Bitte warten ..
Mitglied: certifiedit.net
LÖSUNG 01.07.2019 um 21:45 Uhr
Nein, nicht bewusst, da dies Spezialfälle sind (und demnach auch spezialisiert angegangen werden müssen, Stichwort Multicast, DVD, HDD, etc) und meist bleibt es dann auch nicht bei n = 2 sondern gleich n = m.

VG
Bitte warten ..
Mitglied: anteNope
01.07.2019 um 21:49 Uhr
Zitat von em-pie:
Wenn ich "dusselige" Textdateien einlese, liegen die Daten ja auch erstmal im RAM des Systems. Und von dort kann ich ja dann schnell nacheinander die Informationen waonders abspeichern, ohne die Daten (die Variable/ das Array) zu leeren.

Genau, Windows nutzt den RAM eh als Schreib-Cache. Es würde von dort aus halt nur zwei unterschiedliche Ziele mit den Daten beliefert.

von der RAM-Disk auf die ext. HDDs, dann mit zwei parallel sich startenden Jobs (um die Performance der Quelle nutzen zu können)
Mal abgesehen davon, dass ich gerade keine 1000 GB RAM im PC stecken habe, würde das prinzipiell fast genauso lange benötigen.
1x 100 MB/sec den RAM befüllen. Dann zwar parallel jeweils 130 MB/sec auf die externen Festplatten ... Wären wiederum zwei sequenzielle Transfers ...

Das müsste für einen Vorteil direkt automatisch passieren. Dann wäre es nämlich ein Datentransfer mit 100 MB/sec und beide Ziele wären beschrieben.
Bitte warten ..
Mitglied: certifiedit.net
01.07.2019 um 21:51 Uhr
Genau da spielt aber die Physik dir einen Streich (und ich denke, da stehst du auch etwas auf dem Schlauch), genau diesen "Zwischenschritt" benötigst du effektiv.
Bitte warten ..
Mitglied: anteNope
01.07.2019, aktualisiert um 22:16 Uhr
Ja das kann gut sein, vielleicht sehe ich da gerade das Problem nicht? Der Vorgang unterscheidet sich im prinzipiellen Ablauf nicht?

clipboard02 - Klicke auf das Bild, um es zu vergrößern

Nur, dass der Kopiervorgang nicht auf die Rückmeldung eines Zieles wartet, sondern auf alle Ziele. Sprich das langsamste Ziel gibt dann die Geschwindigkeit vor. Der Cache im RAM wird erst verworfen/erneuert, wenn alle Ziele die Daten verarbeitet haben. Selbst programmiertechnisch dürfte das jetzt nicht viel komplizierter sein? Im Prinzip muss der Cache nicht einmal sonderlich groß sein.

Aber hätte ja sein können, dass jemand die Funktion bei einem Programm kennt =)
Bitte warten ..
Mitglied: certifiedit.net
01.07.2019 um 22:32 Uhr
Nunja, die einzelnen Schreibvorgänge von Ram auf ZielN+m sind wiederrum autarke Vorgänge, daher "warten" diese nicht auf die Schreibvorgänge von ZielN-1 und ZielN+1, das muss also synchronisiert sein (solange die Geschwindigkeit v nicht bereits physik. synchronisiert wird).

Ferner musst du eben auch aufpassen, dass nicht ggf. der Speicher "entladen" wird, bevor Summe(ZielN+m) mit SchreibvorgangX durch sind. Und Speicherhandling ist oftmals das größte Problem.

Natürlich stellt sich hierbei auch die Frage nach Ertrag für Aufwand - was willst du also praktisch erreichen und in welchem Umfang?
Bitte warten ..
Mitglied: Lochkartenstanzer
01.07.2019, aktualisiert um 23:35 Uhr
Moin

tee macht genau das was Du willst:

tee <eingabedatei ausgabedatei1 >ausgabedatei2 


Kopiert die Eingabedatei in die beiden Ausgabedateien. Ob das schneller geht als zwei einzelne Kopierbefehle hängt stark von der Implementierung und den Datenpfaden im System ab. Jedenfalls hat man damit die Leseoperationen im Vergleich zum doppelten Kopieren halbiert.

Die Syntax in der Powershell weicht von der Standardversion aus dem Unixumfeld ab.

lks
Bitte warten ..
Ähnliche Inhalte
Batch & Shell

Verknüpfung mittels Batch erstellen - Punkt in Ziel, Ziel ist ein Ordner

gelöst Frage von moses-southBatch & Shell5 Kommentare

Hallo Zusammen Ich habe folgendes Problem: Bei uns auf dem Fileserver wird für jedes Projekt, ein eigener Ordner mit ...

Router & Routing

2 Routen zu einem Ziel

Frage von chewbacca001Router & Routing10 Kommentare

Hallo zusammen - dies ist mein erster Post, wenn ich die Etikette hier verletze, bin ich im Voraus um ...

Vmware

VM 100MBit zu einem Ziel

gelöst Frage von MettGurkeVmware10 Kommentare

Hallo Admins, ich habe ein interessantes Problem in einer Umgebung: Ich habe mehrere virtuelle Server 2016 Std. Maschinen (neustes ...

Windows 10

Robocopy Quelle und Ziel vertauscht Daten gelöscht ?

gelöst Frage von eastclintwoodWindows 1033 Kommentare

Hallo, ich wollte Daten von einer extrernen Festplatte (USB) auf eine interne Platte per robocopy sichern. Leider habe ich ...

Neue Wissensbeiträge
Windows Installation

Windows Install ISO mit übergroßer Install.wim auf FAT32 übertragen

Tipp von Lochkartenstanzer vor 2 TagenWindows Installation9 Kommentare

Moin Kollegen, Viele von euch werden sicher aus praktischen Gründen nicht nur DVDs oder "virtuelle" CD-Laufwerke (Zalman, IODD) zum ...

Datenschutz

Gehe zurück auf Los, ziehe keine 4.000 Mark. E-Privacy (erstmal) gescheitert

Information von certifiedit.net vor 3 TagenDatenschutz

Webbrowser

Firefox 71 verfügbar mit Picture in Picture Funktion

Information von sabines vor 3 TagenWebbrowser2 Kommentare

Die neue Firefox Version 71 unterstützt, zunächst nur für Windows, Picture in Picture. Damit kann ein Video in einem ...

E-Mail
SPF beim Versenden testen
Tipp von StefanKittel vor 5 TagenE-Mail3 Kommentare

Hallo, wenn man einen SPF für einen Exchange, oder anderen Mail-Server, konfigiruert muss man das ja auch testen. Ganz ...

Heiß diskutierte Inhalte
Server-Hardware
Hetzner Dedicated-Server für Terminalserver - RDSH 5 Benutzer gesucht
gelöst Frage von ra-user10Server-Hardware37 Kommentare

Hallo liebe IT-Fachleute! Ich möchte für unseren kleinen Betrieb einen Terminalserver aufsetzen und dafür das Angebot von Hetzner nutzen. ...

Switche und Hubs
PoE in erster und zweiter Instanz
Frage von moinmoin2016Switche und Hubs27 Kommentare

Moin. Ich habe versucht zum folgenden Sachverhalt ein Beitrag zu suchen, konnte aber nichts passendes finden. Folgender Sachverhalt: Ein ...

E-Business
Brainstorming: Zeiterfassungs- oder gesamtes Abrechnungssystem
Frage von certifiedit.netE-Business15 Kommentare

Guten Abend, alles neu macht der, naja, schon lange nicht mehr, Mai Zum Ende des Jahres, besser zum Beginn ...

Entwicklung
Powershell-Skript und Organisationseinheiten auskludieren
gelöst Frage von informatikkfmEntwicklung13 Kommentare

Hallo, ich habe ein Powershell-Skript, ähnlich wie das folgende. Ich möchte dabei, dass alle Benutzer unterhalb der OUs in ...