Massenimport ins SharePoint von ca. 320GB Daten (ca. 2 Millionen Dateien)
Hallo liebe Gemeinde,
ich hoffe Ihr könnte mir helfen bzw. Tipps geben.
Für unseren Migrationsprojekt müssen große Datenmengen von ca. 320 GB bzw. 2 Millionen Dateine umgezogen werden ins SharePoint in den Libraries & Co.
Hierfür haben wir zwei Optionen zur Verfügung was dem Export Format betrifft:
1. Als PST.
2. Als 1:1 Filesystem (quasi Copy & Paste).
Welche Möglichkeiten gibt es um diesen Vorgang zu beschleunigen? Kennt Ihr Tools die parallel und schnell Daten befüllen können? Mir wurde das Stichwort DataPump genannt. Weiß da jemand vielleicht was?`
Vielen Dank und viele Grüße
Readme
ich hoffe Ihr könnte mir helfen bzw. Tipps geben.
Für unseren Migrationsprojekt müssen große Datenmengen von ca. 320 GB bzw. 2 Millionen Dateine umgezogen werden ins SharePoint in den Libraries & Co.
Hierfür haben wir zwei Optionen zur Verfügung was dem Export Format betrifft:
1. Als PST.
2. Als 1:1 Filesystem (quasi Copy & Paste).
Welche Möglichkeiten gibt es um diesen Vorgang zu beschleunigen? Kennt Ihr Tools die parallel und schnell Daten befüllen können? Mir wurde das Stichwort DataPump genannt. Weiß da jemand vielleicht was?`
Vielen Dank und viele Grüße
Readme
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 222920
Url: https://administrator.de/forum/massenimport-ins-sharepoint-von-ca-320gb-daten-ca-2-millionen-dateien-222920.html
Ausgedruckt am: 23.12.2024 um 10:12 Uhr
7 Kommentare
Neuester Kommentar
Hi.
Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
Versteh mich richtig: ich würde erst dann über eine technische Lösung nachdenken, wenn Du sicher bist, dass die Datenstruktur nicht völliger Humbug ist, denn Humbug migriert man lieber nicht nach SharePoint. 2 Mio Minidateien sehen sehr verdächtig nach Humbug aus, mit Verlaub.
Ist nur eine Vermutung.
Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
Versteh mich richtig: ich würde erst dann über eine technische Lösung nachdenken, wenn Du sicher bist, dass die Datenstruktur nicht völliger Humbug ist, denn Humbug migriert man lieber nicht nach SharePoint. 2 Mio Minidateien sehen sehr verdächtig nach Humbug aus, mit Verlaub.
Ist nur eine Vermutung.
Ok, um das Schlimmste abzuwenden, würde ich mir die Zeit nehmen und jdiskreport als Domänenadmin ausgeführt mal über die Datenbestände schauen lassen. jdiskreport zeigt Dir an, wo wie viele Dateien liegen (Anzahl).
Annahme: irgendwo hat ein Entwickler seine Sourcen liegen und hat alleine in einem Verzeichnis 1 Million Dateien - haben wir alles schon erlebt. Dieses dann packen und archivieren und gut ist.
Annahme: irgendwo hat ein Entwickler seine Sourcen liegen und hat alleine in einem Verzeichnis 1 Million Dateien - haben wir alles schon erlebt. Dieses dann packen und archivieren und gut ist.
Hallo,
ich sehe die Berechtigungen (Permissions) nicht als Metadaten.
Metadaten (Dokumenttyp, Wer wann geändert, Status…). Wenn ich alles so lese solltet Ihr Euch mal Gedanken über Information Architektur machen.
Du hast einen Hoster der Dir Dein SharePoint hostet und Du möchtest jetzt zu einen neuen SharePoint Hoster wechseln. Ist das richtig?
Kommst Du an die Content Datenbanken ran? Wenn ja kannst Du die Migration mit Hilfe der DBs machen (Export beim Alten und Import beim Neuem).
Kommst Du auf die CA der SharePoint Farm? Hier kannst Du ein Backup der Content DBs (mit SP Boardmitteln) durchführen und auf dem neuen Hoster wieder einspielen.
Wie sieht es mit dem Inhalt der Daten aus (URLs für Links können sich ändern…). ?
Du solltest auf jeden Fall einen genauen Migrationsplan erstellen. Die Datenmenge ist nicht viel. Nur es muss sich die Downtime (nicht Verfügbarkeit der Daten) sehr gering halten.
Viele Grüße
Stefan
ich sehe die Berechtigungen (Permissions) nicht als Metadaten.
Metadaten (Dokumenttyp, Wer wann geändert, Status…). Wenn ich alles so lese solltet Ihr Euch mal Gedanken über Information Architektur machen.
Du hast einen Hoster der Dir Dein SharePoint hostet und Du möchtest jetzt zu einen neuen SharePoint Hoster wechseln. Ist das richtig?
Kommst Du an die Content Datenbanken ran? Wenn ja kannst Du die Migration mit Hilfe der DBs machen (Export beim Alten und Import beim Neuem).
Kommst Du auf die CA der SharePoint Farm? Hier kannst Du ein Backup der Content DBs (mit SP Boardmitteln) durchführen und auf dem neuen Hoster wieder einspielen.
Wie sieht es mit dem Inhalt der Daten aus (URLs für Links können sich ändern…). ?
Du solltest auf jeden Fall einen genauen Migrationsplan erstellen. Die Datenmenge ist nicht viel. Nur es muss sich die Downtime (nicht Verfügbarkeit der Daten) sehr gering halten.
Viele Grüße
Stefan