Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Massenimport ins SharePoint von ca. 320GB Daten (ca. 2 Millionen Dateien)

Mitglied: Readme

Readme (Level 1) - Jetzt verbinden

25.11.2013 um 16:02 Uhr, 2526 Aufrufe, 7 Kommentare

Hallo liebe Gemeinde,

ich hoffe Ihr könnte mir helfen bzw. Tipps geben.

Für unseren Migrationsprojekt müssen große Datenmengen von ca. 320 GB bzw. 2 Millionen Dateine umgezogen werden ins SharePoint in den Libraries & Co.

Hierfür haben wir zwei Optionen zur Verfügung was dem Export Format betrifft:
1. Als PST.
2. Als 1:1 Filesystem (quasi Copy & Paste).

Welche Möglichkeiten gibt es um diesen Vorgang zu beschleunigen? Kennt Ihr Tools die parallel und schnell Daten befüllen können? Mir wurde das Stichwort DataPump genannt. Weiß da jemand vielleicht was?`


Vielen Dank und viele Grüße
Readme
Mitglied: Texas3110
25.11.2013 um 17:03 Uhr
Was hast Du genau vor? Um was für Daten handelt es sich? Wie sehen die Metadaten aus? Woher kommen die Daten? Welche SP Version?

PST Dateien wirst Du nicht in den SharePoint laden können.

Wenn es Dir einfach nur um das kopieren der Daten geht reicht ein einfaches PowerShell Script.

Grüße
Stefan
Bitte warten ..
Mitglied: DerWoWusste
25.11.2013, aktualisiert um 19:48 Uhr
Hi.

Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?

Versteh mich richtig: ich würde erst dann über eine technische Lösung nachdenken, wenn Du sicher bist, dass die Datenstruktur nicht völliger Humbug ist, denn Humbug migriert man lieber nicht nach SharePoint. 2 Mio Minidateien sehen sehr verdächtig nach Humbug aus, mit Verlaub.
Ist nur eine Vermutung.
Bitte warten ..
Mitglied: Readme
26.11.2013 um 12:45 Uhr
Hallo Stefan,

es soll eine Datenmigration von einem Provider zum neuen Provider (SP 2010) stattfinden. Hierbei besteht keine direkte WAN Verbindung. Deshalb werden die Daten auf externen Datenträgern exportiert. Hierbei besteht die Möglichkeit das ganze als eine 1:1 Kopie des Filesystems zu exportieren oder als PST Dateien. Als Metadaten werden Berechtigungen mitgenommen bzw. über ein anderes Tool (z.B. mit ACL).

Bei den Daten handelt es sich um Public Folder mit geschätzten 40.000 Ordnern und 2 Millionen Dateien, von Office Dateien bis hin zu exotischen Files.

Gruß
Readme
Bitte warten ..
Mitglied: Readme
26.11.2013, aktualisiert um 13:34 Uhr
Zitat von DerWoWusste:

Hi.

Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei
vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die
Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
....
.

Hi,

Deine Vermutung ist nicht ganz unbegründet. Mit Sicherheit sind einige Daten nur Humbug , wenn wir dies dem Kunden plausibel erklären. Leider müssen wir aber vorerst davon ausgehen, das wir zunächst eine 1:1 Kopie in der Staging Area machen werden/müssen.
Bitte warten ..
Mitglied: DerWoWusste
26.11.2013, aktualisiert um 15:10 Uhr
Ok, um das Schlimmste abzuwenden, würde ich mir die Zeit nehmen und jdiskreport als Domänenadmin ausgeführt mal über die Datenbestände schauen lassen. jdiskreport zeigt Dir an, wo wie viele Dateien liegen (Anzahl).

Annahme: irgendwo hat ein Entwickler seine Sourcen liegen und hat alleine in einem Verzeichnis 1 Million Dateien - haben wir alles schon erlebt. Dieses dann packen und archivieren und gut ist.
Bitte warten ..
Mitglied: Readme
26.11.2013 um 15:25 Uhr
Wir haben eine Auswertung des Gesamten Verzeichnisses vom Provider Mithilfe eines Scriptes auslesen lassen. Leider habe ich versäumt zu erwähnen, das es sich um Shares handelt mit den 2 Millionen Dateien und die Links zu diverse weiteren Shares und Dokumenten auf diese selbst verweisen. Das geht soweit, das diese in den Workflows des Unternehmens einen festen Bestandteil hat sowie die Berechtigungen.

Hinzu kommt, das eine 3-Level Berechtigung hinunter auf 2-Level Tiefe Anpassung notwendig ist vom Gesamtverzeichnis. Dies ist allerdings eine andere Baustelle.
Bitte warten ..
Mitglied: Texas3110
26.11.2013 um 17:46 Uhr
Hallo,
ich sehe die Berechtigungen (Permissions) nicht als Metadaten.
Metadaten (Dokumenttyp, Wer wann geändert, Status…). Wenn ich alles so lese solltet Ihr Euch mal Gedanken über Information Architektur machen.
Du hast einen Hoster der Dir Dein SharePoint hostet und Du möchtest jetzt zu einen neuen SharePoint Hoster wechseln. Ist das richtig?
Kommst Du an die Content Datenbanken ran? Wenn ja kannst Du die Migration mit Hilfe der DBs machen (Export beim Alten und Import beim Neuem).
Kommst Du auf die CA der SharePoint Farm? Hier kannst Du ein Backup der Content DBs (mit SP Boardmitteln) durchführen und auf dem neuen Hoster wieder einspielen.
Wie sieht es mit dem Inhalt der Daten aus (URLs für Links können sich ändern…). ?
Du solltest auf jeden Fall einen genauen Migrationsplan erstellen. Die Datenmenge ist nicht viel. Nur es muss sich die Downtime (nicht Verfügbarkeit der Daten) sehr gering halten.

Viele Grüße
Stefan
Bitte warten ..
Ähnliche Inhalte
Windows Userverwaltung

Massenimport von AD Gruppen per Powershell

Frage von ThomasSchubertWindows Userverwaltung1 Kommentar

Guten Tag, ich suche einem einfachen Weg, um Printergroups per Powershell in der AD hinzuzufügen. Diese Gruppen sollen aus ...

JavaScript

Datei auf Sharepoint über HTML ablegen

Frage von 94451JavaScript5 Kommentare

Hallo, ich suche eine Möglichkeit ohne PHP oder ASPX, dateien auf dem Server zu verändern kurz gesagt habe ich ...

Outlook & Mail

Sharepoint 2010 Dokumentebibliothek in Outlook - Datei öffnen

Frage von tantaliden83Outlook & Mail1 Kommentar

Hallo zusammen, so Sharepoint läuft wunderbar, Kontakte Kalender etc funktionieren in Outlook und ich bin fast glücklich Nun fehlt ...

Exchange Server

Exchange 2013 - LDAP Feld Namen beim Massenimport von Kontakten

Frage von MartinLExchange Server13 Kommentare

Hallo liebe Admins , ich habe eine Frage bzgl. des Massenimports von Kontakten in Exchange. Momentan haben wir unsere ...

Neue Wissensbeiträge
Backup

Veeam Agent für MS Windows - neue Version verfügbar (bedingt jedoch offenbar .NET Framework 4.6)

Information von VGem-e vor 21 StundenBackup

Moin Kollegen, einer unserer Server zeigte grad an, dass für o.g. Software ein Update verfügbar ist. Ob ein evtl. ...

Python

Sie meinen es ja nur gut - Microsoft hilft python-Entwicklern auf unnachahmliche Weise

Information von DerWoWusste vor 2 TagenPython2 Kommentare

Stellt Euch vor, Ihr nutzt python unter Windows 10 und skriptet damit regelmäßig Dinge. Nach dem Update auf Windows ...

Sicherheits-Tools

TrendMicro Worry-Free Business Security 10.0 SP1 steht in Englisch bereit mit Unterstützung für Windows 10 1903 (May Update)

Information von VGem-e vor 2 TagenSicherheits-Tools1 Kommentar

Moin Kollegen, Dann kommt wohl demnächst auch die deutschsprachige/europäische Version zur Auslieferung. Gruß VGem-e

Batch & Shell
PowerShell Konferenz - Videos online
Information von NetzwerkDude vor 3 TagenBatch & Shell

Abend, die Tage werden Videos der Talks von der diesjährigen EU Powershell Konferenz hochgeladen, sind einige Interessante dabei: MFG ...

Heiß diskutierte Inhalte
Google Android
Anbieter für Diensthandys
Frage von Pat.batGoogle Android24 Kommentare

Hallo zusammen, ich bin seit einiger Zeit zuständig für die Diensthandys bei uns in der Behörde. Eine Management Software ...

Windows Server
Windows Server 2016 einrichten
Frage von borjiaWindows Server20 Kommentare

Ich würde gerne einen Server einrichten, erstmal nur mit DNS und AD. Habe mich die letzten Wochen durch diverse ...

Exchange Server
Vorgehen um von Tobit auf Exchange zu wechseln
Frage von Martin1987Exchange Server17 Kommentare

Guten Abend Ich habe den Auftrag erhalten, unser Mail von David zu Outlook zu wechseln. Wie muss ich da ...

Microsoft Office
Office 365 eMail via Website verschicken
Frage von BiBeSoMicrosoft Office16 Kommentare

Hallo, kann man im Office 365 eMails anlegen welche zum versenden (smtp) für die Website funktionieren ? Muss man ...