Import von 500.000 Benutzer aus einer .csv ins ActiveDirectory

fabmin
Goto Top

Performantere Methode gesucht.
Derzeit ca. 3000 Benutzer/Std.

Hat jemand eine performantere Methode zum Import von ca. 500.000 Benutzer aus einer .csv in eine ActiveDirectory OU?

Content-Key: 104248

Url: https://administrator.de/contentid/104248

Ausgedruckt am: 29.06.2022 um 05:06 Uhr

Mitglied: filippg
filippg 16.12.2008 um 23:15:51 Uhr
Goto Top
Hallo,

ob ich bin mir nicht sicher, ob mein Vorschlag wirklich performanter ist (zumindest nutzt er kein WSH). Aber du könntest dir mal ldifde und csvde anschauen. Beide kommen von MS und sollten in sofern taugen ;-) face-wink (und performant sein).

Definitiv würde ich dir empfehlen, die Datei zu "zersägen" und in tranchen zu importieren. Vielleicht erliegt man sonst doch einem "Schluckauf" der Speicherverwaltung, vor allem wird Fehlersuche wohl _deutlich_ einfacher.
Weitere positiver Effekt: Ich bin mir nicht sicher, wie die Replikation reagiert, wenn innerhalb kürzerster Zeit 500k Objekte erzeugt werden.

Gruß

Filipp


ach ja: einfachste Methode um deine Methode performanter zu machen dürfte sein das Sleep(1000) zu entfernen.
Mitglied: Arch-Stanton
Arch-Stanton 17.12.2008 um 00:06:51 Uhr
Goto Top
Da hast Du wohl das Komma ein wenig versetzt, oder?

Arbeitest Du für die Chinesische Volksarmee?

Gruß, Arch Stanton
Mitglied: dog
dog 17.12.2008 um 01:11:34 Uhr
Goto Top
Den genaueren Sinn hinter dem Sleep kann ich auch nicht erkennen, aber nachgerechnet:

1h=3600s

3000ds=3600s/(1s+x)
=> x=0,2

Anders gesagt: Ohne das Sleep würdest du pro Stunde ca. 18'000 DS schaffen und wärst in 28 Stunden durch.

Grüße

Max
Mitglied: FaBMiN
FaBMiN 17.12.2008 um 08:48:05 Uhr
Goto Top
ashahahaa :D
Danken Euch allen erstmal.

Also Speichertechnisch habe ich keine Probleme! Und den gleichen Datendurchsatz, als würde ich entweder .csv mit 1000 oder 65000 importieren...
Das Sleep braucht er, weil den account sonst nicht richtig aktiviert, habe ich festgestellt. :) face-smile

Ich konnte den Datendurchsatz mittlerweile auf 5000/Std. steigern --> fragt mich nicht warum ;)
Um meine eigentliche Frage nochmal anders zu stellen...Meine CPU und RAM auslastung liegen bei ca. 2%.
Ich würde dem Skript aber gerne 50% zur Verfügung stellen, dafür brauche ich aber ein performanteres Programm...
ich werds mal mit ldifde und csvde versuche...

Danke :) face-smile
Mitglied: 64748
64748 17.12.2008 um 10:34:47 Uhr
Goto Top
Hallo FaBMiN,

ich hab mal 500 Benutzer auf einmal angelegt.
Der Server ist ein altersschwacher w2k und ich habe mir mit Excel mit der Autofill-Funktion eine Batch-Datei angelegt und den "net user"-Befehl benutzt. (das geht natürlich bei 500000 Benutzern nicht, weil Excel soviel Daten nich verarbeiten kann).
Dabei habe ich auch festgestellt, dass es nach Ablauf des Batch-Programms eine ganze Weile dauert, bis die neuen Benutzer korrekt im AD angezeigt werden (die Zeitdauer weiß ich nicht mehr). Ich vermute, dass hier die Grenzen durch die Verarbeitungsgeschwindigkeit der Daten im AD vorgegeben werden.

Markus
Mitglied: juergi69
juergi69 17.12.2008 um 12:51:31 Uhr
Goto Top
Hallo,

ich arbeite gerade an so einem script, ist mit 300 benutzern schon getestet. (Batch mit dsadd, ob das performater ist???)
da es aber noch sehr "unschön" geschrieben ist möchte ich es hier im forum noch nicht posten.
wenn es dringend ist schreib mir ein mail an juergen@pilgram.at ich schick es dir dann zu mit den anmerkungen was du noch händisch anpassen mußt.

lg
jürgen
Mitglied: 60730
60730 17.12.2008 um 18:58:53 Uhr
Goto Top
Servus,

Das Sleep braucht er, weil den account sonst nicht richtig aktiviert, habe ich festgestellt.

ganz genau - und deshalb hat derjenige, der das Script ursprünglich geschrieben hat diesen "Sleep" auch dort plaziert.

Auch die "doppelten" Setinfos haben einen Grund.

Egal, wie deine CPU und RAM auslastung liegt.
Vergiss bitte nicht, daß du immer noch einen schreibenden Datenbankzugriff auf ein AD damit betreibst.
Das ist kein MYSQL oder Oracle ;-) face-wink Denk auch an die "Daten" die dabei erzeugt werden, obwohl du die nicht in dem Script explizit in Auftrag gibts. (SID usw.)

Klasse statt Masse - so nenne ich deine Art, die User anzulegen.
(fehlen da nicht ein paar Infos bei dem anlegen und *WTF* braucht 5.000 User innerhalb 50.000 oder 500.000 sekunden?)

Auch wenn es ein Script ist - immer daran denken, was es auslöst - löst viele Probleme, die eigentlich keine sind ;-) face-wink
Gruß
Mitglied: Bitsqueezer
Bitsqueezer 22.12.2008 um 15:13:01 Uhr
Goto Top
Hallo,

ich würde mal vermuten, daß Du eine Menge Zeit dadurch verschenkst, daß Du die Verbindung zum Active Directory bei jedem Durchlauf neu erzeugst (GetObject) anstatt die vorhandene Verbindung weiterzubenutzen. Also einmal zu Beginn "GetObject" durchführen, und dann den Loop über die "b."-Objekte durchführen.
Ich glaube nicht, daß das Sleep wirklich nötig ist, ich vermute einfach mal, daß es daran liegt, daß Du am Ende des Subs die Objekte nicht wieder freigibst. Damit muß sich VBScript selbst um das Freigeben kümmern, weswegen dann wohl auch das Sleep nötig ist. Wenn Du also am Ende hinzufügst:

Set b=Nothing
Set ouo = Nothing

Und dafür das Sleep wegläßt, sollte es eigentlich besser und schneller funktionieren. Hab's aber nicht getestet, ist nur eine Vermutung.

Wie gesagt, um die Performance dann noch mehr zu steigern, 1. Objekt erzeugen mit GetObject und dann den Rest des Programms durchlaufen lassen und als letzte Zeile mit Set ouo=Nothing erst das Objekt schließen und terminieren.

Viele Grüße

Christian
Mitglied: 61801
61801 23.12.2008 um 16:47:17 Uhr
Goto Top
mann könnte auch gleich das programm eUser verwenden ....
Google hilft

mfg