Welches System für viele kleine Dateien

Hallo,

ich überlege welches System und wie man es aufbaut.

Folgende Anforderung:

ca 50.000 - 100.000 Dateien ( 50kb - 300kb groß ) und müssen schnell gelesen werden.

Das ganze ist für privat also kein klassisches Raid ( zu teuer ). Ich denke die Daten sollten vom BS getrennt werden, auch Hardware seitig ( eigende Platte ). Wie sieht es mit einem Software Raid ( SATA auf einem Gigabyte Board ) aus. Oder einfach eine SATA Platte fürs BS und eine für Daten.

Welche Erfahrungen habt Ihr gemacht ???

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 27988

Url: https://administrator.de/forum/welches-system-fuer-viele-kleine-dateien-27988.html

Ausgedruckt am: 10.04.2025 um 00:04 Uhr

23 Kommentare

Neuester Kommentar

Hi,

also getrennte Platten für Betriebssystem mit Porgrammen und Daten ist schon mal eine
sinnvolle Sache, insbesondere bei so vielen kleinen Dateien.
Um zusätzliche Sicherheit zu bekommen, kannst Du die Daten-Platte (dazu müsstest Du
dann noch eine Platte identischer Größe dazukaufen) noch mit einem Software-RAID 1
spiegeln, da dürften ja 2 40GB SATA Platten reichen oder halt 2 80GB Platten.

Ich würde die Betriebssystem HDD nicht mit ins RAID aufnehmen.
Oder laternativ einen günstigen Promise Controller mit SATA RAID kaufen, wenn das der onboard
Controller nicht können sollte.

Gruß

cykes

[EDIT] Software RAID wirkt sich logischerweise auf die Gesamtperformance aus, wenn das ganze richtig vernünftig sein soll, kommst Du nicht um einen Hardware RAID Controller rum,
z.B. einen von 3ware.

hi
nicht zu vergessen sind ist bei der Formtatierung die NTFS Clustergröße, dies sollte 4K
oder auch mal gar 64K sein. Desweiteren ist bei chkdsk der L Parameter nicht ausser Acht zu lassen, ruhig mal auf 256K setzen.
cu
willi

Hi,

@cykes

Der 3ware ist das ein Hardware Controller ?? Ich habe den Raid Controller auf dem Board und denke es ist nicht das Beste also werde ich wohl eine externen dazu kaufen. Kann man evtl auch zwei controller laufen lassen? Einen fürs BS einen für die Daten ???

@wiri

Wenn ide Clustergröße auf 4k ist, ist das dann besonders für die Datengröße bzw für die Datenmenge entscheident?

Also, wenn's auf die Performance ankommt: keinesfalls Raid 1 benutzen! Hat zwar für Lesevorgänge nicht die Auswirkung, wie für Schreibvorgänge, aber Striping mit Raid 0 wäre hier sinnvoller. Wenn natürlich auch unsicherer.

Und wenn Du wirklich überlegst, Dir ein Software-Raid einzurichten, hast Du ja scheinbar schon mindestens zwei SATA-Platten für die Dateien. Ein SATA-Raid-Controller mit "Hardware"-Raid gibt es dafür schon für sehr kleines Geld, es muss ja kein 10-Port Bolide mit Raid5 sein.

Den "Dawicontrol DC-150 RAID" (2 SATA-Ports, Raid 0 und 1) beispielsweise gibt es schon für ca. 50 Euro.

Zwei SATA-Raids funktionieren auch. Der Raid-Controller auf dem Board sollte dann für das OS, der externe für die Datenplatten benutzt werden. Denn nicht jedes Bios kann von einem PCI-Sata-Adapter booten.

Gruss
Stefan

Hi
wenn die Dateien in einer Singeluserumgebung auf NTFS Cluster mit 64K Größe abgebildet werden, brauchst du nur 1 IO für für Dateien bis 64K, und das ist schnell!
Selbst bei MS werden solche Werte empfohlen bei Multiuserumgebungen.
cu
willi

Ja, 3ware baut echte Hardware RAID Controller für IDE und SATA,
das wäre in jedem Fall die beste Lösung, und die Controller haben ein top
Preis-/Leistungsverhältnis.

Gruß

cykes

Hi zusammen,

Platten und Hardware Controller habe ich noch nicht.

Welche Festplatten würdet ihr empfehlen??

Wie immer in der EDV schnell und sicher muss es sein. Eine Sicherung der Daten mache ich auf eine externe Platte. Mir geht es in erster Line darum schnelle Vorschau auf die Daten ( Bilder ) zu haben. Ich habe ein 3GHz Rechner ( 64 bit ) läuft aber auf normalen Windows Home ( evtl Professional nehmen ?? ) und wenn man 64 bit nimmt welches OS? MS läuft ja nicht alles.

Hi zusammen,

Platten und Hardware Controller habe ich
noch nicht.

Welche Festplatten würdet ihr
empfehlen??

Hi, für das RAID, wenn Du Dir einen 3ware Controller leistest, würde ich Seagate SATA Platten
mit NCQ Protokoll empfehlen.
Zum Besipiel diese hier: http://www.alternate.de/html/shop/productDetails.html?artno=A7BS04&;

Gruß

cykes

Hallo stpe

Warum auf keine Fall Raid 1? Um Daten sicher geschrieben werden sollen dann ist für den kleinen Geldbeutel Raid 1 ideal. Du hast bei Raid 0 zwar den Vorteil das du fast Doppelte Daten Geschwindigkeit hast aber keine Sicherheit der Daten. Den besten Kompromiss zwischen Sicherheit und Geschwindigkeit ist halt Raid 5.

Es gab glaube auch mal eine Möglichkeit in Win XP Pro Raid 5 zu nutzen musste man glaube ein paar Dateien umtauschen und an der Redistry was ändern. Was für mich immer die Frage war was ist wenn OS neu aufgesetzt wird wird dann das Raid von Xp neu erkannt oder ist dann alles futsch?
Deswegen setzte ich Software Raid nicht ein. Hardware die die ganze Logik übernehmen sind die Bessere Wahl.

MFG umd schönen Sonntag

Da kommt mir direkt die Frage SATA II ??? Controller und Platten ??

Also im PCIe sitzt die Grafikkarte ..... also geht nur PCI ist der Einsatz von SATA II da sinnvoll? Wie schnell ist der PCI BUS ??

Es ging Firewalldevil in seiner Frage ja darum, die Daten möglichst schnell zu lesen, deswegen habe ich Raid 0 empfohlen. Dass ein Raid 0 nicht so sicher, wie ein 1er Raid ist, habe ich extra erwähnt.

Einen Raid 5 habe ich deswegen nicht angesprochen, weil Firewalldevil seinen Geldbeutel schonen wollte, und entsprechende Controller (auch Sata) sicher das dazu eingeplante Budget sprengen würden.

Außerdem gilt ja sowieso: Nur Backups helfen gegen Murphy

Gruss
Stefan

Hallo

Ich denke mal das bei sehr vielen kleinen Daten das Raid 0 nicht wirklich zum tragen kommt. Da bei den kleinen Daten nicht so viel verteilt werden kann das ist bei großen Daten besser. Deswegen würde ich sagen das ein schnelle Anbindung der Platte wichtiger währe.

MFG

Gerade bei kleinen Dateien wird sich ein Raid 0 gut machen, denn hier kommt es weniger auf die Transferzeit als vielmehr auf die schnellste Zugriffszeit an. Und wenn sich das auf mehrere Platten aufteilt, macht genau das den Geschwindigkeitsvorteil vom Raid aus.

Gruss
Stefan

Du könntest das ganze auch ganz anders lösen, Du kaufst Dir 2 gute SATA Platten,
schliesst die eine intern an und die andere in ein externes USB Gehäuse und machst dann
einmal pro Tag/Woche/Monat - je nachdem wie häufig sich die Daten ändern - ein Backup
auf die externe Platte und benutzt diese auch nur für dieses Backup (ansonsten
ausgeschaltet lassen). Damit erreichst Du mit relativ einfachen Mitteln eine ziemlich hohe
Datensicherheit und brauchst Dir auch keine Gedanken um eventuellen Performance-Verlust durch Software RAID zu machen.

Gruß

cykes

Also ich denke einen internen PCI SATA Controller zu nutzen mit einem Raid 1 mit zwei Platten. Für die Sicherheit werde ich die externe USB Platte nutzen. Und für das BS werde ich den internen Controller nutzen. Mit einer SATA Platte.

Hi,

also den internen PCIe SATA Controller kann ich ncht einsetzen.

Wäre das richtig: ???

PCIe SATA ( 1 HDD ) ca 300MB/s = PCI SATA ( 2 HDD im RAID 1 ) ca. 300MB/s

Welche Platte wäre dann besonders schnell fürs Raid ? Die genannte Seagate ???

Hallo

Warum solltest du den internen SATA Controller nicht einsetzten? Welche Platte du benutzt ist auch nicht so entscheidend, Hauptsache es sind 2 Gleiche.

MFG

ich denke der interne ( Software Controller ) ist langsamer, oder ???

Ich glaube nicht das du einen Unterschied merken wirst. Mal eine andere Frage was machst du mit solchen kleinen Dateien wie wird darauf zugegriffen?

eigentlich sollte sogar ne anständige ide festplatte ausreichend sein.

Hi,

ich überlege jetzt eine Platte oder auch zwei zu kaufen.

Kann eine SATAII Platte auch mit SATA betrieben werden??

Hi,

das kommt stark auf den (onboard) Controller/Chipsatz an, aber die meisten SATA2 platten lassen sich auf SATA1 Kompatibilität umjumpern.

Gruß

cykes

Frage Hardware Speichersysteme

Heiß diskutiert