crunkfx
Goto Top

Hardware oder Software RAID

Mahlzeit,

Kurz vorab eine Einigung darauf dass es kein Hardware RAID gibt, ich aber trotzdem differenziere zwischen:

Software RAID ( reine Software auf einem OS)

Hardware RAID (Software auf einem Asic etc. Auf der Hardware)

Nun zur Frage.
Ich habe heute einen neuen Kunden übernommen. Dieser hat Jahrelang so ziemlich alles nicht gemacht. Wir sind hier im XP Zeitalter stehengeblieben. Da der Kunde einen neuen Besitzer hat und dieser Wert auf eine vernünftige IT legt, darf ich jetzt Hand anlegen.
Der alte Besitzer hat vermutlich aus Spargründen den kompletten Firmenspeicher auf externen Festplattengehäusen mit RAID Funktion gespeichert ( ICY-BOX ).

Es handelt sich um insgesamt 21 Dual Laufwärksschächte mit als insgesamt 42 8TB WD Red jeweils 2 im RAID 1.

Angebunden sind alle Platten an einem Server via PCI Express USB3.1 Karten.

Würdet ihr diese Konstellation übernehmen?

Falls ja, Sollte ich das RAID 1 als Software RAID Ausführen oder diese Funktion auf die Kisten auslagern?
Kann ein OS eine Platte aus einem RAID 1 ohne RAID Controller direkt lesen? Wenn nicht steh ich ja schon blöd da wenn mir so ne Kiste verreckt.

Falls diese Installation nicht mehr in Frage kommt, welche "kosten nutzen effiziente" Möglichkeit habe ich 42 3,5" Platten aufzunehmen und zu raiden? Datenverlust der aktuellen Daten ist irrelevant da dort nur temporär Dateien lagern aber dann in enormer Größe.

Ich bin etwas hin und her gerissen, da ich so eine Installation noch nie beurteilen durfte. Vielleicht hat ja der ein oder andere ne Idee.

MFG
CrunkFX

Content-ID: 667601

Url: https://administrator.de/contentid/667601

Ausgedruckt am: 23.11.2024 um 16:11 Uhr

radiogugu
Lösung radiogugu 15.06.2021 um 10:34:07 Uhr
Goto Top
Hallo.

Zitat von @CrunkFX:
Nun zur Frage.
Ich habe heute einen neuen Kunden übernommen. Dieser hat Jahrelang so ziemlich alles nicht gemacht. Wir sind hier im XP Zeitalter stehengeblieben. Da der Kunde einen neuen Besitzer hat und dieser Wert auf eine vernünftige IT legt, darf ich jetzt Hand anlegen.
Der alte Besitzer hat vermutlich aus Spargründen den kompletten Firmenspeicher auf externen Festplattengehäusen mit RAID Funktion gespeichert ( ICY-BOX ).

Nix Ungewöhnliches.

Es handelt sich um insgesamt 21 Dual Laufwärksschächte mit als insgesamt 42 8TB WD Red jeweils 2 im RAID 1.

Angebunden sind alle Platten an einem Server via PCI Express USB3.1 Karten.

Foto, oder es ist nicht passiert face-smile <-- Scherz

Würdet ihr diese Konstellation übernehmen?

Nein. Besser zwei NAS Geräte anschaffen. Eines für den Produktiv-Betrieb und dieses dann via iSCSi an den Server binden.

Das andere Gerät als Backup (idealerweise Offsite / stark abhängig von der Internetanbindung und dem Datenvolumen). Wie sieht denn aktuell die Backup Strategie aus? Oder sind von den theoretischen 160 TB auch welche für das Backup gedacht?

Ist der Speicherbedarf tatsächlich so hoch?

Das Budget gibt ja die möglichen Szenarien vor. Daher gehe ich davon aus, dass nicht gerade 20K für einen HCI Knoten-Verbund (kleinste Ausbaustufe) ins Auge gefasst wurden.

In jedem Fall würde ich auch den vorhandenen Server (welche Hardware isses denn in deinem Fall?) umziehen vom physischen weg zu einer Virtualisierungs-Umgebung hin. Allein aus Gründen der Datensicherung, eventueller Migration auf neue Hardware und Kosteneffektivität.

Gruß
Marc
ukulele-7
ukulele-7 15.06.2021 um 10:34:41 Uhr
Goto Top
Zitat von @CrunkFX:
Würdet ihr diese Konstellation übernehmen?
Sehr schwer zu beurteilen aber erstmal würde ich sagen, ich würde eventuell nicht mal den Kunden haben wollen face-smile

Ich bin auch ein Kostenfuchs aber Daten sind nun mal wertvoll. Du sagst es sind nur temporäre Daten, gibt es eine Datensicherung?

Um was für Daten handelt es sich? Große Dateien wie Bild und Video Material oder aberwitzig viele kleine Dateien? Wie findet der Zugriff statt, über SMB?

Was passiert denn wenn ein Laufwerk ausfällt? Große Systeme haben den Vorteil von Hotspares aber bei 8 TB Platten ist die Wahrscheinlichkeit hoch das wenn eine Platte ausfällt und die andere aus dem RAID-Verbund alle Daten liefern muss es auch hier zu Fehlern kommt.
Possibaer
Possibaer 15.06.2021 um 10:42:46 Uhr
Goto Top
Zitat von @CrunkFX:

Der alte Besitzer hat vermutlich aus Spargründen den kompletten Firmenspeicher auf externen Festplattengehäusen mit RAID Funktion gespeichert ( ICY-BOX ).

Es handelt sich um insgesamt 21 Dual Laufwärksschächte mit als insgesamt 42 8TB WD Red jeweils 2 im RAID 1.

Angebunden sind alle Platten an einem Server via PCI Express USB3.1 Karten.


Kann mir gerade schwer vorstellen. dass einer wirklich diese Bastellösung gebaut hat. Foto?

Ansonsten würde ich erstmal versuchen zu analysieren wie viel Speicherplatz wirklich gennötigt wird. 160TB ist eine ganze Menge Holz...
Sollte das Budget da sein, würde ich zu einem Storage raten im Raid 5 oder 6 mit einer Platte im Hot-Standby.

VG
CrunkFX
CrunkFX 15.06.2021 um 10:50:49 Uhr
Goto Top
Es handelt sich hierbei um ein Krematorium mit insgesamt 4 Säälen die jeweils 4 Kameras haben. Zu Beginn einer Sitzung nehmen alle Kameras (analog, aber irgendsoein Uhd analog) die Sitzung auf und senden ihr analog Signal an einen Videoserver(AMD Opteron 1218, 16g RAM) und dann im Rohformat auf die Platten. Gleichzeitig sind die Platten im Netzwerk als Netzwerklaufwerke damit die Mitarbeiter aus den rohdateien Videos schneiden können. Ob dafür nun die Menge an Speicher notwendig ist, kann ich aktuell nicht beantworten. Ich werde bei der nächsten Aufnahme den Speicherverbrauch sowie die benötigte Geschwindigkeit der Schnittstellen und Auslastung des Servers Mal protokollieren.
CrunkFX
CrunkFX 15.06.2021 um 10:53:14 Uhr
Goto Top
Foto kommt sobald ich wieder dort bin. Ich habe selbst 3 Mal Schlucken müssen
Possibaer
Possibaer 15.06.2021 um 11:11:16 Uhr
Goto Top
Zitat von @CrunkFX:

Es handelt sich hierbei um ein Krematorium mit insgesamt 4 Säälen die jeweils 4 Kameras haben. Zu Beginn einer Sitzung nehmen alle Kameras (analog, aber irgendsoein Uhd analog) die Sitzung auf und senden ihr analog Signal an einen Videoserver(AMD Opteron 1218, 16g RAM) und dann im Rohformat auf die Platten.

Ok. Danke für Info. Bei der Konstellation würde ich parallel dazu mal durchrechnen ob es für den Kunden nicht günstiger wird, wenn er auf modernere Kamerasysteme umstellt, welche dann die Daten direkt Netzwerkspeicher ablegen. Vermutlich werden dann keine 160 TB mehr benötigt. Danach ein entsprechendes Storage auslegen.

VG

PS: Bin mal gespannt auf die Fotos. Mit Sichert zu verwenden als Beispielbild wie man es nicht machen sollte. face-smile
ukulele-7
ukulele-7 15.06.2021 um 11:14:40 Uhr
Goto Top
Interessante Umgebung. Also die Titelfrage "Hardware" vs. Software RAID würde ich mir mit Logik beantworten:
Bei Software RAID muss der Server die Daten über eine USB Verbindung zwei mal senden. Bei RAID durch einen Controller in der ICY Box ja eigentlich nur einmal, also müsste sich die Bandbreite theoretisch verdoppeln. Nun schafft USB 3.1 vermutlich problemlos die zwei Platten, vielleicht einfach mal einen Speedtest für beide Konfigurationen machen? - Tendenziell bin ich bei Hardware RAID.

4 Kameras in einem Raum pro "Session" würde noch eine Möglichkeit eröffnen. Angenommen, der Server Macht Blödsinn, dann sind erstmal alle Aufnahmen weg (also nicht nur die auf einer Platte). Das Aufgenommene kann nicht wiederholt werden... Vielleicht sollte man die Boxen und Kameras gleichmäßig auf zwei Serversysteme aufteilen?
CrunkFX
CrunkFX 15.06.2021 um 11:29:45 Uhr
Goto Top
Mit dem Gedanken hatte ich mich auch schon angefreundet oder eben wie @Possibaer vorgeschlagen hat direkt die Cams tauschen und ggf gegen IP Cams tauschen dann könnte man pro Raum ein kleines Nas o.ä. hinsetzen. Nur hab ich dann natürlich die Kabel Problematik. Aktuell liegt dort ja RG58 oder 59 jedenfalls coax. Der Aufwand diese gegen Cat irgendwas zu tauschen ist nicht gerade gering.
Possibaer
Lösung Possibaer 15.06.2021 um 11:46:17 Uhr
Goto Top
Hey,

das mit den Kabeln ist richtig. Auf der anderen Seite, wenn mal eine Kamera kaputt geht, stellt sich die Frage ob er für sein System noch eine Kamera am Markt bekommt, Somit muss er irgendwann mal eh auf IP-CAMS umstellen.

VG
ukulele-7
ukulele-7 15.06.2021 aktualisiert um 11:49:24 Uhr
Goto Top
So wie ich das verstehe geht es ja um ein funktionsfähiges Setup, der Server läuft wohl kaum auf XP mit USB 3.1... Ist denn die Qualität der Aufnahmen noch i.O. oder soll hier sowieso neue Hardware kommen? Vielleicht erstmal einen Raum umrüsten und die alte Hardware auf Halde legen.
CrunkFX
CrunkFX 15.06.2021 um 12:10:26 Uhr
Goto Top
Auf dem Videoserver läuft gar kein Windows sondern irgendwas unixoides was ich mangels Zugangsdaten zur Shell noch nicht identifizieren konnte. Könnte FreeBSD o.ä sein. Jedenfalls kein Ubuntu oder Rhel. Die Qualität der Aufnahme ist für analoge Kameras hervorragend, aber die Latenz ist, vermutlich durch den Server geschuldet enorm und 10FPS max. Scheint eine Begrenzung von CVI zu sein. Es gibt dort die Überlegung das ganze System auf Streaming umzustellen. Im Idealfall fliegt der Server raus. Ich wette den hat seit dem die Bude läuft noch nie einer von innen gesehen. Nur dann hab ich noch immer das Problem mit den Cams und dem Speicher mit dem ich nix anfangen kann. Einziger Vorteil die Platten sind zu hauf da. Einen kompletten Wandel der Infrastruktur wollte ich eig. Vermeiden aber da scheint (zumindest wenn man es vernünftig haben will) kein Weg dran vorbei zu führen. Ich werde Mal mit dem Kunden sprechen welche Möglichkeiten er hat und was aktuell die Lage ist. Danke für eure Tipps, ich halte euch auf dem laufenden.
em-pie
Lösung em-pie 15.06.2021 um 12:31:57 Uhr
Goto Top
Moin,

Zitat von @CrunkFX:

... Nur hab ich dann natürlich die Kabel Problematik. Aktuell liegt dort ja RG58 oder 59 jedenfalls coax.
Das kann man ggf. auch "umgehen", Artet nur in einer kleinen Geräteschlacht aus:
Z.B. mit solchen Teilen:
https://www.reichelt.de/ethernet-ueber-koax-1800-mbps-einzelgeraet-eoc-1 ...
https://www.reichelt.de/smartsolutions-c8262.html?&nbc=1

Zum Rest:
Erst einmal alles sauber analysieren und aufschreiben. Danach ein "rundes Konzept" erarbeiten.
Ich würde da, je nach wichtigkeit der Daten auf ein vernünftiges Storage gehen. Schlimmstenfalls irgendwas von IBM/ Lenovo/ HP/ Fujitsu mit zwei Canistern und einer iSCSI-Anbindung. Allerdings bedarfs es dazu noch einen (kleinen) Server, der den Blockspeicher auch mit Daten füttert. DIe andere Variante wäre dann ein QNAP/ Synology aus der größeren Serie. Dort kannst du im Bedarfsfall auch Speichereinheiten (Enclosures) via eSATA o.Ä. nachrüsten. Vorteil bei den NAS-Systemen: du hättest einen zentralen Kameraserver dabei. Bei Synology als "Oberklasse" die FS3400 oder SA3200D - kostet aber auch, da lohnt es sich ggf, dann doch zu den anderen, o.g Herstellern zu gehen.

Gruß
em-pie
CrunkFX
CrunkFX 19.06.2021 um 12:17:09 Uhr
Goto Top
Moin,
Nachdem ich heute Mal wieder bei meinem neuen Lieblingskunden war möchte ich euch dann doch Mal an dem Setup teilhaben lassen.


Wir haben uns nun insofern geeinigt als das die analogen Kameras inkl. Server wegkommen und dafür pro Raum erstmal jeweils 1 IP Kamera installiert wird die auf einem QNAP Nas speichert. Der Speicherplatz ist dort völlig übertrieben und eine Begründung weshalb das so ist gibt es nicht. Pro Tag/Raum entstehen aktuell ca. 3TB, macht bei 4 Säälen 12 und bei einer Speicherdauer von 7Tagen hätte die Hälfte gereicht, vorausgesetzt jeder Raum ständig belegt.

Eine Frage bleibt mir dennoch, kann ich Platten die in einem HW RAID1 saßen direkt am PC Lesen?

MFG
CrunkFX
img_20210619_115233-min
img_20210619_115236-min
img_20210619_115246-min
img_20210619_115227-min
img_20210619_115242-min
img_20210619_115205-min
img_20210619_115211-min
em-pie
em-pie 19.06.2021 um 12:40:30 Uhr
Goto Top
Zitat von @CrunkFX:

Moin,
Nachdem ich heute Mal wieder bei meinem neuen Lieblingskunden war möchte ich euch dann doch Mal an dem Setup teilhaben lassen.
[Bilder]
Heilig's Blechle... (⊙_⊙)

Wir haben uns nun insofern geeinigt als das die analogen Kameras inkl. Server wegkommen und dafür pro Raum erstmal jeweils 1 IP Kamera installiert wird die auf einem QNAP Nas speichert. Der Speicherplatz ist dort völlig übertrieben und eine Begründung weshalb das so ist gibt es nicht. Pro Tag/Raum entstehen aktuell ca. 3TB, macht bei 4 Säälen 12 und bei einer Speicherdauer von 7Tagen hätte die Hälfte gereicht, vorausgesetzt jeder Raum ständig belegt.

Gute Idee:
Hier wird man ja hinsichtlich SOftware und Kamers fündig:
https://www.qnap.com/de-de/software/surveillance-station
https://www.qnap.com/de-de/compatibility-surveillance/
https://software.qnap.com/surveillance-station.html

Die Frage ist, ob es am Ende wirklich 3TB pro Raum/ Tag sein werden.
Welche Auflösung wird benötigt? FHD/ 4K oder doch eher weniger?
Müssen die Videos mit 24FPS aufgezeichnet werden, oder reicht auch 0,5 - 1FPS ?

Das würde den Speicherbedarf ja deutlich reduzieren.

Eine Frage bleibt mir dennoch, kann ich Platten die in einem HW RAID1 saßen direkt am PC Lesen?
Meiner Erfahrung nach geht das. Die Daten werden ja quasi nur gespiegelt. Bei RAID 5 (als Beispiel) ist das nicht so ganz trivial.
Optimal wäre es aber: Platte per DD(Rescue) virtualisieren und dann mal "experimentieren" - oder die Daten direkt vom aktuellen System wegkopieren.

MFG
CrunkFX

Gruß
em-pie
CrunkFX
CrunkFX 21.06.2021 um 08:39:14 Uhr
Goto Top
@em-pie
Danke für deine Einschätzung zum Thema RAID 1.

Zum Speicher, da ja nun pro Raum (erstmal) nur eine Cam benutzt wird und das surveillance Cams und keine TV Kameras sind werde ich wahrscheinlich sogar mit 8TB Pro NAS auskommen, und wenn nicht hab ich ja jetzt Platten genug ;)
em-pie
em-pie 21.06.2021 um 09:25:06 Uhr
Goto Top
Moin,

was heisst denn mit 8TB Pro NAS auskommen?
Ich würde da EIN NAS für alle Kameras hinstellen und ggf. ein zweites (weniger Leistungsstarkes) fürs Backup.
Das NAS dann so wählen, dass es a) ausreichend Bays hat und/ oder b) via eSATA erweitert werden kann.

An HDDs mangelt es dir ja tatsächlich nicht face-big-smile

Bei 5 HDDs, je 8TB hast du bei einem RAID 5 schon mal 32TB Platz oder 24TB, wenn du eine Hotspare einsetzen willst
ukulele-7
ukulele-7 21.06.2021 um 09:29:22 Uhr
Goto Top
Ich kann HDDs brauchen, wenn die über sind face-wink
radiogugu
radiogugu 21.06.2021 um 09:31:21 Uhr
Goto Top
Zitat von @em-pie:
Ich würde da EIN NAS für alle Kameras hinstellen und ggf. ein zweites (weniger Leistungsstarkes) fürs Backup.
Das NAS dann so wählen, dass es a) ausreichend Bays hat und/ oder b) via eSATA erweitert werden kann.

An HDDs mangelt es dir ja tatsächlich nicht face-big-smile

Bei 5 HDDs, je 8TB hast du bei einem RAID 5 schon mal 32TB Platz oder 24TB, wenn du eine Hotspare einsetzen willst

Das ist hier die einzig vernünftige Empfehlung.

Die Bilder anzusehen macht einem Angst und Bange. Was da an Netzteilen vorhanden ist und was passiert, wenn dir eines oder mehrere davon flöten gehen?

Kaufe dir ein großes Synology oder QNAP NAS. Damit fährst du deutlich seriöser an der Stelle. Definitiv auch über einen Schrank nachdenken, damit das da nicht aussieht wie: "Ist das Kunst oder kann das weg?"

Gruß
Marc
CrunkFX
CrunkFX 21.06.2021 aktualisiert um 14:22:04 Uhr
Goto Top
Ihr habt natürlich vollkommen Recht. Vor lauter Festplatten und co.KG. Drehe ich selbst schon am Rad. Geplant war ein großes QNAP Nas 4 oder 8 Bay muss ich preislich und leistungstechnisch noch Vergleichen. Den Gedanken an mehrere NAS hatte ich schon verworfen, aber mein Hirn wohl nicht 🤦
148656
148656 21.06.2021 um 14:34:37 Uhr
Goto Top
Mit einem 4Bay-Nas wirst du nicht weit kommen. Und beim Thema "Preis" begibst du dich aufs Glatteis. Kosten und Nutzen hast du ja bereits beim Ex-Dienstleister deines Kunden montiert.

Gruß
C.C.
radiogugu
radiogugu 21.06.2021 um 14:46:01 Uhr
Goto Top
Zitat von @148656:
Mit einem 4Bay-Nas wirst du nicht weit kommen. Und beim Thema "Preis" begibst du dich aufs Glatteis. Kosten und Nutzen hast du ja bereits beim Ex-Dienstleister deines Kunden montiert.

Absolut korrekt.

Stell dich auf eine hohe, vierstellige Summe ein für das was es können soll.

Beispielsweise das Leergehäuse des Synology RS4021xs kostet schon mal über 5,5K.

https://geizhals.de/synology-rackstation-rs4021xs-a2466139.html

Denn die Anforderungen bekommst du nur mit sehr großen Platten in wenigen oder großen Platten in vielen Schächten abgedeckt.

Gruß
Marc
CrunkFX
CrunkFX 21.06.2021 um 14:58:23 Uhr
Goto Top
Hat denn jemand Erfahrung mit der surveillance Station von Synology? Ich kenne bisher nur die Videogeschichte von QNAP. Wahrscheinlich tut sich da nicht viel oder? Als Kameras werden es
AXIS Q1798-LE . Wie gesagt Geld spielt beim aktuellen Setup nur eine Nebenrolle, es ist wichtig dass das ganze funktioniert, vernünftig ist und zuverlässig. Gleichzeitig möchte ich aber auch nur die Hardware kaufen die auch benötigt wird.

MFG
CrunkFX
ukulele-7
ukulele-7 21.06.2021 um 15:25:03 Uhr
Goto Top
Zitat von @radiogugu:

Stell dich auf eine hohe, vierstellige Summe ein für das was es können soll.

Beispielsweise das Leergehäuse des Synology RS4021xs kostet schon mal über 5,5K.

https://geizhals.de/synology-rackstation-rs4021xs-a2466139.html
Das finde ich wiederum arg übertrieben. Erstmal muss es kein Rack sein, da steht ja jetzt noch nicht mal ein Rack, da kann man auch ein Standgehäuse nehmen. Dann braucht man ja auch nicht mehr so viel Platz, wie viel genau muss natürlich ermittelt werden und Ausbaufähig sein. Aber 8 oder 12 Bay Standgehäuse gibt's auch für 1000 Euro problemlos.

Bitte auch nicht viele große HDDs in einen RAID 5 oder 6 aufnehmen. Rauscht eine Platte ab müssen alle! Platten alle Daten auslesen für den Restore. Die Wahrscheinlichkeit eines zweiten Defekts während des Rebuilds steigt dann enorm. Dann lieber 2x RAID5 mit global Hot-Spare.