6
Entscheidung externer Storage für Esxi 5.5
Hallo Zusammen,
wir haben hier seit Anfang 2012 einen Esxi 5.5 auf dem aktuell bis zu 12 Server gleichzeitig aktiv sind. Wir sind ein Consulting-Unternehmen und arbeiten vorwiegend mit MSSQL Datenbanken und ERP, CRM oder XRM Anwendungen.
Der lokale Storage (im Blech des Hypervisors) soll nun erneuert werden, was die Gelegenheit bietet etwas zu optimieren. Dafür bitte ich um Erfahrungswerte und Feedback, was gemacht werden sollte oder könnte.
Aktuell hat der Server 4 SATA HDD zu je 750GB im Raid 10 an einem LSI 9260-4i mit BBU. Backups laufen an ein ISCSI Storage (Qnap Nas) und ein NFS Storage (Qnap Nas).
Meine Ziele: Mehr Flexibilität, höhere Iops, höhere Kapazität.
Meine bisherigen Ideen:
1. Quick & Dirty: Lokalen Storage erweitern.
Es wäre ein SAS Expander anzuschaffen, damit die 8 Einschübe des Servers auch verwendet werden können.
Zielvorstellung: 2 SSD im Raid1 für Datenmigrationen und Business Intelligence
Erweiterung des Raid 10 auf 6 HDD, ausmustern der drei Jahre alten HDD. (Ein Raid 5 oder 6 tut bei Datenbanken weh, für eine Auftrennung der Spindeln sind es zu wenige, oder?)
Optional: Freischaltung CacheCade des LSI und dafür nur 1 SSD für Datenmigrationen und BI.
2. Vernünftige Lösung, aber am meisten Arbeit: SAN
Lizenzen für Windows Storage Server stehen uns zur Verfügung, wäre zu evaluieren. Es stellt sich die Frage nach geeigneter Hardware und einem Failover Cluster.
Nachteil wäre, dass ich entweder FC oder 10Gbit/S (oder 4 x 1 Gbit/s Nics) einsetzen sollte, um den Hypervisor performant anzubinden oder?
Optional: StarWind Virtual San Free oder OpenFiler
3. Nichts halbes und nichts ganzes: NAS
Eigentlich schon fast unten durch. Aber: Wenn die Performance stimmt, haben QNAP-Kisten schon ganz nette Features, so daß man auch out of the box 2 Geräte als Failover-Cluster nutzen könnte.
Auch hier stellt sich die Frage nach der Performance.
Wie seht ihr das? Das Budget für ein "echtes" kleines San bekomme ich definitiv nicht würde aber gerne unter gegebenen Umständen ein sinnvolles Ergebnis erhalten.
Gruss Grinskeks
wir haben hier seit Anfang 2012 einen Esxi 5.5 auf dem aktuell bis zu 12 Server gleichzeitig aktiv sind. Wir sind ein Consulting-Unternehmen und arbeiten vorwiegend mit MSSQL Datenbanken und ERP, CRM oder XRM Anwendungen.
Der lokale Storage (im Blech des Hypervisors) soll nun erneuert werden, was die Gelegenheit bietet etwas zu optimieren. Dafür bitte ich um Erfahrungswerte und Feedback, was gemacht werden sollte oder könnte.
Aktuell hat der Server 4 SATA HDD zu je 750GB im Raid 10 an einem LSI 9260-4i mit BBU. Backups laufen an ein ISCSI Storage (Qnap Nas) und ein NFS Storage (Qnap Nas).
Meine Ziele: Mehr Flexibilität, höhere Iops, höhere Kapazität.
Meine bisherigen Ideen:
1. Quick & Dirty: Lokalen Storage erweitern.
Es wäre ein SAS Expander anzuschaffen, damit die 8 Einschübe des Servers auch verwendet werden können.
Zielvorstellung: 2 SSD im Raid1 für Datenmigrationen und Business Intelligence
Erweiterung des Raid 10 auf 6 HDD, ausmustern der drei Jahre alten HDD. (Ein Raid 5 oder 6 tut bei Datenbanken weh, für eine Auftrennung der Spindeln sind es zu wenige, oder?)
Optional: Freischaltung CacheCade des LSI und dafür nur 1 SSD für Datenmigrationen und BI.
2. Vernünftige Lösung, aber am meisten Arbeit: SAN
Lizenzen für Windows Storage Server stehen uns zur Verfügung, wäre zu evaluieren. Es stellt sich die Frage nach geeigneter Hardware und einem Failover Cluster.
Nachteil wäre, dass ich entweder FC oder 10Gbit/S (oder 4 x 1 Gbit/s Nics) einsetzen sollte, um den Hypervisor performant anzubinden oder?
Optional: StarWind Virtual San Free oder OpenFiler
3. Nichts halbes und nichts ganzes: NAS
Eigentlich schon fast unten durch. Aber: Wenn die Performance stimmt, haben QNAP-Kisten schon ganz nette Features, so daß man auch out of the box 2 Geräte als Failover-Cluster nutzen könnte.
Auch hier stellt sich die Frage nach der Performance.
Wie seht ihr das? Das Budget für ein "echtes" kleines San bekomme ich definitiv nicht würde aber gerne unter gegebenen Umständen ein sinnvolles Ergebnis erhalten.
Gruss Grinskeks
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 277946
Url: https://administrator.de/contentid/277946
Printed on: April 19, 2024 at 03:04 o'clock
6 Comments
Latest comment
Hallo,
aus eigener Erfahrung: wenn ihr gerade in einen Bereich seid, in dem die Leistung mal kurz peeks haben kann (evaluation usw) lasst qnap als Daten Ziel außen vor. Zum sichern, kein Problem als Daten backbone definitiv.
Grüße
aus eigener Erfahrung: wenn ihr gerade in einen Bereich seid, in dem die Leistung mal kurz peeks haben kann (evaluation usw) lasst qnap als Daten Ziel außen vor. Zum sichern, kein Problem als Daten backbone definitiv.
Grüße
Moin,
das ist ja ein deutlicher Ansprung der Ansprüche.
Vom übervollem Server mit SATA zum SAN.
In Eurer Größenordnung wäre der logische Schritt
4xSSD + 4xSAS 15k
Ein SAN ist natülich toll, aber da ist man in der redundanten Version schnell mal bei 20k und mehr.
ganz Grob
Lokal 4x SSD für kleine schnelle und temporäre Jobs
SAN per FC mit SAS 15k Festplatten, bei 14 HDDs kannst Du z.B. 3xRAID5 und 2 Hot Spare.
FC Switch nicht vergessen.
Stichwort schwacher Server.
Wenn Ihr schon Geld ausgeben wollt, dann noch besser
SAN, 2 neue Server und VMWare Essentials Plus.
Dann habt Ihr auch gleich eine Hochverfügbarkeit für alle VMs.
Aktuell steht ja alles wenn der aktuelle Server die Biege macht.
Viele Grüße
Stefan
das ist ja ein deutlicher Ansprung der Ansprüche.
Vom übervollem Server mit SATA zum SAN.
In Eurer Größenordnung wäre der logische Schritt
4xSSD + 4xSAS 15k
Ein SAN ist natülich toll, aber da ist man in der redundanten Version schnell mal bei 20k und mehr.
ganz Grob
Lokal 4x SSD für kleine schnelle und temporäre Jobs
SAN per FC mit SAS 15k Festplatten, bei 14 HDDs kannst Du z.B. 3xRAID5 und 2 Hot Spare.
FC Switch nicht vergessen.
Stichwort schwacher Server.
Wenn Ihr schon Geld ausgeben wollt, dann noch besser
SAN, 2 neue Server und VMWare Essentials Plus.
Dann habt Ihr auch gleich eine Hochverfügbarkeit für alle VMs.
Aktuell steht ja alles wenn der aktuelle Server die Biege macht.
Viele Grüße
Stefan
Vielen Dank für die Antworten.
Da Unser Serverschrank im Besprechungsraum steht und alles auf Silent getrimmt ist, sind laute Komponenten wie SAS 15K aktuell leider keine Option.
Die 4 SSD würdest du im Raid 10 betreiben? Sollte ich mir dann nicht einen 12Gbit/s Controller zulegen?
Der Server ist übrigens nicht übervoll. 12 Server hört sich jetzt nach viel an, aber wir arbeiten mit 7 Leuten auf den Systemen und brauchen die verschiedenen Server eigentlich nur, um die Kompatibilität unserer Produkte zu testen.
D.h. Windows 2008, 2008R2, 2012, 2012 R2, ein 2003er und 2000 er sind auch noch dabei, sowie ein paar SQL Server mit allen MSSQL Versionen ab 2000 bis 2014.
Zudem kommen Community Tech Previews und explizite Server für Tests, Migrationen und die Main zum Entwickeln.
Die verschiedensten Konfigurationen lassen sich am einfachsten Virtualisieren.
Bottlenecks gibt es aktuell eigentlich nur bei den IOPS und das liegt vor allem an den Migrationen.
Aber das mit der Ausfallsicherheit stimmt schon.
Aktuell habe ich noch einen deutlich schwächeren ESXi Testserver, der im Disasterfall verwendet werden kann (dann wird eben manuell gewechselt) - daher sehe ich die unmittelbare "Not" zunächst darin, den Storage unbedingt auszugliedern, damit nicht ESXI und Storage gleichzeitig die Biege machen im Worst Case.
Zu Bedenken ist auch, dass die Server zwar wichtig für unser Tagwerk sind, wir aber auch autark von diesen Arbeiten können. Somit würde ein Ausfall zwar die Effizienz verringern aber keine hohen Kosten wie in größeren Unternehmen verursachen. Einzelne benötigte Datenbanken sind kurzfristig wiederherstellbar.
Wenn ich ein Fass aufmachen würde, würde ich dem Chef eine Checkliste vorlegen, in der er hinterlegen soll, wie hochdie Ausfallzeit eines Servers im Worst Case sein darf und auf Basis dieser Info Vorschläge erarbeiten. Wenn er dann die Preise sieht, sind wir schnell wieder bei Ausfallzeiten im Bereich von einem Tag.
Meine Optionen sind eben begrenzt. Daher würden mich eure Erfahrungen mit Openfiler und Starwind VirtualSAN interessieren. Ansonsten werde ich wohl zu SSD / SATA greifen müssen.
Gruss
Grinskeks
Da Unser Serverschrank im Besprechungsraum steht und alles auf Silent getrimmt ist, sind laute Komponenten wie SAS 15K aktuell leider keine Option.
Die 4 SSD würdest du im Raid 10 betreiben? Sollte ich mir dann nicht einen 12Gbit/s Controller zulegen?
Der Server ist übrigens nicht übervoll. 12 Server hört sich jetzt nach viel an, aber wir arbeiten mit 7 Leuten auf den Systemen und brauchen die verschiedenen Server eigentlich nur, um die Kompatibilität unserer Produkte zu testen.
D.h. Windows 2008, 2008R2, 2012, 2012 R2, ein 2003er und 2000 er sind auch noch dabei, sowie ein paar SQL Server mit allen MSSQL Versionen ab 2000 bis 2014.
Zudem kommen Community Tech Previews und explizite Server für Tests, Migrationen und die Main zum Entwickeln.
Die verschiedensten Konfigurationen lassen sich am einfachsten Virtualisieren.
Bottlenecks gibt es aktuell eigentlich nur bei den IOPS und das liegt vor allem an den Migrationen.
Aber das mit der Ausfallsicherheit stimmt schon.
Aktuell habe ich noch einen deutlich schwächeren ESXi Testserver, der im Disasterfall verwendet werden kann (dann wird eben manuell gewechselt) - daher sehe ich die unmittelbare "Not" zunächst darin, den Storage unbedingt auszugliedern, damit nicht ESXI und Storage gleichzeitig die Biege machen im Worst Case.
Zu Bedenken ist auch, dass die Server zwar wichtig für unser Tagwerk sind, wir aber auch autark von diesen Arbeiten können. Somit würde ein Ausfall zwar die Effizienz verringern aber keine hohen Kosten wie in größeren Unternehmen verursachen. Einzelne benötigte Datenbanken sind kurzfristig wiederherstellbar.
Wenn ich ein Fass aufmachen würde, würde ich dem Chef eine Checkliste vorlegen, in der er hinterlegen soll, wie hochdie Ausfallzeit eines Servers im Worst Case sein darf und auf Basis dieser Info Vorschläge erarbeiten. Wenn er dann die Preise sieht, sind wir schnell wieder bei Ausfallzeiten im Bereich von einem Tag.
Meine Optionen sind eben begrenzt. Daher würden mich eure Erfahrungen mit Openfiler und Starwind VirtualSAN interessieren. Ansonsten werde ich wohl zu SSD / SATA greifen müssen.
Gruss
Grinskeks
Hi
die Lautstärke kommt nicht von den Festplatten, die Lautstärke kommt von der Luftkühlung der Geräte, den meisten "Krach" macht eher das Netzteil wie alles andere.
Als Storagenodes kannst auch einfache Systeme wie Dell MD32xxi verwenden und diese dann man besten Wissen und Gewissen mit Festplatten ausstatten, dazu dann ein einfacher Switch der iSCSI kann (z.B. ICX Serie Brocade). In dem Storage dann die gewünschten SSD's rein und du hast ausreichend IO für all deine Belange und passend für euren Geldbeute - ich würde mittlerweile immer zu SSD wechseln bevor ich mir eine 15k Platte besorge, wir hatten bisher nahezu keine Ausfälle mit Server SSDs wobei die regulären Platten des öfteren ausfallen.
Wenn Ihr große Datenbanken habt, empfiehlt es sich eher dem Server mehr RAM zu geben, damit >90% der Anfrage direkt aus dem RAM bedient werden können (Stryk Tools helfen bei dem Sizing anhand der aktuellen Bedingung http://www.stryk.info/toolbox.html), denn das ist im Regelfall das größte Nadelöhr eines SQL Servers: RAM (unser SQL hat 128Gb RAM und darunter ein SSD beschleunigtes Storage für knapp 300 USer - 99% der regulären Anfragen kommen direkt aus dem RAM).
Das dir ein Storagenode ausfällt (zwei Controller oder Netzteile zur gleichen Zeit bzw. x Festplatten (je nach RAID)) ist eher sehr ungewöhnlich, das wäre hier jetzt 'mit Kanonen auf Spatzen schießen'. Ich würde mir eine gescheite Backupsoftware (z.B. Veeam, dass geht mittlerweile auch mit "Blech" Kisten) besorgen und ggf. (je nach Größe) die Datenbanken mit SQL Bordmittel zusätzlich und öfter sichern.
Und 10Gb bei 12 Servern, brauchst eh nicht, da kannst besser in jedem Server 1-2 Quad-Port Karten 1Gb stecken, selbst die wirst nicht auf Last bekommen, wir haben alles auf 10Gb+ bei uns und keiner der Server läuft auf mehr wie 40-50% der Leistung einer 10Gb Karte - außer wenn das Backup anfängt, aber nicht im Hochbetrieb.
Just my 2 Cent
@clSchak
die Lautstärke kommt nicht von den Festplatten, die Lautstärke kommt von der Luftkühlung der Geräte, den meisten "Krach" macht eher das Netzteil wie alles andere.
Als Storagenodes kannst auch einfache Systeme wie Dell MD32xxi verwenden und diese dann man besten Wissen und Gewissen mit Festplatten ausstatten, dazu dann ein einfacher Switch der iSCSI kann (z.B. ICX Serie Brocade). In dem Storage dann die gewünschten SSD's rein und du hast ausreichend IO für all deine Belange und passend für euren Geldbeute - ich würde mittlerweile immer zu SSD wechseln bevor ich mir eine 15k Platte besorge, wir hatten bisher nahezu keine Ausfälle mit Server SSDs wobei die regulären Platten des öfteren ausfallen.
Wenn Ihr große Datenbanken habt, empfiehlt es sich eher dem Server mehr RAM zu geben, damit >90% der Anfrage direkt aus dem RAM bedient werden können (Stryk Tools helfen bei dem Sizing anhand der aktuellen Bedingung http://www.stryk.info/toolbox.html), denn das ist im Regelfall das größte Nadelöhr eines SQL Servers: RAM (unser SQL hat 128Gb RAM und darunter ein SSD beschleunigtes Storage für knapp 300 USer - 99% der regulären Anfragen kommen direkt aus dem RAM).
Das dir ein Storagenode ausfällt (zwei Controller oder Netzteile zur gleichen Zeit bzw. x Festplatten (je nach RAID)) ist eher sehr ungewöhnlich, das wäre hier jetzt 'mit Kanonen auf Spatzen schießen'. Ich würde mir eine gescheite Backupsoftware (z.B. Veeam, dass geht mittlerweile auch mit "Blech" Kisten) besorgen und ggf. (je nach Größe) die Datenbanken mit SQL Bordmittel zusätzlich und öfter sichern.
Und 10Gb bei 12 Servern, brauchst eh nicht, da kannst besser in jedem Server 1-2 Quad-Port Karten 1Gb stecken, selbst die wirst nicht auf Last bekommen, wir haben alles auf 10Gb+ bei uns und keiner der Server läuft auf mehr wie 40-50% der Leistung einer 10Gb Karte - außer wenn das Backup anfängt, aber nicht im Hochbetrieb.
Just my 2 Cent
@clSchak
Hi,
die Luftkühlung wird mit 21 DB gefahren und ist sehr gut optimiert. Unser 42 HE Rack ist recht übersichtlich befüllt : Neben Switches, Patchpanel und USV befindet sich ein Tower-Server, der mit Rack-Schienen auf 19" angepasst wurde und zwei QNaps. Daher können wir uns große Lüfter und dicke Kühlkörper platzmäßig leisten
Der Server hat 64GB RAM. Aufgrund des DB-Designs werden einige Anfragen in der TempDB verarbeitet, was den Ram ausschließt.
Einige Tests laufen auch explizit auf EXPRESS_Instanzen, die bei 1GB Ram für die Datenbanken dicht machen und lustig swappen.
Optimierungen sind an dieser Stelle schwierig, da wir ja nicht produktiv mit den Systemen arbeiten sondern selbige entwickeln. Natürlich betreiben wir für unsere Entwicklungen Index- und Query-Tuning aber es geht hier nicht um große Datenmengen und Antwortzeiten im Regelbetrieb, da wir diesen ja nicht haben, sondern unsere Kunden. Wir haben hierzu übrigens Tools von Brent Ozar und RedGate im Einsatz.
Wenn Datenmigrationen laufen, sollte zukünftig einfach ein dedizierter Festplattenverbund verwendet werden, damit es keine Staus in der Küche gibt
Backups laufen über die Produktpalette von Acronis, die Veeam natürlich nicht das Wasser reichen können, wenn es um Virtualisierung geht (wer kann das schon). Dafür erhalten wir als Partner NFR Lizenzen.
Gruss
Grinskeks
die Luftkühlung wird mit 21 DB gefahren und ist sehr gut optimiert. Unser 42 HE Rack ist recht übersichtlich befüllt : Neben Switches, Patchpanel und USV befindet sich ein Tower-Server, der mit Rack-Schienen auf 19" angepasst wurde und zwei QNaps. Daher können wir uns große Lüfter und dicke Kühlkörper platzmäßig leisten
Der Server hat 64GB RAM. Aufgrund des DB-Designs werden einige Anfragen in der TempDB verarbeitet, was den Ram ausschließt.
Einige Tests laufen auch explizit auf EXPRESS_Instanzen, die bei 1GB Ram für die Datenbanken dicht machen und lustig swappen.
Optimierungen sind an dieser Stelle schwierig, da wir ja nicht produktiv mit den Systemen arbeiten sondern selbige entwickeln. Natürlich betreiben wir für unsere Entwicklungen Index- und Query-Tuning aber es geht hier nicht um große Datenmengen und Antwortzeiten im Regelbetrieb, da wir diesen ja nicht haben, sondern unsere Kunden. Wir haben hierzu übrigens Tools von Brent Ozar und RedGate im Einsatz.
Wenn Datenmigrationen laufen, sollte zukünftig einfach ein dedizierter Festplattenverbund verwendet werden, damit es keine Staus in der Küche gibt
Backups laufen über die Produktpalette von Acronis, die Veeam natürlich nicht das Wasser reichen können, wenn es um Virtualisierung geht (wer kann das schon). Dafür erhalten wir als Partner NFR Lizenzen.
Gruss
Grinskeks
Hallo, Grinskeks,
in Ihrem Fall würde ich Ihnen doch eine virtuelle SAN als die beste Lösung raten. Die Kosten für Sie werden mindestens halbiert. Die virtuelle SAN vermeidet einen separaten Gemeinschaftsspeicher, indem sie mit der Infrastruktur, verbundenen Verteilung und den Wartungsaktivitäten korrespondiert. Es sind in diesem Fall dann weniger physikalische Hardware zu kaufen und zu warten.
Ich verwende StarWind Virtual SAN mit VMWare als hyper-konvergent scenario und bin damit völlig zufrieden. Ich habe damit auch wesentliche Kosten gespart. Falls Sie welche Fragen danach haben, stehe ich Ihnen gerne zur Verfügung.
in Ihrem Fall würde ich Ihnen doch eine virtuelle SAN als die beste Lösung raten. Die Kosten für Sie werden mindestens halbiert. Die virtuelle SAN vermeidet einen separaten Gemeinschaftsspeicher, indem sie mit der Infrastruktur, verbundenen Verteilung und den Wartungsaktivitäten korrespondiert. Es sind in diesem Fall dann weniger physikalische Hardware zu kaufen und zu warten.
Ich verwende StarWind Virtual SAN mit VMWare als hyper-konvergent scenario und bin damit völlig zufrieden. Ich habe damit auch wesentliche Kosten gespart. Falls Sie welche Fragen danach haben, stehe ich Ihnen gerne zur Verfügung.
