ipzipzap
Goto Top

Ideen für Strom- und USV-Konfiguration im Rack gesucht

Hallo,

letzte Woche gab es bei uns im Stadtteil einen längeren Stromausfall von über einer Stunde. War kein großes Problem, da fast alle USVs groß genug dimensioniert waren.
Zusätzlich haben wir aber heute zwei neue Server ins Rack geschraubt, wodurch die Laufzeit der USV natürlich merklich geringer wurde.
Und da ich grundsätzlich schon länger überlegt habe, wie ich die Stromversorgung optimieren kann, möchte ich hier mal gerne nach Meinungen und Ideen fragen.

Also erstmal der IST-Zustand für unsere zwei Haupt-Racks:

Jedes Rack wird mit je zwei Phasen angefahren, wovon wir aber momentan nur eine nutzen. Es ist noch Reserve für ein drittes Rack vorhanden, also insgesamt sechs Zuleitungen, jeweils mit 16A abgesichert.

In jedem Rack gibt es eine USV Eaton 5PX Gen2 3000VA mit LAN-Karte.

Rack 1:
- 2x Switch als Layer3 Core-Stack, je zwei Netzteile, LWL zu anderen Etagen und Gebäudeteilen.
- 3x Switch als Etagen-Stack, je ein Netzteil
- 2x Internet-Übergabe-Switche von verschiedenen LWL-Providern, einmal ein Netzteil, einmal zwei Netzteile
- diverses Kleinzeug mit Steckernetzteilen
- USV

Rack 2:
- 4x Server, jeweils zwei Netzteile
- 2x Firewall/Router als HA-Pärchen, jeweils ein Netzteil
- USV
- diverses Test-Equipment (zwei weitere Firewalls, Switche, NAS, Monitor, etc.). Alles mit nur einem Netzteil und bleibt nicht ewig im Rack eingebaut.

Die möglichen Ideen wären hier jetzt:

a) Alles einphasig verkabelt lassen und nur die USVs mit zusätzlichen Batteriepacks ausstatten, um die Laufzeit zu erhöhen.

b) Umbauen auf zweiphasig, zwei USVs mit Batteriepacks pro Rack, zwei lange vertikale metered PDUs pro Rack links und rechts auf der Rückseite der Racks, alle Geräte mit zwei Netzteilen auf beide PDUs und somit USVs aufteilen.

c) Keine Ahnung! Gibt es noch andere Möglichkeiten? Habe ich was vergessen? Vorschläge?

Ich weiß bei APC, das man gewisse USV-Modelle zusammenschalten kann und die sich dann quasi wie eine USV verhalten, damit die Server usw. auch richtig runtergefahren werden können. Wenn eine leer ist, gehen beide aus, usw. Geht das mit EATON auch? In anderen Etagen und Gebäuden haben wir ebenfalls nur 5PX Gen2 3000VA installiert. Fürs Management aller USVs haben wir den Eaton Intelligent Power Manager (IPM) lizensiert, falls das hier nützlich ist.

Andere Ideen?

Erstmal danke fürs bis hierher lesen und danke im Voraus für alle Antworten.


ipzipzap

Content-Key: 8657178581

Url: https://administrator.de/contentid/8657178581

Printed on: May 21, 2024 at 23:05 o'clock

Member: MysticFoxDE
MysticFoxDE Jan 31, 2024 at 21:02:03 (UTC)
Goto Top
Moin @ipzipzap,

In jedem Rack gibt es eine USV Eaton 5PX Gen2 3000VA mit LAN-Karte.

die 3000er ist für den Anlaufstrom der bereits vorhanden Geräte, meiner Ansicht nach schon etwas unterdimensioniert.

c) Keine Ahnung! Gibt es noch andere Möglichkeiten? Habe ich was vergessen? Vorschläge?

2 x 10.000er USV's
4 x ATS 16A
4 x PDU

Gruss Alex
Member: tech-flare
tech-flare Jan 31, 2024 updated at 22:07:26 (UTC)
Goto Top
Hallo,
Hallo

c) Keine Ahnung! Gibt es noch andere Möglichkeiten? Habe ich was vergessen? Vorschläge?
Die USV drin lassen bzw auf zweite USV erweitern ( Pro Phase eine) und davor noch eine feste NEA bauen lassen.

Damit kann das RZ fast autark laufen und den Diesel in der NEA kannst du bei bedarf nach 24h, wenn leer, immer wieder auffüllen.

Wir lassen bei uns dieses Jahr auch eine weitere NEA ( max Last 50KW bei uns) für das zweite RZ einbauen


Ps.: Deine Angaben sagen nichts über die wirkliche Leistung aus.
Es macht einen Unterschied, ob du 4 x 1HE Server mit 500Watt hast, oder 4 Blade Server mit max 12KW
Member: MirkoKR
MirkoKR Feb 01, 2024 updated at 05:52:03 (UTC)
Goto Top
Moin.

Prinzipiell halt die Frage der Verfügbarkeit!

Auch USVs können ausfallen, da braucht es keinen externen Stromausfall!

Also, wenn nötig und möglich alles was zu KRITIS gehört mindestens doppelt absichern!

Nachtrag: Aus diesem Beitrag bin ich mal der Idee nachgegangen,wie man z.B. 2 USVs an einen AC-IN bringen kann ... bin aber nicht fündig geworden ...🤔
Member: mpanzi
mpanzi Feb 01, 2024 at 12:44:14 (UTC)
Goto Top
Ich würde die Server verteilen, wenn möglich, so dass jedes Rack in etwa die gleiche Last hat.

Mehrere Phasen - gibt richtig gute Rack-Steckdosenleisten, die für 3phasigen Anschluss gemacht sind - die sind aber weniger sinnvoll. Man darf die nämlich nicht unabhängig voneinander absichern, sondern muss einen 3phasigen Sicherungsautomaten nehmen - Vorschriften, damit man nicht aus Versehen einen Teil der Steckdosenleiste noch unter Strom stehen hat.

Dadurch verlieren diese Leisten für mich den Sinn. Netzteil 1 auf Phase 1, Netzteil 2 auf Phase 2. Fliegt eine Sicherung raus würde ja theoretisch der Server weiterlaufen. Aber nicht, wenn die Leiste 3phasig abgesichert ist. Hier MUSS beim Auslösen einer Sicherung der komplette Sicherungsautomat abschalten.

Daher mache ich lieber 3 unabhängige Stromleisten auf jeweils ein Phase. Auch hier war der Elektriker nicht begeistert, weil er das Rack als eine Einheit sieht, hat es aber so angeschlossen. Bei zwei Racks habe ich den Server schon mit einem Netzteil in Rack 1 (über USV) und mit dem anderen in Rack 2 (ohne USV) angeschlossen. Und die Server in Rack 2 eben umgekehrt.

Dann eine Phase mit USV absichern und damit Netzteil1 der Server anschließen.

Netzteil2 kommt in das Nachbar-Rack mit anderer Phase/Sicherung - ohne USV.

So kann die USV kaputt gehen, eine Sicherung rausfliegen oder ein Netzteil kaputt gehen ohne, dass der Server ausfällt.

Einen Server mit zwei Netzteilen an der gleichen Sicherung anzuschließen macht für mich wenig Sinn.

@MirkoKR: Wozu sollen 2 USVs an einem Netzteil gut sein?
Member: MirkoKR
MirkoKR Feb 01, 2024 at 13:12:41 (UTC)
Goto Top
Zitat von @mpanzi:

@MirkoKR: Wozu sollen 2 USVs an einem Netzteil gut sein?

... weil die gängigen Switche nur 1x AC-IN haben ...
... wenn eine USV aussteigt, versorgt die 2te weiter ...
Member: mpanzi
mpanzi Feb 01, 2024 at 14:18:44 (UTC)
Goto Top
Hm, also normalerweise fällt bei Ausfall der USV die Stromversorgung nicht aus (sofern der Strom aus der Leitung fließt). Wenn also die USV ausfällt, geht es normal weiter und ebenso, wenn die Sicherung rausfliegt über die USV.

Wenn natürlich USV und Stromversorgung gemeinsam ausfallen, dann ja, dann geht die Kiste aus. Aber im Businessbereich ist es auch nicht so ungewöhnlich ist, dass man ein zweites Netzteil in einen Switch einstecken kann.
Member: HansDampf06
HansDampf06 Feb 01, 2024 at 14:23:40 (UTC)
Goto Top
Unter dem Vorbehalt, dass der Elektriker mit seiner Auffassung, dass lege artis mehrere Phasen in einem Rack gemeinsam abzusichern sind, nicht zwingend Recht hat, würde ich folgendes bedenken:

Der Ansatz, einen Server mit Netzteil 1 auf Phase und mit Netzteil 2 auf Phase 2 zu legen (im selben Rack) dürfte so dem Ansatz einer Redundanz am nächsten kommen und ratsam sein.
Natürlich gehört dann die jeweilige Phase mit einer USV ausgestattet. Damit ist immer sichergestellt, dass ein Server beim Ausfall der für ihn zweiten, sekundären Phase immer noch gesichert herunterfahren kann.
Sind mehrere Server im Rack vorhanden, würde ich abwechselnd die Netzteile auf die Phasen legen: Alle ungeraden Server mit Netzteil 1 auf Phase 1 und alle geraden mit Netzteil 1 auf Phase 2. Netzteil 2 dann immer auf die andere Phase. Hierdurch erreicht man sogar eine Lastverteilung zwischen den Phasen - die jeweils an die Phasen angeschlossene USV muss natürlich die Gesamtlast aller Server tragen können. Das gilt wiederum nicht, wenn das Netzteil 2 (oder 1) immer direkt an die jeweilige Phase angeschlossen wird.

In Stromausfallszenarien wird eine Phase ihre Verfügbarkeit gewiss entweder durch das Auslösen der Sicherung oder durch den Ausfall der Belieferung durch den Versorger einstellen. Ist es nur die Sicherung, kann die Unterbrechungsdauer regelmäßig recht kurz sein. Beim Versorger kann es durchaus schon einmal länger dauern und wird dann wohl zumeist alle Phasen betreffen.
Würde beispielsweise das Netzteil 1 immer direkt an die Phase angeschlossen werden, würde der Server beim Ausfall der Phase auf Netzteil 2 wechseln. Netzteil 2 ist über die USV an die andere Phase angeschlossen. Sollte beide Phasen zugleich ausfallen, würde die USV am Netzteil 2 den Server abfangen. Dabei spielt es keine Rolle, ob die zweite Phase vor, nach oder zugleich mit der ersten Phase ausfällt. Die USV ist der Rettungsanker. Bei diesem Ansatz würde nicht unbedingt eine Parallelschaltung von USV's auf einer Phase erforderlich sein.
Sind beide Netzteile über USV an die jeweilige Phase angeschlossen, dann würde die USV für Netzteil 1 vorerst die Versorgung über Netzteil 1 aufrechterhalten und bei einem Wechsel auf Netzteil2 stünde die dortige USV als Ersatz zur Verfügung. Jedoch stellt sich dann die Frage, auf welches USV-Signal hin der Server sein Herunterfahren einleiten sollte - eigentlich erst auf das von der zweiten USV ...

Beim (parallelen) Zusammenschalten von zwei USV's am Ausgang ist zu beachten, dass die Zusammenschaltung von zwei / mehreren Stromquellen immer problematisch ist. Das würde sinnvollerweise erfordern, durch eine Schalteinrichtung zu verhindern, dass sich der Strom der einen USV rückwärts seinen Weg in die andere USV hinein sucht. Derartiges zu lösen, gibt es gewiss etwas. Indes wird das nicht ohne Schaltzeiten abgehen kann daher für die angeschlossene Gesamtlast bedeutsam werden. Überdies wäre dann wohl jederzeit eine der beiden USV's immer im Standby ohne Last, bis der Ausfall der ersten USV entritt.
Bei genauerer Betrachtung erscheint es mir deswegen ratsamer, die Kapazität der USV hinreichend zu dimensioneren (ggf. erhöhen) und die zwei USV's auf beide Phasen zu verteilen. Immerhin: In allen hier diskutierbaren Szenarien wird es Fälle geben, bei denen die gesamte Redundanz nicht mehr oder nicht hinreichend greift. Die Redundanz reduziert lediglich die prompte Ausfallwahrscheinlichkeit, aber setzt sie nicht auf Null!

Viele Grüße
HansDampf06
Member: mpanzi
mpanzi Feb 01, 2024 at 14:40:27 (UTC)
Goto Top
Ich sichere nicht jede Phase mit USV ab. Eine Phase über USV und eine direkt am Strom. Natürlich schadet es nicht, aber es kostet auch entsprechend Geld und Platz.

Mir fällt jetzt kein Szenario ein, bei dem ich für jedes Netzteil eine USV bräuchte. Strom fällt komplett aus - eine USV reicht. Fällt der Strom nicht komplett aus, sondern nur eine Sicherung, ist es völlig egal, über welche Leitung der Saft in den Server kommt - mit Umweg über die USV oder direkt.

Die zweite USV hält das Ganze nur länger am Laufen, aber die eine sollte schon so dimensioniert und konfiguriert sein, dass alle Server sauber runterfahren können.

Einziger Pluspunkt für die zweite USV wäre noch die Absicherung bei Stromspitzen oder so. Aber das sollte ohnehin schon im Sicherungskasten oder wenigstens in den verwendeten Steckdosenleisten integriert sein.
Member: MysticFoxDE
MysticFoxDE Feb 01, 2024 at 16:16:03 (UTC)
Goto Top
Moin @MirkoKR,

Nachtrag: Aus diesem Beitrag bin ich mal der Idee nachgegangen,wie man z.B. 2 USVs an einen AC-IN bringen kann ... bin aber nicht fündig geworden ...🤔

dafür benötigst du je nach Last, die ein oder mehrere ATS (Automatic Transfer Switch)

Wie z.B. der folgende von APC.
https://www.apc.com/de/de/product/AP4423/rack-ats-230-v-16-a-c20-eingang ...
😉

Sprich, die Ausgänge der USV's kommen auf den ATS und von dem ATS kannst du dann wenn dessen Ausgänge für die verwendeten Geräte ausreichen, diese direkt daran anschliessen oder noch PDU's dazwischen klemmen.

So hast du dann auch bei den USV's HA & FT. 😉

Gruss Alex
Member: HansDampf06
HansDampf06 Feb 01, 2024 at 16:43:16 (UTC)
Goto Top
Zitat von @MysticFoxDE:
dafür benötigst du je nach Last, die ein oder mehrere ATS (Automatic Transfer Switch)
Wie z.B. der folgende von APC.
https://www.apc.com/de/de/product/AP4423/rack-ats-230-v-16-a-c20-eingang ...
Das ist letztlich eine Variante, was ich mit "Schalteinrichtung" meinte.

Ihr habt aber gesehen, dass das verlinkte APC-Produkt nur noch im Restbestand verkauft wird. Ob es einen Nachfolger gibt, habe ich nicht geprüft. Bei einem Preis von 1.306 EUR kann es auch Sinn machen, gegebenenfalls die vorhandene USV gegen eine neuere und leistungsfähigere auszutauschen - insbesondere, wenn der Betriebszyklus planvoll demnächst enden sollte.

Eine Schalteinrichtung wäre auch einfach selbst realisierbar, wenn man sich ein wenig mit Leistungsschalttechnik im Niederspannungsbereich auskennt - Stichwort: Leistungsschalter oder Leistungsschütz.

Viele Grüße
HansDampf06
Member: MysticFoxDE
MysticFoxDE Feb 01, 2024 at 16:54:06 (UTC)
Goto Top
Moin @HansDampf06:

Ihr habt aber gesehen, dass das verlinkte APC-Produkt nur noch im Restbestand verkauft wird. Ob es einen Nachfolger gibt, habe ich nicht geprüft.

upppps, mein Fehler. 😬
Hier der Nachfolger.
https://www.apc.com/de/de/product/AP4423A/apc-netshelter-rack-automatic- ...
😁

Bei einem Preis von 1.306 EUR kann es auch Sinn machen, gegebenenfalls die vorhandene USV gegen eine neuere und leistungsfähigere auszutauschen - insbesondere, wenn der Betriebszyklus planvoll demnächst enden sollte.

Na, ja, HA oder FT war noch nie umsonst und, die Dinger halten normalerweise mehrere USV Generationen aus.

Wir haben letztes Jahr so ein HA USV Konstrukt bei einem Kunden verbaut und gemessen an dem Preis der beiden 15.000er USV's, haben die dazugehörigen 5xATS's und 5xPDU's zu einem sehr überschaubaren Mehrpreis beigetragen.

Gruss Alex

Gruss Alex
Member: Dani
Dani Feb 01, 2024 at 18:19:42 (UTC)
Goto Top
Moin,
Mir fällt jetzt kein Szenario ein, bei dem ich für jedes Netzteil eine USV bräuchte. Strom fällt komplett aus - eine USV reicht. Fällt der Strom nicht komplett aus, sondern nur eine Sicherung, ist es völlig egal, über welche Leitung der Saft in den Server kommt - mit Umweg über die USV oder direkt.
auch eine USV muss gewartet werden oder mal defekt. Schlussendlich hängt es von den Rahmenbedingungen und Anforderungen ab.

Der Ansatz, einen Server mit Netzteil 1 auf Phase und mit Netzteil 2 auf Phase 2 zu legen (im selben Rack) dürfte so dem Ansatz einer Redundanz am nächsten kommen und ratsam sein.
Wer es auf die Spitze treiben muss (Thema Anforderung), nimmt natürlich zwei verschiedene Zuleitungen. Weil in der Regel sind alle drei Phasen einer Zuleitung gemeinsam über den Automaten abgesichert.

Sprich, die Ausgänge der USV's kommen auf den ATS und von dem ATS kannst du dann wenn dessen Ausgänge für die verwendeten Geräte ausreichen, diese direkt daran anschliessen oder noch PDU's dazwischen klemmen.
Ist eben ein (weiterer) Single Point Failure. Denn auch die ATS Kisten gehen leider kaputt. Daher ist gut zu überlegen, welche Art von Geräte ich einstecke.

b) Umbauen auf zweiphasig, zwei USVs mit Batteriepacks pro Rack, zwei lange vertikale metered PDUs pro Rack links und rechts auf der Rückseite der Racks, alle Geräte mit zwei Netzteilen auf beide PDUs und somit USVs aufteilen.
Mit zwei dedizierten Zuleitungen hast du meine Stimme. face-wink

Fürs Management aller USVs haben wir den Eaton Intelligent Power Manager (IPM) lizensiert, falls das hier nützlich ist.
Ja, selbstverständlich wenn es vernünftig ins Konzept eingebunden wird und die Lizenzen vorhanden sind. Nutzen wir auch um USVs, ePDUs, ATS, etc. zu verwalten. Wir haben das soweit automatisiert, dass wenn der Diesel Generator nicht anspringt, wird das RZ vollautomatisch sauber heruntergefahren.


Gruß,
Dani
Member: ipzipzap
ipzipzap Feb 22, 2024 at 17:07:15 (UTC)
Goto Top
Erstmal Danke an Euch alle für Eure Antworten. Ich war krankheitsbedingt OutOfOrder und konnte daher bisher nicht antworten.

Ich gehe in den nächsten Tagen noch auf Eure Antworten und Vorschläge ein.