jsysde
Goto Top

Steuerung mehrerer USVs

Moin zusammen.

Einfache Frage, auf die ich leider keine einfache Antwort finden konnte:
Wie steuert ihr mehrere USVs, wenn daran per Über-Kreuz-Verkabelung die redundanten Netzteile von Servern, Storage, Switches etc. angeschlossen sind?

Gegeben sei (um das mal ganz einfach zu halten):
2x APC 3000, jede mit Netzwerk-Interface
2x Server-Blech mit red. NTs
-- NT1 an USV1
-- NT2 an USV2

Läuft und tut, solange beide USVs kein Problem haben, z.B. ein Akku defekt. Die APC-Software (PowerChute) kann eine USV verwalten, peng. Fällt eine USVs aus und die hängt am PowerChute - zack, Server wird runtergefahren, obwohl nicht zwingend nötig.

"Früher" (bilde ich mir ein) gab's mal so ne Appliance, an die mehrere USVs angeschlossen, zentral verwaltet und deren Leistung auch in einem solchen Über-Kreuz-Szenario gesteuert werden konnte. Find' ich aber nicht mehr und kann mich ums Verplatzen auch nicht mehr an deren Bezeichnung erinnern.

Jemand mit ähnlichen Problemen? Oder gar einer Lösung? face-wink
Danke für euren Input.

Cheers,
jsysde

Content-Key: 4766806877

Url: https://administrator.de/contentid/4766806877

Printed on: February 25, 2024 at 04:02 o'clock

Member: MysticFoxDE
MysticFoxDE Nov 26, 2022 updated at 09:08:18 (UTC)
Goto Top
Moin jsysde,

"Früher" (bilde ich mir ein) gab's mal so ne Appliance, an die mehrere USVs angeschlossen, zentral verwaltet und deren Leistung auch in einem solchen Über-Kreuz-Szenario gesteuert werden konnte. Find' ich aber nicht mehr und kann mich ums Verplatzen auch nicht mehr an deren Bezeichnung erinnern.

Das was du dafür benötigst ist das hier.

https://www.apc.com/de/de/product/AP4423/rack-ats-230-v-16-a-c20-eingang ...

und daran kannst du dann deine Verbraucher direkt oder am besten mit einer PDU dazwischen, anschliessen. 😉
Bei zwei APC 3000, reicht übrigens ein AP4423 vollkommen aus.

Jemand mit ähnlichen Problemen? Oder gar einer Lösung? face-wink

Jup, habe erst letztes Wochenende zwei 15000er APC's, mit 5 AP4423 und 5 PDU's (EPDU1016M) in Betrieb genommen. 😁
Läuft 1A.

Beste Grüsse aus BaWü

Alex
Member: Crusher79
Crusher79 Nov 26, 2022 updated at 09:20:32 (UTC)
Goto Top
Hallo,

generell kann man die USV zum Warten ja auch ausschalten. Da braucht es nur vertrauen in die Netzspannung und einen Shunt. Ist halt dann kurz ohne Netz und doppelten Boden.

Techn. sollte so ein Shunt auch 2x USV Nodes schalten können. Wir haben Shunt + USV von Riello. Aber nur eine. Da kommt es auch auf den Aufbau an. Die großen haben meist 2 Chassis. Wenn man nicht alles braucht und der Techniker intelligent war, baut er den Batterien in das 2. Chassis ein. Beim Warten ist es hier dann viel einfacher, da man "nur" die Batterien im Gehäuse hat.

Kenne mich nicht ganz so tief drin aus. Denke aber dass in größeren Umgebungen auch mit Shunts u.ä. gearbeitet wird, um das Freischalten entsprechender Strecken und Geräte zu erreichen.

Die Logik zum Herunterfahren liegt ja bei der Software. Durch entsprechende Node Überwachung sollte man das verhindern können. Wir haben einen manuellen Shunt. Gibt bestimmt auch Mölgichkeiten das zu Automatisieren.

Notstrom wird ja ähnlich unterbrechungsfrei geliefert. Keine Ahnung wie das im einzelnen aussieht. Batterien halten Energie vor. El. Bauteile aber kurrzeitig ja auch. Würde mich da von Firmen beraten lassen.

mfg Crusher
Member: Dani
Dani Nov 26, 2022 at 10:18:22 (UTC)
Goto Top
@MysticFoxDE
weshalb? Die Server haben doch zwei Netzteile. Somit ist doch ein Kreuzung problemlos möglich, oder?

@jsysde
"Früher" (bilde ich mir ein) gab's mal so ne Appliance, an die mehrere USVs angeschlossen, zentral verwaltet und deren Leistung auch in einem solchen Über-Kreuz-Szenario gesteuert werden konnte. Find' ich aber nicht mehr und kann mich ums Verplatzen auch nicht mehr an deren Bezeichnung erinnern.
Meiner Erfahrung und Wissens nach, geht es auch nicht ohne Appliance nicht. Irgendwoher muss die Logik und das Verhalten ja kommen und steuern.

Jemand mit ähnlichen Problemen? Oder gar einer Lösung? face-wink
Natürlich. Wir sind u.a. diesen Problems vor knapp 10 Jahren von APC auf Eaton gewechselt. face-big-smile

@Crusher79
Kenne mich nicht ganz so tief drin aus. Denke aber dass in größeren Umgebungen auch mit Shunts u.ä. gearbeitet wird, um das Freischalten entsprechender Strecken und Geräte zu erreichen.
Jein... hängt davon auf was du "mit Shutdown" beziehst, auf die jeweilige USV?


Gruß,
Dani
Member: MacLeod
MacLeod Nov 26, 2022 at 10:26:01 (UTC)
Goto Top
USV VMA gibt es immer noch als Appliance. letzte bekannte Version war die 6.5 von 2016. Musst probieren ob die noch geht.
Member: jsysde
jsysde Nov 26, 2022 at 10:44:12 (UTC)
Goto Top
Moin.
Zitat von @Dani:
[...]Natürlich. Wir sind u.a. diesen Problems vor knapp 10 Jahren von APC auf Eaton gewechselt. face-big-smile
Und wie genau löst das mein Problem? Was macht Eaton anders/besser als APC?

@MysticFoxDE:
Danke, schau ich mir näher an - aber ich will eigentlich nicht vorhandene, teils noch nicht mal alte Hardware gegen andere (und noch mehr) Hardware ersetzen. ich suche eher nach einer Logik, die in der Lage ist, mehrere vorhandene USVs zu verwalten.

Mein Problem ist:
PowerChute auf Server 1 steuert USV1, PowerChute auf Server2 steuert USV2. Nun fällt USV2 aus, PowerChute schlägt Alarm und fährt ggf. den Server runter, obwohl USV1 ja noch da und online ist. Über-Kreuz-Verkabelung liefert also Strom und der Server könnte weiterlaufen. Die Logik, die ich suche, muss also beide (oder besser: alle) USVs auslesen und deren Stützleistung gegeneinander auswerten usw.

Dafür ^^ gabs mal besagte Appliance. Ich hatte auch mal irgendwo (auf nem NAS?!?) eine Steuerung für sowas implementiert. Aber wie das so ist (wenn man älter wird): Ich kann mich nicht mehr an Details erinnern. face-wink

Cheers,
jsysde
Member: beidermachtvongreyscull
beidermachtvongreyscull Nov 26, 2022 at 11:38:26 (UTC)
Goto Top
Zitat von @jsysde:

Moin.
Zitat von @Dani:
[...]Natürlich. Wir sind u.a. diesen Problems vor knapp 10 Jahren von APC auf Eaton gewechselt. face-big-smile
Und wie genau löst das mein Problem? Was macht Eaton anders/besser als APC?

@MysticFoxDE:
Danke, schau ich mir näher an - aber ich will eigentlich nicht vorhandene, teils noch nicht mal alte Hardware gegen andere (und noch mehr) Hardware ersetzen. ich suche eher nach einer Logik, die in der Lage ist, mehrere vorhandene USVs zu verwalten.

Mein Problem ist:
PowerChute auf Server 1 steuert USV1, PowerChute auf Server2 steuert USV2. Nun fällt USV2 aus, PowerChute schlägt Alarm und fährt ggf. den Server runter, obwohl USV1 ja noch da und online ist. Über-Kreuz-Verkabelung liefert also Strom und der Server könnte weiterlaufen. Die Logik, die ich suche, muss also beide (oder besser: alle) USVs auslesen und deren Stützleistung gegeneinander auswerten usw.

Dafür ^^ gabs mal besagte Appliance. Ich hatte auch mal irgendwo (auf nem NAS?!?) eine Steuerung für sowas implementiert. Aber wie das so ist (wenn man älter wird): Ich kann mich nicht mehr an Details erinnern. face-wink

Cheers,
jsysde

Du solltest den Shutdown selbst regeln, wenn Du mich fragst.
Das kannst Du mit Scripts lösen, die per Pull die entsprechende Info von beiden Servern, die die USVs überwachen regeln.

Ein solches Script baut man als Endlosschleife und legt es als Startup-Script an.
Lasse PowerChute auf beiden Servern im Fall eines Stromausfalls eine Datei erzeugen. Wird die durch die Monitorscripts auf beiden Servern entdeckt, dann heißt es "Shutdown", wenn nicht, dann Alarm Gelb.

Was Alex da vorschlägt ist nice, aber aus meiner Sicht "Perlen vor die Säue" zumal auch eine weitere Fehlerquelle. Wenn man einen mehrphasigen Stromkreis betreibt, sollte man bei entsprechender Auslegung eine 3-Phasen-USV in Erwägung ziehen.

So habe ich das bei uns gemacht. 3-Phasen-Drehstrom in die USV rein, 3x240V Wechselstrom aus dem Inverter raus.
Schnurrt wie Katze.
Member: MysticFoxDE
MysticFoxDE Nov 26, 2022 at 11:41:08 (UTC)
Goto Top
Moin Dani,

@MysticFoxDE
weshalb? Die Server haben doch zwei Netzteile. Somit ist doch ein Kreuzung problemlos möglich, oder?

du sprichst von dem Konzept.

USV A --> Server A - PSU A
USV B --> Server A - PSU B

Was machst du jedoch, wenn die PSU A im Server verreckt und kurz danach die USV B?
Oder, was machst du mit Geräten, die nur ein Netzteil haben?

Und genau um sowas auch mit abzufangen, verbaut man zwischen die USV's und die Endverbraucher ATS.
Die Sorgen z.B. dafür, dass beide PSU's des Server mit Strom versorgt werden und zwar unabhängig davon ob einer der USV's dahinter, eventuell ausgefallen ist.

Ausserdem sorgen die mitunter auch dafür, dass die Verbraucher so lange in Betrieb bleiben, bis auch die letzte USV vollständig ausgelutscht ist. 😁
Und danach lassen wir in den meisten Umgebungen die Anlage hart "sterben".
Kontrolliert herunterfahren machen wir schon lange nicht mehr.
Ich sage nur, Updateinstallation während des Herunterfahren und genau dann geht die USV leer. 🤢🤮

Beste Grüsse aus BaWü
Alex
Member: MysticFoxDE
MysticFoxDE Nov 26, 2022 updated at 12:33:20 (UTC)
Goto Top
Moin beidermachtvongreyscull,

Was Alex da vorschlägt ist nice, aber aus meiner Sicht "Perlen vor die Säue" zumal auch eine weitere Fehlerquelle.

Nein, die Säue bekommen von einem Fuchs ganz sicher keine Perlen zum fressen. 🤪
Die Fehlerrate/Ausfallsrate/Ausfallwahrscheinlichkeit eines ATS ist um Welten geringer als von USV's. 😉

Wenn man einen mehrphasigen Stromkreis betreibt, sollte man bei entsprechender Auslegung eine 3-Phasen-USV in Erwägung ziehen.

das bringt dir aber nur insoweit etwas, das solange die 3-Phasen-USV normal läuft, diese den Leistungsbezug der daran meist einphasig angeschlossenen Verbraucher, nicht wie bei 1-Phasen-USV's auch nur über eine Phase bezieht, sondern +- auf drei Phasen verteilt.
Darüber freut sich höchsten der Elektriker, da die angeschlossene Last nicht nur über eine Phase läuft sondern verteilt über drei und damit das Stromnetz quasi etwas besser/effektiver ausgelastet wird. Für die meisten hinter der USV befindlichen Geräte, ist die 3-Pahen Fähigkeit der USV vollkommen schnuppe, da diese eh mit 230V laufen.

So habe ich das bei uns gemacht. 3-Phasen-Drehstrom in die USV rein, 3x240V Wechselstrom aus dem Inverter raus.

Die 3x240V hast du bei einem 3-Phasen-Drehstrom Anschluss auch ohne USV. 😉

Schnurrt wie Katze.

Ich hoffe, dass du die Anleitung deiner 3-Pahsen-USV's genaustens durchgelesen hast und zwar insbesondere die Stelle, an der beschrieben steht, was passiert, wenn so eine 3-Pahsen USV in den Bypass-Betrieb schaltet.

Dann werden nämlich alle an der USV angeschlossenen Verbraucher respektive deren Last, die vorher +- über drei Phasen verteilt wurde, USV-Eingangsseitig auf eine Phase zusammengeschaltet. Und dann laufen auf einmal 10KVA oder mehr, nicht mehr verteilt über drei Phasen sondern nur noch über eine.
Wenn das passiert, dann kann man nur hoffen das der Installateur der USV ein Anschlusskabel mit dem entsprechenden Querschnitt verwendet und dieses auch entsprechend abgesichert hat und auch geprüft hat, ob die Hauptstromzuleitung des Serverraums das überhaupt her gibt.

Der Kunde bei dem ich dem Letzt die zwei 15KVA USV's verbaut habe, wollte dies zuerst auch einfach so mal bestellen. Ich habe dann seinen Serverraum kurz inspiziert und danach durfte dessen Elektriker die 5x16mm² Zuleitung erstmal gegen 5x70mm² ersetzen und für jede der USV's noch eine 100A Sicherung dazwischen bauen.

Beste Grüsse aus BaWü
Alex
Member: beidermachtvongreyscull
beidermachtvongreyscull Nov 26, 2022 at 13:50:11 (UTC)
Goto Top
Zitat von @MysticFoxDE:
Moin beidermachtvongreyscull,

Grüß Gott Herr Kollege!
Zitat von @MysticFoxDE:
Was Alex da vorschlägt ist nice, aber aus meiner Sicht "Perlen vor die Säue" zumal auch eine weitere Fehlerquelle.
Nein, die Säue bekommen von einem Fuchs ganz sicher keine Perlen zum fressen. 🤪
Die Fehlerrate/Ausfallsrate/Ausfallwahrscheinlichkeit eines ATS ist um Welten geringer als von USV's. 😉
Will ich nicht abstreiten. Die Dinger sind ja auch komplizierter.
Zitat von @MysticFoxDE:
Wenn man einen mehrphasigen Stromkreis betreibt, sollte man bei entsprechender Auslegung eine 3-Phasen-USV in Erwägung ziehen.

das bringt dir aber nur insoweit etwas, das solange die 3-Phasen-USV normal läuft, diese den Leistungsbezug der daran meist einphasig angeschlossenen Verbraucher, nicht wie bei 1-Phasen-USV's auch nur über eine Phase bezieht, sondern +- auf drei Phasen verteilt.

Das tut sie.

Zitat von @MysticFoxDE:
Darüber freut sich höchsten der Elektriker, da die angeschlossene Last nicht nur über eine Phase läuft sondern verteilt über drei und damit das Stromnetz quasi etwas besser/effektiver ausgelastet wird. Für die meisten hinter der USV befindlichen Geräte, ist die 3-Pahen Fähigkeit der USV vollkommen schnuppe, da diese eh mit 230V laufen.

Das stimmt.

Zitat von @MysticFoxDE:
So habe ich das bei uns gemacht. 3-Phasen-Drehstrom in die USV rein, 3x240V Wechselstrom aus dem Inverter raus.

Die 3x240V hast du bei einem 3-Phasen-Drehstrom Anschluss auch ohne USV. 😉
Das ist richtig. Aber dann hast Du ggfs. eine Phasenvarianz drin, da 120° verschoben. Die Netzteile kompensieren das, aber bei der USV sind die Phasen im Sekundärkreis synchron.

Zitat von @MysticFoxDE:
Schnurrt wie Katze.

Ich hoffe, dass du die Anleitung deiner 3-Pahsen-USV's genaustens durchgelesen hast und zwar insbesondere die Stelle, an der beschrieben steht, was passiert, wenn so eine 3-Pahsen USV in den Bypass-Betrieb schaltet.

Dann werden nämlich alle an der USV angeschlossenen Verbraucher respektive deren Last, die vorher +- über drei Phasen verteilt wurde, USV-Eingangsseitig auf eine Phase zusammengeschaltet. Und dann laufen auf einmal 10KVA oder mehr, nicht mehr verteilt über drei Phasen sondern nur noch über eine.

Dreiphasiger Bypass. Da wird nüscht zusammengeschaltet.

Zitat von @MysticFoxDE:
Wenn das passiert, dann kann man nur hoffen das der Installateur der USV ein Anschlusskabel mit dem entsprechenden Querschnitt verwendet und dieses auch entsprechend abgesichert hat und auch geprüft hat, ob die Hauptstromzuleitung des Serverraums das überhaupt her gibt.

Ich hab sogar nen dezidierten Strompfad für die Anlage. Sauber und nur für die Anlage.

Zitat von @MysticFoxDE:
Der Kunde bei dem ich dem Letzt die zwei 15KVA USV's verbaut habe, wollte dies zuerst auch einfach so mal bestellen. Ich habe dann seinen Serverraum kurz inspiziert und danach durfte dessen Elektriker die 5x16mm² Zuleitung erstmal gegen 5x70mm² ersetzen und für jede der USV's noch eine 100A Sicherung dazwischen bauen.

Dem hätte ich glatt ein Atomkraftwerk verkauft. face-big-smile
Ach nee. Darf man ja nicht mehr. face-big-smile

Zitat von @MysticFoxDE:
Beste Grüsse aus BaWü
Alex
Beste Grüße aus dem Saarland
Andreas
Member: MysticFoxDE
MysticFoxDE Nov 26, 2022 updated at 20:24:59 (UTC)
Goto Top
Moin Andreas,

Dreiphasiger Bypass. Da wird nüscht zusammengeschaltet.

das hätten die die ich verbaut habe auch gekonnt, jedoch sollte ich laut der Anleitung der USV, den Dreiphasigen-Bypass nur dann benutzen, wenn an der USV auch dreiphasige Verbraucher angeschlossen sind.

Dem hätte ich glatt ein Atomkraftwerk verkauft. face-big-smile

Jetzt komm, ne 15.000er USV ist jetzt auch nicht die Welt, die gibt es noch in viel viel grösser. 🤪
Alleine der Core-Switch des Kunden zieht schon locker > 1.000 W.
Dann noch drei nicht gerade schwachen Hyper-Pfau Nodes, ein SAN mit einem Enclosure, ne TK Anlage, ein paar Security-Gateway's, Modems u.s.w. ... da kommen zu Spitzenzeiten schon mal schnell ein paar tausend Watt zusammen.

Gruss Alex
Member: Crusher79
Crusher79 Nov 26, 2022 at 20:16:42 (UTC)
Goto Top
Habs nur überflogen. Unsere Riello ist bald mit Wartung dran. Ggf. kennt der auch APC. Könnte den mal löchern ^^

Unsere Riello sind recht groß ausgelegt. Durch Firmenzusammenlegung noch eine geerbt, die seit längeren nicht gewartet wurde.

Die Riello hat eine Ethernet Karte. Ist aber recht überschaubar. Via JSON sind Daten abrufbar. Sehe aber auch hier momentan nichts für den Betrieb von 2 USV. Denke mit der richtigen Hardware ist es recht einfach, da sich die Nodes gegenseitig überwachen.

Ich kippe das mal spaßeshalber bei dem Techniker mit rein face-wink
Member: jsysde
jsysde Nov 27, 2022 at 07:37:21 (UTC)
Goto Top
Moin.
Zitat von @MysticFoxDE:
[...]du sprichst von dem Konzept.
USV A --> Server A - PSU A
USV B --> Server A - PSU B
Ja, genau so ist i.d.R. der Aufbau/Anschluss.

Was machst du jedoch, wenn die PSU A im Server verreckt und kurz danach die USV B?
Lotto spielen? Die Wahrscheinlichkeit ist so gering...

Oder, was machst du mit Geräten, die nur ein Netzteil haben?
Die hängen natürlich an nem ATS - sofern sie dafür wichtig genug sind.

[...]Kontrolliert herunterfahren machen wir schon lange nicht mehr.
Hmm... Ist auch ein Konzept. Mir fallen aber spontan so zwei, drei Dienste ein, die auf hartes Abschalten mitunter sehr miesepetrig reagieren und unschöne, teils langwierige Nacharbeiten erfordern.

Es geht hier auch explizit nicht um RZ-Infrastruktur oder sowas. Vielmehr möchte ich das in den Kundenumgebungen "sauber" lösen. Und da reden wir von 2 bis n Blechen mit red. PSUs, auf denen dann n VMs rennen - nix großes, nix wildes. Aber absichern muss ich es irgendwie in der Form, dass ich auch steuern kann, was passiert, wenn mal der Strom ausfällt.

Der wahrscheinlich einfachste Weg wäre wohl, statt zwei kleiner USVs eine große hinzupacken, dann genügt auch einmal PowerChute, um alles sauber steuern zu können. Hatte halt gehofft, bestehende Infrastruktur ohne massiven, finanziellen Einsatz "besser" zu machen....

Cheers,
jsysde