RDS Connection Broker Umleitung für Admin steuern

Hallo zusammen

Ich habe in einer neu aufgebauten RDS Farm Umgebung ein unangenehmes Problem und Suche deren Ursache.

Kurze Ausgangslage:
- 1x MS Server 2019 mit RDS GW und Broker Dienste
- 3x MS Server 2019 mit RDS Host Diensten

In der AD gibt es eine Gruppe "TS-User" in welcher sich alle Benutzer befinden, die auf die RDS Umgebung zugreifen dürfen.

Diese Gruppe "TS-User" habe ich auf dem RDS GW in den RD CAP Richtlinien zugewiesen.
Es scheint auch sauber zu funktionieren, denn wenn ich über den RDS GW mit einem User ausserhalb dieser Gruppe mich verbinden möchte, erlaubt es mir dies nicht.
Soweit also korrekt.

Nun möchte ich von Zeit zu Zeit mit dem Domänen Admin auf die einzelnen RDS Host für den Unterhalt direkt zugreifen.
Also verwende ich simpel eine RDS Verbindung direkt auf die IP der einzelnen drei RDS Host, aber jedes mal werde ich, vermutlich durch den Broker, auf einen anderen Host umgeleitet.
Für die einzelnen User ist das super und funktioniert auch einwandfrei, aber für mich mit dem Admin ist es nur mühsam und nervig.

Wie kann ich verhindern, dass der vermeintliche Broker meine direkte Host Verbindung umleitet?

Danke für die Hilfe.