leon123
Goto Top

Exchange kein Zugriff Powershell volle Auslastung

Hallo zusammen,

seit heute morgen läuft unser Exchange nicht. Kein Zugriff mit Outlook oder Owa.

Auf dem Server laufen 3-4 Powershells permanent mit 25%. Also die CPU auf 100%


Das Exploit Update und das neuste CU habe ich letzte Woche installiert.

Hatte das schonmal jemand?

Nach einem Neustart sind die Powershells wieder da und owa geht auch nicht.

Danke für Tipps.

Content-ID: 664878

Url: https://administrator.de/contentid/664878

Ausgedruckt am: 25.11.2024 um 06:11 Uhr

Lochkartenstanzer
Lochkartenstanzer 19.03.2021 aktualisiert um 08:54:24 Uhr
Goto Top
Zitat von @leon123:

Hallo zusammen,

seit heute morgen läuft unser Exchange nicht. Kein Zugriff mit Outlook oder Owa.

Auf dem Server laufen 3-4 Powershells permanent mit 25%. Also die CPU auf 100%


Das Exploit Update und das neuste CU habe ich letzte Woche installiert.

Hatte das schonmal jemand?

Ganz viele, die das Update zu spät aufgespielt haben. İch selbst verwende kein Exchange.


Nach einem Neustart sind die Powershells wieder da und owa geht auch nicht.

Sicheres Anzeichen, daß Du die Küste plattmachen und neu aus einem sauberen Backup hochziehen solltest.

İnsbesondere solltest Du den Exchange vom Rest des Netzes abkoppeln und auch alle anderen Kisten prüfen oder gleich neu aufsetzen!

Du hast bei Dir gerade den SuperGAU!


Danke für Tipps.

Gern geschehen


lks
StefanKittel
StefanKittel 19.03.2021 aktualisiert um 08:53:37 Uhr
Goto Top
Moin,

nein, habe ich zum Glück (für mich) nicht.

Klingt aber so als ob Du neue "Freunde" hättest.
Server runterfahren, Backup machen, Datensicherung vom 01.03. oder früher wiederherstellen.
Restliches Netzwerk (PCs, Server) prüfen und ggf. alles aus Backups wiederherstellen oder neu installieren.

Wann hast Du die Updates denn installiert?
Der Exploit wurde ja schon seit deutlich vor dem Patch ausgenutzt.

Auch hatte ich einen Kunden wo trotz Updates nmap den Server als verwundbar angezeigt hatte.
Erst das CU20 hatte das beseitigt.

Wir würden uns aber alle sehr freuen wenn Du mehr Informationen über diese Powershells posten könntest.
Auch wenn das vermutlich aktuell nicht Deine Priorität ist. Dateinamen, Pfad, etc.

Stefan
leon123
leon123 19.03.2021 um 09:04:22 Uhr
Goto Top
Das CU23 ist schon lang drauf, den besagten Patch habe ich am 05.03 installiert direkt als die Warnung vom BSI kam.

Nach dem Neustart hat es noch eine weile gedauert bis die Powershells jetzt weg sind, daher kann ich die nicht weiter untersuchen.


Ich denke auch ich habe neue Freunde, irgendjemand hat den DNS in der Netzwerkkarte auf 8.8.8.8 und 9.9.9.9 gestellt....
Lochkartenstanzer
Lochkartenstanzer 19.03.2021 aktualisiert um 09:08:50 Uhr
Goto Top
Zitat von @leon123:

Das CU23 ist schon lang drauf, den besagten Patch habe ich am 05.03 installiert direkt als die Warnung vom BSI kam.

Viel zu spät. Bus der BSI das mitbekommen und gemeldet war, war das Bonbon schon gelutscht.


Nach dem Neustart hat es noch eine weile gedauert bis die Powershells jetzt weg sind, daher kann ich die nicht weiter untersuchen.

Die sind nicht weg. Die haben sich nur besser versteckt.


Ich denke auch ich habe neue Freunde, irgendjemand hat den DNS in der Netzwerkkarte auf 8.8.8.8 und 9.9.9.9 gestellt....

Du solltest Dein AD und Dein komplettes Netz prüfen und den Exchange neu machen!

lks
chgorges
chgorges 19.03.2021 um 09:27:14 Uhr
Goto Top
Zitat von @Lochkartenstanzer:
Du solltest Dein AD und Dein komplettes Netz prüfen und den Exchange neu machen!

Wenn schon die DNS-Server geändert wurden, sind auch schon administrative Passwörter abgeflossen, dann muss alles inkl. AD komplett neu gemacht werden.
Lochkartenstanzer
Lochkartenstanzer 19.03.2021 um 09:28:51 Uhr
Goto Top
Zitat von @chgorges:

Zitat von @Lochkartenstanzer:
Du solltest Dein AD und Dein komplettes Netz prüfen und den Exchange neu machen!

Wenn schon die DNS-Server geändert wurden, sind auch schon administrative Passwörter abgeflossen, dann muss alles inkl. AD komplett neu gemacht werden.

Das hatte ich schon in meinem ersten Kommentar gesagt. face-smile


lks
chgorges
chgorges 19.03.2021 um 09:29:50 Uhr
Goto Top
Zitat von @Lochkartenstanzer:
Das hatte ich schon in meinem ersten Kommentar gesagt. face-smile


Sorry, mein Kaffee fehlt noch xD
ukulele-7
ukulele-7 19.03.2021 um 09:35:51 Uhr
Goto Top
Ja unbedingt den Exchange intensiv prüfen und nicht gleich platt machen, aber natürlich aus dem Internet und dem lokalen Netz nehmen. Wenn der als VM läuft kannst du einen neuen Exchange aufsetzen oder ein Restore machen und den alten erstmal ruhen lassen, aber die AD müsste natürlich auf Befall geprüft werden.

Der Security Patch muss! als Administrator aus der Konsole eingespielt werden, sonst findet zwar eine Installation statt aber es kann sein das diese durch UAC beeinträchtigt wird. So mein letzter Stand.
StefanKittel
StefanKittel 19.03.2021 um 09:41:41 Uhr
Goto Top
Und danch mit nmap prüfen
leon123
leon123 19.03.2021 um 09:41:51 Uhr
Goto Top
Ich habe den Exchange mit MSERT geprüft, hier wurde nichts gefunden.

Welche Tools benutzt ihr?
StefanKittel
StefanKittel 19.03.2021 um 09:45:52 Uhr
Goto Top
Zitat von @leon123:
Welche Tools benutzt ihr?
nmap und detect-webshell.ps1
itisnapanto
itisnapanto 19.03.2021 aktualisiert um 10:27:13 Uhr
Goto Top
Zitat von @leon123:

Das CU23 ist schon lang drauf, den besagten Patch habe ich am 05.03 installiert direkt als die Warnung vom BSI kam.

Nach dem Neustart hat es noch eine weile gedauert bis die Powershells jetzt weg sind, daher kann ich die nicht weiter untersuchen.


Ich denke auch ich habe neue Freunde, irgendjemand hat den DNS in der Netzwerkkarte auf 8.8.8.8 und 9.9.9.9 gestellt....

Das ist leider zu spät. Wie die Kollegen schon schrieben.
Exchange aus DaSi wiederherstellen. Threads dazu gibts hier ja nun genügend.

Viel Glück dabei.

Gruss
Vision2015
Vision2015 19.03.2021 um 11:50:00 Uhr
Goto Top
moin...

mach nicht so ein Drama....
0. Kiste Offline nehmen
1. Admin Passwort ändern... (im AD)
2. Backup erstellen...
3. alle updates und CU installieren!
4. alle Exchange Dienste anhalten (für immer) und EX DB irgendwo sichern, zertifikat etc... exchange server pfad merken, wenn er nicht standart ist! VM oder blech runterfahren und löschen!
5. Computer Konto zurücksetzten! (nicht löschen!)
6. Server OS Installieren, updaten bis nix mehr kommt, alte IP eintragen und orginal exchange name, haste vergessen das aufzuschreiben, schau im DNS nach...
7. Exchange Voraussetzungen unstallieren und..
setup /m:RecoverServer /IAcceptExchangeServerLicenseTerms
bzw. mit pfad angabe wo Der Exchange Server Installiert war..
8. Zertifikat installieren, und alte EXDB wieder an die gleiche stelle schieben ( vorher natürlich Dienste anhalten,
alles prüfen.. fertig... zeit eigentlich keine 4 Stunden! (bei schnellem System und internet)

Frank
Lochkartenstanzer
Lochkartenstanzer 19.03.2021 um 11:56:01 Uhr
Goto Top
Zitat von @Vision2015:

1. Admin Passwort ändern... (im AD)

Da kann aber ncoh mehr passiert sein, als nur "den Admin" zu ändern.

lks
Vision2015
Vision2015 19.03.2021 um 12:14:07 Uhr
Goto Top
moin...
Zitat von @Lochkartenstanzer:

Zitat von @Vision2015:

1. Admin Passwort ändern... (im AD)

Da kann aber ncoh mehr passiert sein, als nur "den Admin" zu ändern.
natürlich... aber das war bzw. ist ja nur die erste hilfe für den exchange server... da würd ich nicht lange rumeiern...
als erfahrener admin weiß unser @leon123 natürlich, wie weiter zu verfahren ist...

lks
Frank
leon123
leon123 19.03.2021 um 13:09:26 Uhr
Goto Top
Die Frage ist halt ob eine Neuinstallation notwendig ist... mit den Microsoft Tools MSERT und EOMT konnten Viren festgestellt und entfernt werden.

Betroffen sind im übrigen die beiden 2012er Server, die neuen Server 2016 (auch DC) scheint nicht betroffen zu sein, zumindest finden hier keine Virenscanner und MS Tools etwas.
Vision2015
Vision2015 19.03.2021 um 13:14:26 Uhr
Goto Top
Moin...
Zitat von @leon123:

Die Frage ist halt ob eine Neuinstallation notwendig ist... mit den Microsoft Tools MSERT und EOMT konnten Viren festgestellt und entfernt werden.
so so.... und dem vertraust du?
eine installation, die befallen war, ist nicht mehr zu vertrauen! also neu machen... geht doch schnell!

Betroffen sind im übrigen die beiden 2012er Server, die neuen Server 2016 (auch DC) scheint nicht betroffen zu sein, zumindest finden hier keine Virenscanner und MS Tools etwas.
ok...
Frank
leon123
leon123 19.03.2021 um 14:06:07 Uhr
Goto Top
Die Frage ist aber dann, was man alles neu installiert und wo sich die Schadsoftware überall eingegraben hat.

Fakt ist auf den befallenen Servern habe ich mit dem Virenscanner beim Fullscan jeweils die 5 gleichen Viren gefunden und entfernen können.
148021
148021 19.03.2021 um 14:51:18 Uhr
Goto Top
Moin Stefan,

ich glaube du gehst etwas zu Sorglos mit dem Thema um.

Diese Lücken hat aber nicht der Tech-Gigant mit seinen laut Eigenaussagen hohen Security-Standards und KI entdeckt, sondern ein paar externe Security-Consultants einer Firma namens Devcore. Diese hatten Anfangs Dezember 2020 eine erste Exchange-Lücke gefunden und offenbar am 31.12. einen PoC geschafft, wie man zwei Lücken verknüpft. Sie haben dies laut Eigenaussagen am 5. Januar auf dem üblichen Weg Redmond auch gemeldet, samt einer Responsible-Disclosure-Frist zur Behebung.
https://www.inside-it.ch/de/post/exchange-luecken-in-deutschland-gilt-be ...

Dementsprechend ist der Erfolg mehr als fraglich, wenn ein kompromittiertes System wiederhergestellt wird.

Gruß
Archer
leon123
leon123 19.03.2021 um 16:32:52 Uhr
Goto Top
Die Frage ist ob das jetzt mit den aktuellen Exploits zu tun hat oder woher der Virus jetzt eigentlich kommt.

Diesem Thread zufolge ist das ein älterer Virus:
https://forums.malwarebytes.com/topic/258081-powershell-dns-change-and-c ...
148021
148021 19.03.2021 um 16:51:38 Uhr
Goto Top
Das kannst du Drehen und Wenden wie du willst, es ist vollkommen Wumpe ob zuerst das Huhn oder das Ei da waren. face-smile
Vor dir liegt ein Nugget einer Fastfoodkette... Ich habe keinen Bedarf zu erfahren, was es wirklich ist. face-big-smile
leon123
leon123 19.03.2021 um 16:56:55 Uhr
Goto Top
https://blog.reasonsecurity.com/2021/03/17/exchange-server-vuln-exploite ...


Nach Auswertung von Firewall und Antiviurs passiert das bei uns. Ich hab nur noch nicht verstanden wie ich es los werde.
148021
148021 19.03.2021 um 17:18:47 Uhr
Goto Top
@Vision2015 hat es schon leichtverständlich beschrieben. face-smile
Lochkartenstanzer
Lochkartenstanzer 19.03.2021 um 17:49:01 Uhr
Goto Top
Zitat von @leon123:


Nach Auswertung von Firewall und Antiviurs passiert das bei uns. Ich hab nur noch nicht verstanden wie ich es los werde.

Stecker ziehen, alles frisch machen!

Ist das so schwer zu begreifen?

ljs
148021
148021 19.03.2021 um 18:03:12 Uhr
Goto Top
Zitat von @Lochkartenstanzer:

Zitat von @leon123:


Nach Auswertung von Firewall und Antiviurs passiert das bei uns. Ich hab nur noch nicht verstanden wie ich es los werde.

Stecker ziehen, alles frisch machen!

Ist das so schwer zu begreifen?

ljs

Willst du wirklich eine Antwort auf diese Frage? face-big-smile

Archer
Vision2015
Vision2015 19.03.2021 um 18:36:07 Uhr
Goto Top
moin...
Zitat von @leon123:

https://blog.reasonsecurity.com/2021/03/17/exchange-server-vuln-exploite ...


Nach Auswertung von Firewall und Antiviurs passiert das bei uns. Ich hab nur noch nicht verstanden wie ich es los werde.

hab ich doch oben beschrieben... soll ich es noch mit blümchen ausmalen?
aller schreiben dir das gleiche, aber scheinbar glaubst du uns nicht....

Frank
leon123
leon123 19.03.2021 um 21:59:15 Uhr
Goto Top
Dadurch das dieses Script wohl auf mehreren Servern jetzt liegt, reicht es wohl nicht den Exchange neu zu installieren. Alle Server neu zu installieren ist nicht machbar.

Ich habe ein Script auf dem Exchange gefunden und gelöscht. Allerdings meldet der Virenscanner immer noch, dass diverse Seiten aufgerufen werden.

Aktuell ist das Internet komplett gekappt.

Jetzt ist die Frage wie man weiter macht... Alles neu zu installieren ist eigentlich nicht machbar.
Lochkartenstanzer
Lochkartenstanzer 20.03.2021 um 01:47:12 Uhr
Goto Top
Zitat von @leon123:.

Jetzt ist die Frage wie man weiter macht... Alles neu zu installieren ist eigentlich nicht machbar.


Dann werdet ihr das Gewürz nicht los!

lks
Vision2015
Vision2015 20.03.2021 um 06:21:10 Uhr
Goto Top
moin..

Zitat von @leon123:

Dadurch das dieses Script wohl auf mehreren Servern jetzt liegt, reicht es wohl nicht den Exchange neu zu installieren. Alle Server neu zu installieren ist nicht machbar.
wiso nicht? wir habe WE, also warum ist das nicht machbar? oder ist es für dich nicht machbar? dann besorg dir hilfe!

Ich habe ein Script auf dem Exchange gefunden und gelöscht. Allerdings meldet der Virenscanner immer noch, dass diverse Seiten aufgerufen werden.
dann fang endlich an zu arbeiten, und mach den exchange neu... das geht schnell... mit irgendwas musst du ja anfangen!

Aktuell ist das Internet komplett gekappt.
gut...

Jetzt ist die Frage wie man weiter macht... Alles neu zu installieren ist eigentlich nicht machbar.
ich frage noch mal, wiso ist das nicht machbar? für mich klingt das wie eine ausrede!
du tust deinem Kunden oder arbeitgeber, oder deinem netzwerk nix gutes.- wenn es vom aufwand zu viel ist, dann besorg dir kompetente hilfe- macht euch einen plan, und legt los... noch länger warten macht es noch schlimmer!

Frank
148021
148021 20.03.2021 um 08:46:31 Uhr
Goto Top
Moin Moin,

Zitat von @leon123:
>
Aktuell ist das Internet komplett gekappt.
Der Tag, an dem die Oma das Internet kaputt gemacht hat? Tolles Buch face-big-smile
Jetzt ist die Frage wie man weiter macht... Alles neu zu installieren ist eigentlich nicht machbar.
Um Sachlich zu bleiben.
Weshalb ist es nicht möglich?
  • fehlende Notfallkonzepte
  • fehlende Ausfallsicherheit
  • fehlende Routine
  • fehlende Infrastruktur-Dokumentation
  • fehlende Dokumentation im allgemeinen

Kann und Darf eigentlich nicht sein, wenn ein Unternehmen versichert es halte die DSGVO ein.
Also Hand aufs Herz und Raus mit der Sprache! Keiner der Freiwillig helfen will, wird gern hinters Licht geführt. face-sad


Archer