mario89
Goto Top

PFsense HTTPS scanning - Zertifikat Probleme

Hallo Leute,

ich wollte auf diesem Wege nochmal um eure Hilfe bitten.

Mittlerweile habe ich nun als Firewalllösung eine Pfsense im Einsatz, welche eigentlich schon relativ gut läuft. Auch der Proxyserver läuft weitestgehend schon.
Leider aber habe ich noch 2 Fehler, wofür ich aktuell keine Lösung weiß.

Ich hoffe ihr könnt mir weiterhelfen:. ;)

Der erste Fehler ist, das ich immer ein Zertifikatfehler bekomme, sobald ich das HTTPS scanning einschalte. - Dies ist soweit ja auch in Ordnung, da sofern ich alles richtig verstanden habe die PFsene die Verbindung auftrennt und auf "Viren etc." überprüft.

Nur leider schaffe ich es nicht das exportierte Zertifikat aus der PFsense richtig ins Windows einzufügen, dass er dieses als "sichere Verbindung" erkennt.
Kann jemand mir vielleicht einen Tipp geben, woran dies liegen könnte?

Eingefügt wurde das Zertifikat in der MMC Konsole unter "Vertrauenswürde Stammzertifizierungsstellen".


Der zweite Fehler ist folgender:

The following error was encountered while trying to retrieve the URL: http://google.com
    ICAP protocol error.

The system returned: [No Error]

This means that some aspect of the ICAP communication failed.

Dieser Fehler tritt leider sporadisch auf. Kurze Zeit später ist die Webseite dann meistens wieder erreichbar.
Hat jemand schon einmal so einen fehler gehabt ?

Danke im Voraus.

Content-Key: 392195

Url: https://administrator.de/contentid/392195

Printed on: July 20, 2024 at 06:07 o'clock

Member: the-buccaneer
the-buccaneer Nov 10, 2018 at 07:32:01 (UTC)
Goto Top
Moin!

Hier ist zB. eine Anleitung: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Sq ...

Hast du die dort beschriebenen Schritte ab 4. so durchgeführt?

Zum 2. Fehler:
Ich würde den Squid nochmal deinstallieren und dann neuinstallieren. Hilft bei der PfSense manchmal Wunder.

Gruß
Buc
Member: wisebeer
wisebeer Nov 10, 2018 at 08:54:14 (UTC)
Goto Top
Hallo Mario,

Ohne deine Umgebung zu kennen, möchte ich noch einen anderen Vorschlag ins Rennen werfen: nimm "PfBlockerNG", damit sparst du dir das Verteilen der Zertifikate, kannst aber genauso https Verbindungen blockieren. PfBlockerNG blockiert, indem die DNS Abfrage auf gesperrte Seiten einen selbstdefinierten Wert bzw. eine Fehlerseite zurückgibt, das heißt die Zertifikate müssen nicht aufgebrochen werden, was ich für deutlich unbedenklicher halte!

LG Martin
Member: mario89
mario89 Nov 10, 2018 updated at 15:40:17 (UTC)
Goto Top
Hallo,

Danke für die Hilfe.


Zitat von @wisebeer:

Hallo Mario,

Ohne deine Umgebung zu kennen, möchte ich noch einen anderen Vorschlag ins Rennen werfen: nimm "PfBlockerNG"

Der ist bereits Installiert und werkelt schon im Hintergrund ;)
Danke schon einmal an der stelle.

Ich wollte jedoch gerne noch den SSL scan aktivieren, da die PFsense die Daten auf Viren scannen kann.


Zitat von @the-buccaneer:

Hier ist zB. eine Anleitung: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Sq ...

Hast du die dort beschriebenen Schritte ab 4. so durchgeführt?

Ja habe es jetzt auch so nocheinmal von vorne durchgeführt.
=> Jetzt ist das Problem mit dem Zertifkat vermutlich weg. ABER ich bekomme jetzt über den Proxy keine Seite mehr geöffnet. Es sieht so aus, als ob es in ein Timeout läuft. (Fehler: Empty Response).

Hast du vielleicht noch eine Idee woran das liegen könnte?

Kann es zuvor sein, dass ich vielleicht den Descriptive name und den common name verschieden hatte. Oder ist das in dem Fall egal ?

Zum 2. Fehler:
Ich würde den Squid nochmal deinstallieren und dann neuinstallieren. Hilft bei der PfSense manchmal Wunder.

Habe ich jetzt mal gemacht Bis jetzt ist der Fehler noch nicht aufgetreten, jedoch war er zuvor auch sporadisch

Danke für die Hilfe
Member: wisebeer
wisebeer Nov 10, 2018 updated at 16:11:45 (UTC)
Goto Top
Hallo Mario,

Meine Squid Einstellungen sehen so aus:

anmerkung

Hast du die devel-Version von PFBlockerNG, dann kannst du ganz einfach Listen, wie zum Beispiel die Shallalist, einbinden.

Cache löschen und ipconfig /flushdns? Wird dir das Zertifikat im Browser richtig angezeigt? Ist PfSense als DNS Server eingetragen?

LG
Member: the-buccaneer
the-buccaneer Nov 10, 2018 updated at 23:54:34 (UTC)
Goto Top
Zitat von @mario89:

=> Jetzt ist das Problem mit dem Zertifkat vermutlich weg. ABER ich bekomme jetzt über den Proxy keine Seite mehr geöffnet. Es sieht so aus, als ob es in ein Timeout läuft. (Fehler: Empty Response).

GAR keine? Auch http nicht? Empty Response ist der geloggte Squid Error? Oder ist das der (Squid-) Fehler im Browser? Chrome? Andere Browser getestet? Kurzes googeln deutet auf Chrome, heisst aber noch nix. Dein Job. face-wink Oder poste wenigstens mal deine Einstellungen... wisebeer macht das ungefragt. face-wink

Hast du vielleicht noch eine Idee woran das liegen könnte?
Keine konkrete. Ich habe aktuell keine MITM-Filterung im Einsatz, da ich das aus prinzipiellen Erwägungen bedenkenswert finde und es den Aufwand für die extrem seltenen Warnungen und Sperren (Ich glaube, meine Kunden kannten die Warnseite gar nicht) nicht lohnte.

Kann es zuvor sein, dass ich vielleicht den Descriptive name und den common name verschieden hatte. Oder ist das in dem Fall egal ?

Da ich mit Zertifikaten (bzw. deren Handhabung) auf Kriegsfuss stehe, sage ich mit der gebotenen Vorsicht: Nein. Denn der Descriptive Name ist eben die Beschreibung. CN: pfsense.local , Descriptive Name: Zertifikat für PfSense MITM.
Da musst du dich aber selber einlesen: z.B. hier: https://www.sslmarket.de/ssl/help-lexikon/

Zum 2. Fehler:
Ich würde den Squid nochmal deinstallieren und dann neuinstallieren. Hilft bei der PfSense manchmal Wunder.

Habe ich jetzt mal gemacht Bis jetzt ist der Fehler noch nicht aufgetreten, jedoch war er zuvor auch sporadisch
Ja, das ist so die Crux manchmal... PfSense checken wg. Auslastung. Gleichzeitig anderen Traffic überwachen (ping www.google.de -t)
Evtl. ist die Hardware zu schwach? Ist nur verschwommene Kristallkugel...

Es gibt irgendwo auf youtube glaube ich ein schönes Video eines PfSense Entwicklers zum Thema "Troubleshooting", mehrere Jahre alt, aber er beschreibt ein wenig die Systematik seines Vorgehens. Evtl. ein frühes "PfSense Hangout"? Jedenfalls wars öffentlich und sehr lehrreich.
Es ist halt so... pFSense (Community Edition) ist Arbeit. Lernen. Auf FreeBSD-Foren forschen. Squid Diskussionen in unsäglicher Formatierung nachlesen und rätseln, ob es für den persönlichen fall noch relevant sein könnte...
Aber nochmal konkret: Ich hatte es vor ca. 2 Jahren mal produktiv mit den Standardeinstellungen ausgerollt (2.2.6) und das rannte schon...
Ein Designfehler ist das nicht.

Danke für die Hilfe
Gerne, ich baue das auch gerne nochmal nach, jetzt hab ich aber keinen Nerv. face-wink

Buc
Member: mario89
mario89 Nov 19, 2018 at 20:10:03 (UTC)
Goto Top
Zitat von @the-buccaneer:

Zitat von @mario89:

=> Jetzt ist das Problem mit dem Zertifkat vermutlich weg. ABER ich bekomme jetzt über den Proxy keine Seite mehr geöffnet. Es sieht so aus, als ob es in ein Timeout läuft. (Fehler: Empty Response).

GAR keine? Auch http nicht? Empty Response ist der geloggte Squid Error? Oder ist das der (Squid-) Fehler im Browser? Chrome? Andere Browser getestet? Kurzes googeln deutet auf Chrome, heisst aber noch nix. Dein Job. face-wink Oder poste wenigstens mal deine Einstellungen... wisebeer macht das ungefragt. face-wink

Also es wurden unterschiedlichste Browser getestet. Es funktionierte weder mit Chrome noch IE noch Edge. Alle haben das gleiche Fehlerbild.
=> In den Logs steht soweit ich das gesehen habe immer TCP Miss meine noch 200 .

Als Einstellungen hatte ich hier einmal eine WPAd.dat Datei. Desweiteren hatte ich es schon versucht die Proxy Adresse von Hand einzugeben. Leider alles ohne Erfolg.
Http Seiten funktionieren weiterhin problemlos.

Die Einstellungen sind bis auf die Netzwerknamen die gleichen, wie Wisbeer es anwendet.

Hast du vielleicht noch eine Idee woran das liegen könnte?
Keine konkrete. Ich habe aktuell keine MITM-Filterung im Einsatz, da ich das aus prinzipiellen Erwägungen bedenkenswert finde und es den Aufwand für die extrem seltenen Warnungen und Sperren (Ich glaube, meine Kunden kannten die Warnseite gar nicht) nicht lohnte.

Aktuell habe ich es jetzt erst einmal ohne Proxy gelöst. Bin der Idee von wisbeer gefolgt und habe nun den PfblockerNG im Einsatz. Das funktioniert soweit sehr gut.
Member: wisebeer
wisebeer Nov 20, 2018 at 05:42:19 (UTC)
Goto Top
Hallo Mario,

Das gute an PFBlockerNG ist, dass du den Squid transparent lassen, aber trotzdem SSL Filtering betreiben kannst, deshalb solltest du die WPAD Datei eigentlich gar nicht brauchen, außerdem funktioniert das leider auf Android Geräten nicht. Mein DHCP zeigt auf DNS Resolver der PFSense, dann auf den DNS Server des Active Directory. In PfSense alle DNS Abfragen "umleiten", dass die Benutzer die PfSense nicht locker umgehen können und definieren, dass für das lokale Netz der DNS der Domäne verwendet werden soll.

LG
Member: mario89
mario89 Nov 20, 2018 at 18:47:55 (UTC)
Goto Top
Zitat von @wisebeer:

Hallo Mario,

Das gute an PFBlockerNG ist, dass du den Squid transparent lassen, aber trotzdem SSL Filtering betreiben kannst, deshalb solltest du die WPAD Datei eigentlich gar nicht brauchen, außerdem funktioniert das leider auf Android Geräten nicht.
Hey Danke. Das habe ich jetzt auch nochmal getestet. Das Interessante ist, wenn ich den Haken für den Transparenten Proxy setze, so funktioniert nach der Zertifikaterstellung auch der Proxy via Https :D
Erklären kann ich es mir zwar immernoch nicht... Aber es funktioniert.

Aber jetzt mal noch eine blöde frage. Wie hast du das denn mit den Zertifikaten und den Handy realisiert ?

Mein DHCP zeigt auf DNS Resolver der PFSense, dann auf den DNS Server des Active Directory. In PfSense alle DNS Abfragen "umleiten", dass die Benutzer die PfSense nicht locker umgehen können und definieren, dass für das lokale Netz der DNS der Domäne verwendet werden soll.

LG
HIer muss ich leider auch nochmal nachfragen.

Meinst du den aufbau wie folgt:
AD Server: 192.168.2.11
PFsense: 192.168.2.1

DHCP Bereich: 192.168.2.100-200
DNS Server: 192.168.2.1
Aber was genau meinst du mit "umleiten" hast du dann in der Pfsense als primären DNS Server dein AD Server gesetzt ?

Danke für deine Hilfe
Member: wisebeer
wisebeer Nov 20, 2018, updated at Nov 24, 2018 at 13:26:58 (UTC)
Goto Top
Hallo Mario,

Dazu musst du eine NAT Regel für die jeweiligen Schnittstellen und den von DNS verwendeten Port setzen: Firewall > NAT > Port Weiterleitung > Hinzufügen

nat dns

Mehr dazu hier: PfSense Docs

Beim Dienst "DNS Auflösung" kannst du dann ganz unten die lokale Domäne bzw. den Windows DNS Server eintragen, dann funktioniert auch der Lookup wieder.

Im (Windows) DHCP Server kannst du mehrere DNS Server angeben: bei mir ist der erste PfSense und dann die Windows DNS Server.

Ich hoffe, das ist halbwegs klar...ich habe damit auch ewig herumexperimentiert, bis das gut funktioniert hat, weil ich den transparenten Squid nicht aufgeben wollte, da ich sehr viele Android Geräte im WLAN habe. Bin jedenfalls sehr zufrieden und PfBlockerNG leistet großartige Dienste!

LG Martin
Member: mario89
mario89 Dec 23, 2018 at 13:33:18 (UTC)
Goto Top
Hallo,

auch wenn es nun etwas länger gedauert hatte. Aber mittlerweile habe ich den Proxy zum laufen bekommen.
=> Er wird zwar nach wie vor nur Test weise eingesetzt, jedoch läuft dieser nun.

=> Fehler war folgender.
==> Auf der Startseite von Pfsense gibt es einen Menüpunkt welcher wie folgt heißt "State table size" ==> hier muss man auf "show states" und dann auf Reset States.

Nachdem diese Tabelle zurückgesetzt war, lief alles auf Anhieb.


Entweder war es nur blöder Zufall ;) Oder es hatte wirklich daran gelegen.


Jetzt habe ich nur noch ein Problem, welches ein wenig komisch ist:

=> Wenn der Transparente Proxy aktiviert ist, funktioniert der DDNS von meiner Synology nicht mehr.
Fehlerbild: Dieser Zeigt mir als "externe" IP dann nur noch meine Interne IP an. Ich denke aber dass der Fehler bei einer Falschen Konfiguration von meiner Seite aus liegt ;)

=> Kennt das Problem zufällig jemand ?