24.12.2014, aktualisiert am 13.01.2015

4005

YouTube-Proxy mit Squid3

Hi,
An meinem DSL Anschluss gibt es immer wieder Probleme mit Youtube.
Also dachte ich mir mache ich auf meinem rootserver einen Squid3 proxy für youtube. Nur für mich mit User PW auth.

Das ganze habe ich anhand dieser Anleitung gemacht.

Die Installation ist mit folgenden Schritten recht schnell erledigt:

Zunächst solltet ihr euren frisch aufgesetzten Server auf den neusten Stand bringen. Das geht am einfachsten in einer Debian-Umgebung mit dem Befehl:
apt-get update && apt-get upgrade
Ist das getan erfolgt auch schon die Installation von Squid. Zudem installiert ihr euch euren favorisierten Editor, bei mir ist es nano:
apt-get install squid3 nano
Im nächsten Schritt geht es auch schon an die Konfiguration. Legt zunächst ein Passwort fest, indem ihr als erstes eine leere Datei passwd in /etc/squid3 erstellt:
touch /etc/squid3/passwd
Dann noch die erforderlichen Berechtigungen setzen..

chmod o+r /etc/squid3/passwd
..um anschließend mit htpasswd ein valide passwd-Datei zu erstellen:

htpasswd /etc/squid3/passwd DeinBenutzername
Nun bearbeitet ihr die automatisch erstellte Konfigrationsdatei des Squid-Proxys, zu finden unter /etc/squid3/my.conf:
nano /etc/squid3/my.conf
Fügt in dieser Datei bitte den folgenden Konfig.-Code an. Er beschreibt wie ihr euch später mit dem Proxy authentifizieren werdet und schaltet in der letzten Zeile diese neue Konfiguration frei.

# TAG: auth_param
auth_param basic realm my proxy
auth_param basic program /usr/lib/squid3/ncsa_auth /etc/squid3/passwd
acl ncsa_users proxy_auth REQUIRED
# TAG: http_access
http_access allow ncsa_users
Diese Konfiguration muss noch zum Abschluss in der Haupt-Konfig.-Datei /etc/squid3/squid.conf (am besten ganz oben) eingebunden werden:

include /etc/squid3/my.conf
Jetzt noch den Squid starten:
service squid3 start

Das ganze ging einfach und ohne Problem.
Leider funktioniert das ganze aber nicht

Bzw es funktioniert schon...aber nur wenn ich es ohne die auth mache.
Ich also

# TAG: http_access
http_access allow ncsa_users

# TAG: http_access
http_access allow all

ändere.
Aber das ist ja nicht die Lösung...

tail -f /var/log/squid3/access.log
1419368614.636     93 79.195.xxx.4 TCP_DENIED/407 4193 GET http://web.de/ viperdriver2000 NONE/- text/html
1419368620.394      0 79.195.xxx.4 TCP_DENIED/407 4193 GET http://web.de/ viperdriver2000 NONE/- text/html
1419368625.678      0 79.195.xxx.4 TCP_DENIED/407 4193 GET http://web.de/ viperdriver2000 NONE/- text/html
1419368667.807      0 79.195.xxx.4 TCP_DENIED/407 4193 GET http://web.de/ viperdriver2000 NONE/- text/html
1419368777.459      1 79.195.xxx.4 TCP_DENIED/407 4193 GET http://web.de/ viperdriver2000 NONE/- text/html
1419370200.176    150 79.195.xxx.4 TCP_DENIED/407 4193 GET http://web.de/ viperdriver2000 NONE/- text/html
1419370207.398     15 79.195.xxx.4 TCP_DENIED/407 4193 GET http://web.de/ viperdriver2000 NONE/- text/html

squid3 -k parse
2014/12/23 22:46:32| Processing Configuration File: /etc/squid3/squid.conf (depth 0)
2014/12/23 22:46:32| Processing: include /etc/squid3/my.conf
2014/12/23 22:46:32| Processing Configuration File: /etc/squid3/my.conf (depth 1)
2014/12/23 22:46:32| Processing: auth_param basic program /usr/lib/squid3/ncsa_auth /etc/squid3/passwd
2014/12/23 22:46:32| Processing: auth_param basic children 5
2014/12/23 22:46:32| Processing: auth_param basic realm Squid proxy
2014/12/23 22:46:32| Processing: auth_param basic credentialsttl 2 hours
2014/12/23 22:46:32| Processing: auth_param basic casesensitive off
2014/12/23 22:46:32| Processing: acl ncsa_users proxy_auth REQUIRED
2014/12/23 22:46:32| Processing: http_access allow ncsa_users
2014/12/23 22:46:32| Processing: acl manager proto cache_object
2014/12/23 22:46:32| Processing: acl localhost src 127.0.0.1/32 ::1
2014/12/23 22:46:32| Processing: acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
2014/12/23 22:46:32| Processing: acl SSL_ports port 443
2014/12/23 22:46:32| Processing: acl Safe_ports port 80         # http
2014/12/23 22:46:32| Processing: acl Safe_ports port 21         # ftp
2014/12/23 22:46:32| Processing: acl Safe_ports port 443                # https
2014/12/23 22:46:32| Processing: acl Safe_ports port 70         # gopher
2014/12/23 22:46:32| Processing: acl Safe_ports port 210                # wais
2014/12/23 22:46:32| Processing: acl Safe_ports port 1025-65535 # unregistered ports
2014/12/23 22:46:32| Processing: acl Safe_ports port 280                # http-mgmt
2014/12/23 22:46:32| Processing: acl Safe_ports port 488                # gss-http
2014/12/23 22:46:32| Processing: acl Safe_ports port 591                # filemaker
2014/12/23 22:46:32| Processing: acl Safe_ports port 777                # multiling http
2014/12/23 22:46:32| Processing: acl CONNECT method CONNECT
2014/12/23 22:46:32| Processing: http_access allow manager localhost
2014/12/23 22:46:32| Processing: http_access deny manager
2014/12/23 22:46:32| Processing: http_access deny !Safe_ports
2014/12/23 22:46:32| Processing: http_access deny CONNECT !SSL_ports
2014/12/23 22:46:32| Processing: http_access allow localhost
2014/12/23 22:46:32| Processing: http_port 3128
2014/12/23 22:46:32| Processing: coredump_dir /var/spool/squid3
2014/12/23 22:46:32| Processing: refresh_pattern ^ftp:          1440    20%     10080
2014/12/23 22:46:32| Processing: refresh_pattern ^gopher:       1440    0%      1440
2014/12/23 22:46:32| Processing: refresh_pattern -i (/cgi-bin/|\?) 0    0%      0
2014/12/23 22:46:32| Processing: refresh_pattern .              0       20%     4320
2014/12/23 22:46:32| Processing: cache_effective_user proxy
2014/12/23 22:46:32| Processing: cache_effective_group proxy

root@server:~# ll /usr/lib/squid3/ncsa_auth
-rwxr-xr-x 1 root root 27K Aug 28 08:43 /usr/lib/squid3/ncsa_auth
root@server:~# ll /etc/squid3/passwd
-rw-r--r-- 1 600 root 88 Dez 23 22:05 /etc/squid3/passwd

root@server:~# ps fauwx |grep squid
root     15527  0.0  0.0   5636   552 pts/2    S+   22:46   0:00  |   \_ tail -f /var/log/squid3/access.log
root     15877  0.0  0.0   9900   892 pts/5    S+   22:49   0:00      \_ grep squid
root     12459  0.0  0.0  49960  1832 ?        Ss   22:29   0:00 /usr/sbin/squid3 -YC -f /etc/squid3/squid.conf
proxy    12463  0.0  0.3  86964 14628 ?        S    22:29   0:00  \_ (squid) -YC -f /etc/squid3/squid.conf
root     12464  0.0  0.0  17288   648 ?        S    22:29   0:00      \_ (ncsa_auth) /etc/squid3/passwd
root     12465  0.0  0.0  17156   408 ?        S    22:29   0:00      \_ (ncsa_auth) /etc/squid3/passwd
root     12466  0.0  0.0  17156   404 ?        S    22:29   0:00      \_ (ncsa_auth) /etc/squid3/passwd
root     12467  0.0  0.0  17156   404 ?        S    22:29   0:00      \_ (ncsa_auth) /etc/squid3/passwd
root     12468  0.0  0.0  17156   404 ?        S    22:29   0:00      \_ (ncsa_auth) /etc/squid3/passwd

Ich habe als username und passwort was leichtes genommen somit kann ich mich dabei nicht vertun ;)

Der Server ist nach dieser Anleitung installiert.
http://www.howtoforge.com/perfect-server-debian-wheezy-apache2-bind-dov ...

vielleicht kann mir ja jemand helfen oder mir Tipps geben.

Danke & Gruß
Vip

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 258378

Url: https://administrator.de/contentid/258378

Ausgedruckt am: 25.11.2024 um 02:11 Uhr

38 Kommentare

Neuester Kommentar

Hast du die acl festgelegt ??
Also

acl MyLAN src 192.168.0.0/24 oder dein Subnetz
Und dann auch
http_access allow MyLAN

Arr.. Ich hab rootserver zu spät gelesen... Dann vielleicht mal mit
acl MyLAN src <deine dynamische ip> probieren... Ansonsten, vielleicht mit VPN???

Hi,
nein hatte ich nicht.
Da ich es ja als Rootserver betreiben möchte und ich dachte es wäre nicht nötig.

Ich nutze die komplette orginal conf. (nur http_access deny all, wurde gelöscht)
ich habe dann per include meine Optionen dazu geholt.

# TAG: auth_param
auth_param basic program /usr/lib/squid3/ncsa_auth /etc/squid3/passwd
auth_param basic children 5
auth_param basic realm Squid proxy
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off

#  TAG: acl
acl ncsa_users proxy_auth REQUIRED
acl meineip src 79.195.0.0/24

# TAG: http_access
http_access allow ncsa_users
http_access allow meineip

Das sind meine Anpassungen.

Aber auch mit meiner "dynamische ip" geht es nicht

VPN wäre ne option aber möchte ich nicht.

Danke für dein Feedback.

EDIT:
soll das so aussehen?

root@server:/etc/squid3# /usr/lib/squid3/ncsa_auth /etc/squid3/passwd

ERR

ERR
^C
root@server:/etc/squid3#

Die ERR kam nur weil ich "Enter" gedrückt habe.
Beenden konnte ich das ganze nur mit "strg+c"

Versuchs doch mal per digest ... Gibt ein sehr gutes tutorial im netz

http://www.youtube.com/watch?v=tAW3Nm1uzT4

Moin,
warum so kompliziert...

Folgende Konfiguration löst das Problem mit Hilfe von DynDNS o.ä. Services:

http_port x.x.x.x:8080

acl all src all
acl myhost srcdomain name.ddnss.de
http_access allow myhost

http_access deny all

Leider keine Zeit es Produktiv zu testen.

Zusätzlich noch einen Cronjob einrichten, der den Squid alle x Minuten/Stunden neustartet. Das ist notwendig, damit deine dyn. IP beim Squid ggf. neu aufgelöst wird.

Gruß,
Dani

Falls dir Squid zu viel gefummel bereitet kannst du auch einfach den Proxy der Telekom nehmen. Damit laden YouTube Videos auch wieder flott.

www-proxy.t-online.de

Habe ich eben mal versucht. Bleibt das gleiche.

Ich verstehe es nicht

Habe ich auch mal versucht aber leider auch ohne erfolg.
Aber ich glaube auch eher das es an der Auth liegt die er nicht annimmt

Danke für den Vorschlag aber leider keine Lösung da bei mir genauso langsam.
Und es ist ja schon schön sowas selber zum laufen zu bekommen ;)

Hä? In meiner Variante brauchst du keine Authentifizierung. Wie sieht deine Konfiguration aus?
Wie genau lautet die Fehlermeldung? Bisschen mehr Details sonst können wir dir nicht helfen. Meine Glaskugel ist bereits in den Weihnachtsferien!

Gruß,
Dani

Ah okay. Das habe ich dann falsch verstanden.
Okay wenn ich das mache wie du es beschreibtst bekomme ich nur noch folgende meldungen:

1419547060.046      0 93.214.xxx.242 TCP_DENIED/403 3727 CONNECT safebrowsing.google.com:443 - NONE/- text/html
1419547114.136      0 93.214.xxx.242 TCP_DENIED/403 3703 CONNECT sync.xmarks.com:443 - NONE/- text/html
1419547114.831      0 93.214.xxx.242 TCP_DENIED/403 3706 CONNECT aus4.mozilla.org:443 - NONE/- text/html
1419547115.865      0 93.214.xxx.242 TCP_DENIED/403 3718 CONNECT fhr.data.mozilla.com:443 - NONE/- text/html

Was für Infos fehlen noch?
Ich dachte ich hätte alles nötige im Eingangspost geschrieben...

Reicht für die config "squid3 -k parse" ?

Was für Infos fehlen noch?

Der DynDns kennt deine aktuelle IP-Adresse? Einfach auf deinem dedizierten Server mit nslookup name.ddnss.de gegeprüfen.

Gruß,
Dani

Ja das passt alles. Kann die adresse auch pingen.

root@server:/etc/squid3# nslookup myhost.ddns.net
Server:         81.169.xxx.106
Address:        81.169.xxx.106#53

Non-authoritative answer:
Name:   myhost.ddns.net
Address: 93.214.xxx.242

Keiner mehr eine Idee?

Moin,
schau im Logfile nach, welche IP-Adresse der Squid durch den DNS-Namen findet.

Gruß,
Dani

naja ich seh im log ja nicht ob er auflöst sehe ja nur wer ankommt.
oder gucke ich im falschen log?

/var/log/squid3/access.log

1420851002.913      0 79.195.xxx.227 TCP_DENIED/403 4028 GET http://web.de/ - NONE/- text/html
1420851002.973      0 79.195.xxx.227 TCP_DENIED/403 3931 GET http://www.squid-cache.org/Artwork/SN.png - NONE/- text/html
1420851003.007      0 79.195.xxx.227 TCP_DENIED/403 4061 GET http://web.de/favicon.ico - NONE/- text/html
1420851003.036      0 79.195.xxx.227 TCP_DENIED/403 4029 GET http://web.de/favicon.ico - NONE/- text/html

nslookup

Non-authoritative answer:
Name:   host.ddns.net
Address: 79.195.xxx.227

ERROR
The requested URL could not be retrieved

Der folgende Fehler wurde beim Versuch die URL http://web.de/ zu holen festgestellt:

    Zugriff verweigert.

Die Anfrage wurde aufgrund mangelnder Zugriffsrechte verweigert. Bitte kontaktieren Sie Ihren Dienstanbieter falls sie denken, dass dies ein Fehler ist.

Moin,
mein Fehler...
setze in die erste Zeile der Konfiguration diesen Eintrag:

debug_options ALL

Squid neustarten und danach ins Logs schauen.

Gruß,
Dani

laut doku soll man noch ",lvl" schreiben. habe mal 3 gemacht.
Da rauscht schon ganz schön was durch.
ich weiß nur nicht nach was ich da suche

ich weiß nur nicht nach was ich da suche

Nach den Zeilen wo der Squid den DNS-Namen in die IP-Adresse unwandelt.

Also ich habe da loglvl mal auf 9 gestellt.

root@server:/var/log/squid3# cat cache.log |grep ddns
root@server:/var/log/squid3#

öhm sieht für mich so aus als wenn der nix macht

also nichtmal versucht...

hier nochmal die config:

root@server:/etc/squid3# grep -v '^$\|^\s*\#' /etc/squid3/squid.conf 

include /etc/squid3/my.conf
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
coredump_dir /var/spool/squid3
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320

root@server:/etc/squid3# grep -v '^$\|^\s*\#' /etc/squid3/my.conf 

debug_options ALL,9
http_port 3333
acl myhost srcdomain host.ddns.net
http_access allow myhost

Hey,
ich versuche es nachzustellen, wenn ich ein Linux zur Hand habe.

Gruß,
Dani

Hallo,

poste doch bitte mal die Ausgaben in cache.log nach einem Start von Squid (ohne die debug_options...). Sind Zeilen wie

Adding nameserver

enthalten? Ist die IP des NS korrekt?

Gruß,
Gersen

Guten Abend,
so ich habe den Fehler gefunden:

# cat /etc/squid3/squid.conf
http_port 80

acl all src all
acl myhost src xxxxxx.ddnss.de
http_access allow myhost

http_access deny all

Getestet unter Ubuntu 14.04 LTS mit Squid 3.3.8.

Gruß,
Dani

2015/01/13 21:04:16| Max Swap size: 0 KB
2015/01/13 21:04:16| Using Least Load store dir selection
2015/01/13 21:04:16| Set Current Directory to /var/spool/squid3
2015/01/13 21:04:16| Loaded Icons.
2015/01/13 21:04:16| Accepting  HTTP connections at [::]:3333, FD 14.
2015/01/13 21:04:16| HTCP Disabled.
2015/01/13 21:04:16| Squid plugin modules loaded: 0
2015/01/13 21:04:16| Adaptation support is off.
2015/01/13 21:04:16| Ready to serve requests.
2015/01/13 21:04:17| storeLateRelease: released 0 objects

irgendwie nicht so oO

EDIT: ist quatsch das posting...weil in der config ein syntaxfehler war

Was soll ich mit der Ausgabe anfangen?
Welchen Rahmenbedingungen hast du überhaupt, auch Ubuntu?

ES GEHT!!!! Ich werd bekloppt!
der Fehler scheint das "srcdomain" gewesen zu sein.
Mit "src" kommt auch im cache.log

Adding domain
Adding nameserver

somit löst er auf

Was mich noch wundert ist das:

root@server:/etc/squid3# /etc/init.d/squid3 start
Starting Squid HTTP Proxy 3.x: squid32015/01/13 21:31:37| WARNING: (B) '::/0' is a subnetwork of (A) '::/0'  
2015/01/13 21:31:37| WARNING: because of this '::/0' is ignored to keep splay tree searching predictable  
2015/01/13 21:31:37| WARNING: You should probably remove '::/0' from the ACL named 'all'  
.

Aber da es nur ein WARNING ist glaube ich kann man es ignorieren. oder?

der Fehler scheint das "srcdomain" gewesen zu sein.

Warum glaubst du, hab ich die Konfiguration nochmals gepostet?

Nach einem kurzen Blick ins Handbuch hat sich herausgestellt, dass srcdomain so nicht mehr genutzt werden kann.

Aber da es nur ein WARNING ist glaube ich kann man es ignorieren. oder?

Naja, die Konfiguration wie sie jetzt ist, ist "Quick and dirty". Hält man die entsprechende Standards ein, sind die Warnungen auch weg.

Gruß,
Dani

Den Cronjob hast du schon eingerichtet?

Naja, die Konfiguration wie sie jetzt ist, ist "Quick and dirty". Hält man die entsprechende Standards ein, sind
die Warnungen auch weg.

mh okay. muss ich mal gucken.

Den Cronjob hast du schon eingerichtet?

siehste das fehlte noch. mach ich dann mal morgens um 6 ;) da penn ich meist noch :D

dann jetzt noch mit FoxyProxy ne filter basteln das er nur youtube über den proxy schicken soll und schick ist

siehste das fehlte noch. mach ich dann mal morgens um 6 ;) da penn ich meist noch :D

Wann du schläfst interessiert dein ISP nicht. Wann findet die Zwangstrennung statt? Darum mein Vorschlag dies stündlich durchzuführen.

dann jetzt noch mit FoxyProxy ne filter basteln das er nur youtube über den proxy schicken soll und schick ist

Oder einen kl. Webserver auf Port XXX auf den Root installieren und eine WPAD-File anlegen. Wäre somit mit jedem Browser nutzbar...

ich habe meine Trennung auf 5 gesetzt von daher passt 6 Uhr ;)

Webserver habe ich das ist nicht das Problem. muss ich mich mal zu WPAD-File belesen.
Ich möchte ja quasi nur YouTube darüber nutzen...

Probier's damit:

function FindProxyForURL(url, host) {
 
// If the hostname matches, send direct.
    if (dnsDomainIs(host, "www.youtube.com"))  
        return "PROXY xxx.xxx.xxx.xxx:80";  
 
	return "DIRECT";  
}

Ist aus der Hüfte raus...

Gruß,
Dani

mh mit dem file komme ich noch nicht klar.
ich versuche es im moment über nen ff mit foxyproxy. da kann man sich dann schön anzeigen lassen über welchen proxy die entsprechenden urls geöffnet werden...
aber irgendwie nimmt er das nie...
bis jetzt habe ich es nur hin bekommen wenn ich alles über den proxy schicke.

mit dem file wäre natürlich nice für mein tap oder das handy...

wenn ich das richtig verstehe wären folgende platzhalter gut...
*youtube.com*
*googlevideo.com*
*ytimg.com*

Also mit meinem Code funktioniert es problemlos.
Wo hast du die Datei in den Einstellungen hinterlegt? Kannst du die wpad.dat - Datei über den Browser aufrufen?

Gruß,
Dani