Limitierte Verbindung zum eigenen root Server

Ich besitze einen root Server bei Hetzner mit dem ich eigentlich auch recht zufrieden bin. Seit einem viertel Jahr jedoch habe ich Verbindungsprobleme, für welche ich einfach keine Lösung finden kann.
Die Verbindungsprobleme treten nur bei mir auf, bei allen anderen sind keine Probleme sichtbar. Auch ansonsten ist meine Internet Verbindung konstant und stabil. Derzeit geh ich davon aus das, dass Problem beim Server liegt.

Folgende Probleme treten auf:

Ich <-> Server

- Packet loss (gemessen in Teamspeak 3 aber auch sichtbar auf meinen CS:GO Server)
- ich - -> Server 0% Paket loss
- Server -> ich 0,03% bis 20% Paket loss (der loss schwankt häufig)

- geringere Bandbreite (Download vom Server: von 5 MB/s auf max 200-100 kb/s, manchmal weniger) (egal ob FTP, SFTP, HTTP/S)
- höhere Latenz (von 28 ms auf 42 ms)

Ich habe derzeit keine Ideen mehr wo ich suchen sollte oder was das ganze verursachen könnte. Wenn jemand eine Idee hätte wie ich vorgehen sollte/könnte wäre ich ihm sehr dankbar.

Folgendes hab ich getestet:

- netstat (gab es ein Fehler wo ich 10 TimeWaits hatte welche nie geschlossen wurde, wurde behoben)
- debug.log "UDP: bad checksum. From xxx.xxx.xxx.xxx" auch meine IP ist da drinn kann aber keine Ursache finden ansonsten sind alle Logs okay
- Server Neustart
- Server Firewall gecheckt, nichts gefunden
- PC Firewall deaktiviert
- Antivirus deaktiviert
- Router neugestartet und aufgeräumt (alte Geräte Zuweisung und Regeln entfernt)


Server:
- i7-3370
- 16GB DDR3
- 1 Gbit
- Debian 8


- fail2ban
- Apache mit mehreren Webseiten
- MySQL
- Teamspeak 3
- 2x CS:GO Server


Ich:
- 1und1 50.000 DSL
- FritzBox Router
- Kaspersky 2015 Internet Security
- Windows 10 (davor gleiche Probleme mit Windows 7)