PfSense sporadischer Zugriff

Dann passen die Regeln in der pfSense evtl. nicht.
Du mußt den Zugriff über den VPN Tunnel hier explizit erlauben inkl. des Ping.

Und beim Ping über die Diagnostics sollte man zudem immer die Absender IP richtig setzen das das eine IP auf dem L2TP Client Pool ist !
Wenn aber alles andere außer dem NAS problemlos ping- und erreichbar ist kann das VPN ja de facto ausgeschlossen werden.

Also liegt damit dann die Ursache am Synology selber und nicht am Netz bzw. den anderen Komponenten.
Typischer Fehler ist oft ein Autonegotiation Problem das die NIC des NAS den Speed und Duplex Mode mit dem Switch nicht richtig aushandeln kann.
Da hilft dann oftmals ein Crossover Kabel oder Crossover Adapter oder indem du am Switch den Port statisch fest auf einen Spped und Duplex Wert setzt.
Solltest du einen ungemanagten Dummswitch haben, dann machst du das statische Speed- und Duplex Setting an der NAS NIC.
Ansonsten muss man auch einen HW Defekt am NAS ins Auge fassen...
Neueste Firmware hast du aufs NAS geflasht ??

LACP LAG nach 802.3ad Standard ??
Ist ja auch logisch und erwartbar. Wenn die Synology die Switch Connection verliert verliert sie doch logischerweise auch die Internet Connection.
Wie ist das zu verstehen ?? Betreibst du sie als lokalen VPN Server ? Oder als VPN Client ?
Wenn ja welches VPN Protokoll und welche Config ?

Davon war bisher aber keine Rede. Möglich, dass der Fehler hier liegt. Löse das zum Test mal auf und binde nur einfach an.

Solche Dinge sind wir Leidgeprüften hier ja leider täglich gewohnt das solche essentiellen Topologie Informationen dann innerhalb des Threads mit einmal wie Phönix aus der Asche auftauchen und alle Tips davor dann ad absurdum führen... Ohne Worte...

Das wird dann das Problerm sein denn z.B. Synology und pfSense supporten nur LACP LAGs und keine statischen. Durch das fehlende LACP erkennen die keinen LAG und es kann zu solchen Ausfällen kommen.
Da gilt dann genau das was der Kollege @Looser27 oben schon gesagt hat.
Den LAG auflösen und es mit einem normalen Einzellink probieren und beobachten.

Zitat aus dem Webinterface der Synology:
Balance XOR: ...Link Aggregation (IEEE 802.3ad Entwurf 1)

Vermutlich ist als die Konfiguration am Switch nicht entsprechend. Bei uns rennt das fehlerfrei an nem Netgear-Core mit statischem LAG.

Der tiefere Sinn eines Forums !
Das ist schwer zu sagen OHNE das du weitergehende Untersuchungen dort machst bzw. tiefere Infos lieferst.
Du müsstest mit dem Wireshark einmal diese Member Links untersuchen was die Protokolle dort machen. Das ist so wie mit dem SrDev dem du nur sehr oberflächlich schilderst was die Symptome sind.
Es fängt schon damit an das bei den Billig- Massenherstellern die Protokolle 802.3ad und/oder LACP oft schlampig implementiert wurden und ein LAG z.B. komplett auf Down oder ins Toggeling geht obwohl nur ein Member Link betroffen ist. Bei einer fehlerhaften Konfig (siehe Kollege @Looser27 oben) wissen dann auch beide Seiten nichts über den Memberlink Status und kappen dann den LAG oder es kommt innerhalb des LAGs zu unkontrollierten Loops und damit zu Überlastungen und Collisions was ähnliche Auswirkungen hat wie deine oben geschilderten. Du hast vermitlich auf deinem Switch keinerlei Sicherheiten wie Broad- und Multicast Strom Mitigations konfiguriert um sowas zu verhindern. Usw. usw.
Bei dir besteht zudem die Problematik das du eine inhomogene und damit falsche Konfig gemacht hat. Eine Seite erwartet einen LACP LAG und die andere Seite ist statisch. Das ist so wie "ships in the night" keiner "sieht" den anderen was aber bei LAGs zwingend ist und macht sein eigenes Ding mit unvorhersehbarem Verhalten. Hier könnte man jetzt lustig weiter aufzählen...
Ohne das man sich jetzt das Protokollhandling und Logg einmal sehr genau ansieht um nachvollziehen zu können was da genau schiefgeht kann man hier auch nur im freien Fall raten oder die Kristallkugel bemühen.
Etwas was der SrDev sicher nicht gutheissen würde und ganz sicher als unprofessionell und laienhaft tituliert !

Da bleiben dann nur noch 2 Dinge übrig:

• Autonegotiation Problem zw. NAS NIC und Switch so das der nicht in der Lage ist den richtigen Speed und Duplex Mode auszuhandeln. Dadurch kommt es zu exzessiven Collisions auf den Links und zu temporärem Ausfall
• Ein Hardware Defekt entweder der NAS NIC Ports und/oder der Switchports

Leider hast du den dir hier dringenst vorgeschlagenen Test gar kein Link Aggregation zu verwenden und das NAS nur einfach anzuschliessen nicht umgesetzt.
Bevor du also drastischere Maßnahmen ergreifst solltest du erstmal das machen.

Nur mal grundlegend und OT gefragt: Warum realisierst du ein VPN auf der Synology wenn du eine pfSense hast ??