3
Firebird SQL export, Bereinigung und pqsql+mysql import
Hi
für ein Proof of Conecpt suche ich eine Export/Importmöglichkeit um für das Thema hier:
Mikrotik cAP mit Captcha und RADIUS
eine gehbare Automatisierung zu zaubern (darf nichts kosten).
A) regelmäßiges auslesen, Firebird Export und Upload auf einen FTP Server
B) Download ftp + Bearbeitung der Felddaten und löschen der unnötigen Felder (sed/awk/....) da dieser Export sicher nicht nur die Felder liefert die ich haben will
C) Export in eine mysql/pgsql DB um damit (pfsense) freeRADIUS3 mit User/Passwort/Zeitfenster Start/Ende zu betanken.
Das Konstrukt ist frei Willkür ausgewählt und eine Vorstellung wie ich mir einen Weg vorstellen kann. Die pfsense FW wäre an einigen Punkten schön zu haben und auch zentral praktisch (Troublshooting, Nachvollziehbarkeit, Übergabe an Daueradmin). Als OS der Exportfunktion ist Windows zuständig, als Konverter und Exporter und evtl. SQL Umgebung würde ich auf CentOS (7) gehen, da gewohnt.
Klingt das für einen SQL Profi hier sinnvoll oder eher stark überdenkenswert?
Gruß
Sam
für ein Proof of Conecpt suche ich eine Export/Importmöglichkeit um für das Thema hier:
Mikrotik cAP mit Captcha und RADIUS
eine gehbare Automatisierung zu zaubern (darf nichts kosten).
A) regelmäßiges auslesen, Firebird Export und Upload auf einen FTP Server
B) Download ftp + Bearbeitung der Felddaten und löschen der unnötigen Felder (sed/awk/....) da dieser Export sicher nicht nur die Felder liefert die ich haben will
C) Export in eine mysql/pgsql DB um damit (pfsense) freeRADIUS3 mit User/Passwort/Zeitfenster Start/Ende zu betanken.
Das Konstrukt ist frei Willkür ausgewählt und eine Vorstellung wie ich mir einen Weg vorstellen kann. Die pfsense FW wäre an einigen Punkten schön zu haben und auch zentral praktisch (Troublshooting, Nachvollziehbarkeit, Übergabe an Daueradmin). Als OS der Exportfunktion ist Windows zuständig, als Konverter und Exporter und evtl. SQL Umgebung würde ich auf CentOS (7) gehen, da gewohnt.
Klingt das für einen SQL Profi hier sinnvoll oder eher stark überdenkenswert?
Gruß
Sam
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 635940
Url: https://administrator.de/contentid/635940
Ausgedruckt am: 05.11.2024 um 00:11 Uhr
3 Kommentare
Neuester Kommentar
Ich hab mit Datenbanken so gut wie nichts zu tun, aber ich bin ganz stark überzeugt, dass unser Datenbankspezi dieses mit dem Microsoft SSIS machen würde.
Ich weiß, dass er Daten aus non-MSSQL-Server-Datenbanken zieht und auch in veränderter Form in andere non-MSSQL-Server-Datenbanken wieder reinschreiben.
Ich weiß, dass er Daten aus non-MSSQL-Server-Datenbanken zieht und auch in veränderter Form in andere non-MSSQL-Server-Datenbanken wieder reinschreiben.
Hmm... kann man sicher alles irgendwie infrickeln, z.B. ein Python-Skript nehmen, um Firebird auszulesen, etc.
Für eine wiederkehrende Aufgabe und es wenn halbwegs professionell sein soll, würde ich in dem Fall "Talend" nehmen. Gibt's auch in einer kostenlosen Version:
https://www.talend.com/de/products/talend-open-studio/
Das Dingen ist so etwas wie eine "Luxus-Datenpumpe". Die einmal erstellten Regeln bzw. Applikationen lassen sich dann als reine Java-Programme ausführen.
Jedenfalls bekommt man damit auch Konvertierungen von Firebird nach MySQL oder PostgreSQL hin.
Wenn das zu komplex erscheint, würde ich es doch mit Python versuchen ;)
Für eine wiederkehrende Aufgabe und es wenn halbwegs professionell sein soll, würde ich in dem Fall "Talend" nehmen. Gibt's auch in einer kostenlosen Version:
https://www.talend.com/de/products/talend-open-studio/
Das Dingen ist so etwas wie eine "Luxus-Datenpumpe". Die einmal erstellten Regeln bzw. Applikationen lassen sich dann als reine Java-Programme ausführen.
Jedenfalls bekommt man damit auch Konvertierungen von Firebird nach MySQL oder PostgreSQL hin.
Wenn das zu komplex erscheint, würde ich es doch mit Python versuchen ;)
Hi yoppi
ich bin nun da ich Probleme hatte pfsense mit pgsql zu verbinden (Verbindung ging, Tables wurden angefragt aber keine Daten hin oder her übermittelt; die debug Infos zeigen dann wieder eher ein schlecht unterstütztes pfsense Plugin mit einigem Nachbesserungsbeddarf, wozu ich keine Lust hatte). Da ich prof. mit pgsql arbeite, wollte ich mir nicht eine andere DB anbinden (mySQL) und so bin ich bei csv Export und filtern und einpflege in die Textkonfig bei freeRADIUS gelandet.
Da ich keine Komplettlösung dafür fand, bin ich selbst die Pfade abgegangen:
1) Export (CSV) DB_Auszug vom FB DB zu einzelnen Zimmern /TOOLSET/1_Import
2) Filter Startdatum = Heute?=> nur dann kopieren, anderes=Zukunft oder Vergangenheit /TOOLSET/2_Aussortieren + Konvertieren (CSV3 Spalten und CSV in 2 Nutzspalten)
3) wandeln CSV in Endformat + Filename=Zimmername /TOOLSET/3_Aufbereiten
4) Datumsformat anpassen und umstellen /TOOLSET/3_Aufbereiten
5) Suche in authorize nach Filename=zu ersetzende Zeile + ersetzen
6) systemctl reload radiusd.service
7) säubern => Ordner leeren + Variablen löschen
Eine OEM Lösung (LANCOM z.B.) wollte ich nicht angehen, da ich jetzt auch vor einer solchen Hardware stehe: kein Support mehr und Probleme. Mit RADIUS bin ich auf einer soliden Lösung für viele Probleme.
Gruß
Sam
ich bin nun da ich Probleme hatte pfsense mit pgsql zu verbinden (Verbindung ging, Tables wurden angefragt aber keine Daten hin oder her übermittelt; die debug Infos zeigen dann wieder eher ein schlecht unterstütztes pfsense Plugin mit einigem Nachbesserungsbeddarf, wozu ich keine Lust hatte). Da ich prof. mit pgsql arbeite, wollte ich mir nicht eine andere DB anbinden (mySQL) und so bin ich bei csv Export und filtern und einpflege in die Textkonfig bei freeRADIUS gelandet.
Da ich keine Komplettlösung dafür fand, bin ich selbst die Pfade abgegangen:
1) Export (CSV) DB_Auszug vom FB DB zu einzelnen Zimmern /TOOLSET/1_Import
2) Filter Startdatum = Heute?=> nur dann kopieren, anderes=Zukunft oder Vergangenheit /TOOLSET/2_Aussortieren + Konvertieren (CSV3 Spalten und CSV in 2 Nutzspalten)
3) wandeln CSV in Endformat + Filename=Zimmername /TOOLSET/3_Aufbereiten
4) Datumsformat anpassen und umstellen /TOOLSET/3_Aufbereiten
5) Suche in authorize nach Filename=zu ersetzende Zeile + ersetzen
6) systemctl reload radiusd.service
7) säubern => Ordner leeren + Variablen löschen
Eine OEM Lösung (LANCOM z.B.) wollte ich nicht angehen, da ich jetzt auch vor einer solchen Hardware stehe: kein Support mehr und Probleme. Mit RADIUS bin ich auf einer soliden Lösung für viele Probleme.
Gruß
Sam
