Firebird SQL export, Bereinigung und pqsql+mysql import
Hi
für ein Proof of Conecpt suche ich eine Export/Importmöglichkeit um für das Thema hier:
Mikrotik cAP mit Captcha und RADIUS
eine gehbare Automatisierung zu zaubern (darf nichts kosten).
A) regelmäßiges auslesen, Firebird Export und Upload auf einen FTP Server
B) Download ftp + Bearbeitung der Felddaten und löschen der unnötigen Felder (sed/awk/....) da dieser Export sicher nicht nur die Felder liefert die ich haben will
C) Export in eine mysql/pgsql DB um damit (pfsense) freeRADIUS3 mit User/Passwort/Zeitfenster Start/Ende zu betanken.
Das Konstrukt ist frei Willkür ausgewählt und eine Vorstellung wie ich mir einen Weg vorstellen kann. Die pfsense FW wäre an einigen Punkten schön zu haben und auch zentral praktisch (Troublshooting, Nachvollziehbarkeit, Übergabe an Daueradmin). Als OS der Exportfunktion ist Windows zuständig, als Konverter und Exporter und evtl. SQL Umgebung würde ich auf CentOS (7) gehen, da gewohnt.
Klingt das für einen SQL Profi hier sinnvoll oder eher stark überdenkenswert?
Gruß
Sam
für ein Proof of Conecpt suche ich eine Export/Importmöglichkeit um für das Thema hier:
Mikrotik cAP mit Captcha und RADIUS
eine gehbare Automatisierung zu zaubern (darf nichts kosten).
A) regelmäßiges auslesen, Firebird Export und Upload auf einen FTP Server
B) Download ftp + Bearbeitung der Felddaten und löschen der unnötigen Felder (sed/awk/....) da dieser Export sicher nicht nur die Felder liefert die ich haben will
C) Export in eine mysql/pgsql DB um damit (pfsense) freeRADIUS3 mit User/Passwort/Zeitfenster Start/Ende zu betanken.
Das Konstrukt ist frei Willkür ausgewählt und eine Vorstellung wie ich mir einen Weg vorstellen kann. Die pfsense FW wäre an einigen Punkten schön zu haben und auch zentral praktisch (Troublshooting, Nachvollziehbarkeit, Übergabe an Daueradmin). Als OS der Exportfunktion ist Windows zuständig, als Konverter und Exporter und evtl. SQL Umgebung würde ich auf CentOS (7) gehen, da gewohnt.
Klingt das für einen SQL Profi hier sinnvoll oder eher stark überdenkenswert?
Gruß
Sam
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 635940
Url: https://administrator.de/contentid/635940
Ausgedruckt am: 24.11.2024 um 16:11 Uhr
3 Kommentare
Neuester Kommentar
Ich hab mit Datenbanken so gut wie nichts zu tun, aber ich bin ganz stark überzeugt, dass unser Datenbankspezi dieses mit dem Microsoft SSIS machen würde.
Ich weiß, dass er Daten aus non-MSSQL-Server-Datenbanken zieht und auch in veränderter Form in andere non-MSSQL-Server-Datenbanken wieder reinschreiben.
Ich weiß, dass er Daten aus non-MSSQL-Server-Datenbanken zieht und auch in veränderter Form in andere non-MSSQL-Server-Datenbanken wieder reinschreiben.
Hmm... kann man sicher alles irgendwie infrickeln, z.B. ein Python-Skript nehmen, um Firebird auszulesen, etc.
Für eine wiederkehrende Aufgabe und es wenn halbwegs professionell sein soll, würde ich in dem Fall "Talend" nehmen. Gibt's auch in einer kostenlosen Version:
https://www.talend.com/de/products/talend-open-studio/
Das Dingen ist so etwas wie eine "Luxus-Datenpumpe". Die einmal erstellten Regeln bzw. Applikationen lassen sich dann als reine Java-Programme ausführen.
Jedenfalls bekommt man damit auch Konvertierungen von Firebird nach MySQL oder PostgreSQL hin.
Wenn das zu komplex erscheint, würde ich es doch mit Python versuchen ;)
Für eine wiederkehrende Aufgabe und es wenn halbwegs professionell sein soll, würde ich in dem Fall "Talend" nehmen. Gibt's auch in einer kostenlosen Version:
https://www.talend.com/de/products/talend-open-studio/
Das Dingen ist so etwas wie eine "Luxus-Datenpumpe". Die einmal erstellten Regeln bzw. Applikationen lassen sich dann als reine Java-Programme ausführen.
Jedenfalls bekommt man damit auch Konvertierungen von Firebird nach MySQL oder PostgreSQL hin.
Wenn das zu komplex erscheint, würde ich es doch mit Python versuchen ;)