4
Automatischer FTP csv Import in MySQL Datenbank
Guten Tag,
ich benötige dringend folgende Funktion, was eigentlich nicht so schwer sein sollte.
Jedoch bin ich in dieser Hinsicht nicht vom Fach und habe keine Ahnung wie ich das machen könnte bzw. ob
es fertige Tools gibt.
Ich habe in einem Netzwerk mehrere FTP-Server auf denen csv-Dateien liegen mit Messwerten.
Dieses Netzwerk ist nur über VPN zu erreichen.
Die Dateien sollen nun automatisch jeden Tag einmal auf einen Webserver oder von mir aus einen lokalen Rechner
kopiert werden und in eine MySQL Datenbank importiert werden.
Ziel ist es idealerweise die Daten über ein Dashboard aufrufen zu können oder zumindest so wie in Excel
ein Tabellenblatt zu haben, um die Daten auswerten zu können inklusive Diagrammen etc.
Gibt es hier eine Bedienerfreundliche Lösung, die nicht so kompliziert ist?
Danke für jegliche Hilfe.
ich benötige dringend folgende Funktion, was eigentlich nicht so schwer sein sollte.
Jedoch bin ich in dieser Hinsicht nicht vom Fach und habe keine Ahnung wie ich das machen könnte bzw. ob
es fertige Tools gibt.
Ich habe in einem Netzwerk mehrere FTP-Server auf denen csv-Dateien liegen mit Messwerten.
Dieses Netzwerk ist nur über VPN zu erreichen.
Die Dateien sollen nun automatisch jeden Tag einmal auf einen Webserver oder von mir aus einen lokalen Rechner
kopiert werden und in eine MySQL Datenbank importiert werden.
Ziel ist es idealerweise die Daten über ein Dashboard aufrufen zu können oder zumindest so wie in Excel
ein Tabellenblatt zu haben, um die Daten auswerten zu können inklusive Diagrammen etc.
Gibt es hier eine Bedienerfreundliche Lösung, die nicht so kompliziert ist?
Danke für jegliche Hilfe.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 4799827761
Url: https://administrator.de/contentid/4799827761
Printed on: May 8, 2024 at 09:05 o'clock
4 Comments
Latest comment
Moin,
also bedienerfreundlich ist ja relativ.
Es gibt hier zwei Ansätze:
1. eigenes Skript erstellen
2. Nutze eine Middleware
vermutlich gibt es auch noch andere zig Wege...
Gruß
em-pie
also bedienerfreundlich ist ja relativ.
Es gibt hier zwei Ansätze:
1. eigenes Skript erstellen
- Sammle mit einem Powershellscript alle relevanten Daten ein
- lies die Dateien ein (Import-CSV())
- schreib die Dateien in die MySQL-Datenbank weg
- leg eine WebGUI über die Datenbank, die dir die Daten ausliest Beispielsweise so
2. Nutze eine Middleware
- Installiere Knime (gibt aus andere Tools)
- baue dir mit den Bausteinen alles zusammen (u. a. FTP Connector + CSV Reader + MySQL Connector)
- leg eine WebGUI über die Datenbank, die dir die Daten ausliest Beispielsweise so
vermutlich gibt es auch noch andere zig Wege...
Gruß
em-pie
2
Also auch wenn's relativ ist würde ich sagen das ist eher ganz schön schwer, aber natürlich kann man das machen.
Mir fällt spontan der Weg ins PowerBI ein, zumal du am Ende von Auswertungen sprichst. Dann bräuchte es auch keine MySQL DB dazwischen, die CSV Dateien per Script einsammeln, bei PowerBI rein kippen und die Auswertung drüber bauen.
Hat natürlich auch Nachteile:, z.B. ist es in keiner SQL DB (möchte man ja vielleicht
), es kostet natürlich Lizenzen, es ist natürlich ein Vendor-Lock-in und natürlich liegen die Daten dann in einer Cloud. Dafür ist der Auswertungsteil recht eben für den Einsteiger gemacht.
Mir fällt spontan der Weg ins PowerBI ein, zumal du am Ende von Auswertungen sprichst. Dann bräuchte es auch keine MySQL DB dazwischen, die CSV Dateien per Script einsammeln, bei PowerBI rein kippen und die Auswertung drüber bauen.
Hat natürlich auch Nachteile:, z.B. ist es in keiner SQL DB (möchte man ja vielleicht
), es kostet natürlich Lizenzen, es ist natürlich ein Vendor-Lock-in und natürlich liegen die Daten dann in einer Cloud. Dafür ist der Auswertungsteil recht eben für den Einsteiger gemacht.1
Hallo,
klingt doch nach einer schönen Aufgabe. Daten die wo ligen kann man mit BI auswerten - wie @ukulele-7 schon sagte.
Import würde auch drupal locker schaffen. Nur dann liegen die Daten in einen Node/ View herum. Für Auswertungen gibt es super Tools.
https://www.metabase.com/pricing
Selbst gehosted kostenlos. Kann auch MS-SQL - das brauchten wir damals.
Glaub war Portable? Schon echt länger her.
+1 für irggendein BI System, bzw. Metabase?!?
FTP und PowerShell geht super. Bordmittel oder was dazwischen nehmen: https://winscp.net/eng/docs/library_powershell
WinSCP ist sehr gut dokumentiert und kann auch einfach auf neue Anforderungen reagieren. Auch wenn bei FTP wohl nicht viel neues dazu kommen wird.
1. WinSCP zum Sammeln
2. Mit Script CSV 2 MySQL - oder eine DB, die das BI Tool beherrscht.
3. Filter und Boards erstellen
Fertig.
klingt doch nach einer schönen Aufgabe. Daten die wo ligen kann man mit BI auswerten - wie @ukulele-7 schon sagte.
Import würde auch drupal locker schaffen. Nur dann liegen die Daten in einen Node/ View herum. Für Auswertungen gibt es super Tools.
https://www.metabase.com/pricing
Selbst gehosted kostenlos. Kann auch MS-SQL - das brauchten wir damals.
Open Source
The user-friendly BI suite in a box.
Unlimited charts
Unlimited dashboards
Connect to 20+ database types
Use 15+ visualizations
Schedule updates via email or Slack
The user-friendly BI suite in a box.
Unlimited charts
Unlimited dashboards
Connect to 20+ database types
Use 15+ visualizations
Schedule updates via email or Slack
Glaub war Portable? Schon echt länger her.
+1 für irggendein BI System, bzw. Metabase?!?
FTP und PowerShell geht super. Bordmittel oder was dazwischen nehmen: https://winscp.net/eng/docs/library_powershell
WinSCP ist sehr gut dokumentiert und kann auch einfach auf neue Anforderungen reagieren. Auch wenn bei FTP wohl nicht viel neues dazu kommen wird.
1. WinSCP zum Sammeln
2. Mit Script CSV 2 MySQL - oder eine DB, die das BI Tool beherrscht.
3. Filter und Boards erstellen
Fertig.
1
Danke für die Antworten. Habe jetzt mal KNIME installiert und das Programm sieht sehr gut aus und scheint wohl auch das zu können was ich möchte.
Ist jetzt etwas speziell aber vielleicht weiß doch einer hier Bescheid. Es hängt schon beim ersten Schritt mit der FTP-Verbindung. Verbindung zum FTP-Server ist unverschlüsselt. Ich komme mit anderen Programmen problemlos drauf nur KNIME scheitert beim Verbinden.
MalformedServerReplyException: Truncated server reply: '220 '
Execute failed: Truncated server reply: '220 '
Woran könnte das liegen? Port und Login/Passwort stimmt definitiv. Sonst kann man nicht viel eingeben.
Ist jetzt etwas speziell aber vielleicht weiß doch einer hier Bescheid. Es hängt schon beim ersten Schritt mit der FTP-Verbindung. Verbindung zum FTP-Server ist unverschlüsselt. Ich komme mit anderen Programmen problemlos drauf nur KNIME scheitert beim Verbinden.
MalformedServerReplyException: Truncated server reply: '220 '
Execute failed: Truncated server reply: '220 '
Woran könnte das liegen? Port und Login/Passwort stimmt definitiv. Sonst kann man nicht viel eingeben.
