79564
16.03.2020
5934
14
0
CSV als Datenbank für schnelle Suche
Hi zusammen
Wir haben bei uns in der Firma ein echt grosses CSV (Preisliste), welches wir jeweils alle 3 Monate von einem Lieferanten erhalten.
Wir müssen dann ab und an in diesem CSV nach Artikelnummern suchen und die Preise ausfindig machen.
Alleine um die Datei zu öffnen ist Excel einige Minuten beschäftigt. Die Suchanfrage dauert dann auch nochmals eine weile.
Ich habe mir nun überlegt, ob man das CSV nicht einfach in eine Datenbank laden könne und darüber die Suchanfragen schneller zu machen.
Gibt es hier eine Cloud oder WebApp, mit der man dies machen kann?
Oder habt Ihr andere Ideen?
Danke euch
Gruss Lupita
Wir haben bei uns in der Firma ein echt grosses CSV (Preisliste), welches wir jeweils alle 3 Monate von einem Lieferanten erhalten.
Wir müssen dann ab und an in diesem CSV nach Artikelnummern suchen und die Preise ausfindig machen.
Alleine um die Datei zu öffnen ist Excel einige Minuten beschäftigt. Die Suchanfrage dauert dann auch nochmals eine weile.
Ich habe mir nun überlegt, ob man das CSV nicht einfach in eine Datenbank laden könne und darüber die Suchanfragen schneller zu machen.
Gibt es hier eine Cloud oder WebApp, mit der man dies machen kann?
Oder habt Ihr andere Ideen?
Danke euch
Gruss Lupita
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 558061
Url: https://administrator.de/forum/csv-als-datenbank-fuer-schnelle-suche-558061.html
Ausgedruckt am: 11.04.2025 um 12:04 Uhr
14 Kommentare
Neuester Kommentar
Mit PostgreSQL könntest Du diese CSV-Datei via "Foreign Data Wrapper" direkt mit SQL durchsuchen. Mal so als Idee. Allerdings kannst Du so keine Indexe nutzen. Du kannst sie aber dann auch direkt in eine Tabelle laden, und auf diese Indexe setzen.
Moin,
so ziemlich alle DBs können CSVs importieren. Access, Mysql, MS SQL, Postgress, Oracle...
Das einfachst ist mMn eine Imprt in eine Access DB, per Wizard an Formular drauf gepackt, Tabelle indexiert und los gehts.
lg,
Slainte
so ziemlich alle DBs können CSVs importieren. Access, Mysql, MS SQL, Postgress, Oracle...
Das einfachst ist mMn eine Imprt in eine Access DB, per Wizard an Formular drauf gepackt, Tabelle indexiert und los gehts.
lg,
Slainte
Moin,
wie groß ist die CSV Datei und konvertiert ihr die in eine XLSX Datei oder öffnet ihr immer die CSV Datei?
U.u. ist das Öffnen einer Excel Datei schneller als das einer CSV Datei.
Gruss
wie groß ist die CSV Datei und konvertiert ihr die in eine XLSX Datei oder öffnet ihr immer die CSV Datei?
U.u. ist das Öffnen einer Excel Datei schneller als das einer CSV Datei.
Gruss
Moin,
Excel ist keine Datenbank. Insofern ist das das falsche Konzept.
Das ist das richtig Konzept. Ist ein komplettes Office vorhanden? Dann wäre der einfachste Weg, das Teil in eine Access-DB zu importieren. Dann noch eine nette Suchmaske und alles wird gut.
Das ist nicht weiter kompliziert, sofern es eine flache Tabelle ist.
hth
Erik
Zitat von @79564:
Wir haben bei uns in der Firma ein echt grosses CSV (Preisliste), welches wir jeweils alle 3 Monate von einem Lieferanten erhalten.
Wir müssen dann ab und an in diesem CSV nach Artikelnummern suchen und die Preise ausfindig machen.
Alleine um die Datei zu öffnen ist Excel einige Minuten beschäftigt. Die Suchanfrage dauert dann auch nochmals eine weile.
Wir haben bei uns in der Firma ein echt grosses CSV (Preisliste), welches wir jeweils alle 3 Monate von einem Lieferanten erhalten.
Wir müssen dann ab und an in diesem CSV nach Artikelnummern suchen und die Preise ausfindig machen.
Alleine um die Datei zu öffnen ist Excel einige Minuten beschäftigt. Die Suchanfrage dauert dann auch nochmals eine weile.
Excel ist keine Datenbank. Insofern ist das das falsche Konzept.
Ich habe mir nun überlegt, ob man das CSV nicht einfach in eine Datenbank laden könne und darüber die Suchanfragen schneller zu machen.
Das ist das richtig Konzept. Ist ein komplettes Office vorhanden? Dann wäre der einfachste Weg, das Teil in eine Access-DB zu importieren. Dann noch eine nette Suchmaske und alles wird gut.
Das ist nicht weiter kompliziert, sofern es eine flache Tabelle ist.hth
Erik
Moin,
prinzipiell wird Access für solche Fälle gerne genommen, weil es schnell geht. Allerdings empfehle ich, gleich MSSQL als Datenbasis zu verwenden (Express Edition ist kostenlos) und nicht die Access-eigene Jet DB Engine.
Access hat den Nachteil, dass es bei hoher Flexibilität gerne schnell wächst, im Multiuser-Betrieb aber extrem limitiert.
Daher meine Empfehlung: sobald sich andeutet, dass deutlich mehr Funktionalität gewünscht wird, direkt auf eine Business-Lösung umsetzen, die skalieren kann. Beispiele kann ich gerne nennen, will aber keine Werbung machen.
Ich habe schon gewachsene Strukturen gesehen, die mit einem einfachen Import angefangen haben bis hin zum Mini-ERP.
Irgendwann musste der Produktionsleiter morgens um 4 ins Büro, damit er noch Änderungen machen und essentielle Prozesse für die Produktion starten konnte, bevor die übrigen User ins Büro kamen und Datensätze durch Bearbeitung sperrten.
Zum Prozess:
Sucht ihr im csv aktuelle explizit nach Artikelnummern um Preise abzugleichen oder etwas abzutippen?
D.h. bestellt ihr dann durch abtippen, schreibt Angebote auf Basis der Preise aus dem Excel? Woher stammt der Artikelbedarf? Wird da von Hand zusammengerechnet oder sind einige Excel-Dateien im Umlauf?
Eventuell macht es ja Sinn, den kompletten Prozess zu betrachten und zu hinterfragen, wo wiederholt Eingaben und Ausgaben händisch und mit Medienbrüchen getätigt werden. Das kostet Unmengen an Zeit (und somit Geld), wenn man die Prozesskosten mal hochrechnet.
Ich kann nur jeden Unternehmen anraten, gleich was professionelles einzusetzen und den unkontrollierbaren Umgang mit Excel-Files, verstreuten, teilreredundaten Datentöpfen und Access-Wildwuchs einzuschränken.
Gruß
Grinskeks
prinzipiell wird Access für solche Fälle gerne genommen, weil es schnell geht. Allerdings empfehle ich, gleich MSSQL als Datenbasis zu verwenden (Express Edition ist kostenlos) und nicht die Access-eigene Jet DB Engine.
Access hat den Nachteil, dass es bei hoher Flexibilität gerne schnell wächst, im Multiuser-Betrieb aber extrem limitiert.
Daher meine Empfehlung: sobald sich andeutet, dass deutlich mehr Funktionalität gewünscht wird, direkt auf eine Business-Lösung umsetzen, die skalieren kann. Beispiele kann ich gerne nennen, will aber keine Werbung machen.
Ich habe schon gewachsene Strukturen gesehen, die mit einem einfachen Import angefangen haben bis hin zum Mini-ERP.
Irgendwann musste der Produktionsleiter morgens um 4 ins Büro, damit er noch Änderungen machen und essentielle Prozesse für die Produktion starten konnte, bevor die übrigen User ins Büro kamen und Datensätze durch Bearbeitung sperrten.
Zum Prozess:
Sucht ihr im csv aktuelle explizit nach Artikelnummern um Preise abzugleichen oder etwas abzutippen?
D.h. bestellt ihr dann durch abtippen, schreibt Angebote auf Basis der Preise aus dem Excel? Woher stammt der Artikelbedarf? Wird da von Hand zusammengerechnet oder sind einige Excel-Dateien im Umlauf?
Eventuell macht es ja Sinn, den kompletten Prozess zu betrachten und zu hinterfragen, wo wiederholt Eingaben und Ausgaben händisch und mit Medienbrüchen getätigt werden. Das kostet Unmengen an Zeit (und somit Geld), wenn man die Prozesskosten mal hochrechnet.
Ich kann nur jeden Unternehmen anraten, gleich was professionelles einzusetzen und den unkontrollierbaren Umgang mit Excel-Files, verstreuten, teilreredundaten Datentöpfen und Access-Wildwuchs einzuschränken.
Gruß
Grinskeks
Das File ist 33 MB gross.
Als CSV aber auch alx xlsx oder xlsb, alles langsam.
gruss
Als CSV aber auch alx xlsx oder xlsb, alles langsam.
gruss
Ja, ich weiss auch nicht wieso dies so gemacht wird.
Aber der Hersteller liefert die Preislisten leider nur als CSV oder XLSX.
Ja es ist ein komplettes Office, aber auf dem Mac.
Da gibts kein Access.
Wir haben auch schon Google Tabellen versucht, doch da ist die Performance auch sehr schlecht.
Aber der Hersteller liefert die Preislisten leider nur als CSV oder XLSX.
Ja es ist ein komplettes Office, aber auf dem Mac.
Da gibts kein Access.Wir haben auch schon Google Tabellen versucht, doch da ist die Performance auch sehr schlecht.
Moin,
beim Mac heißt Access Filemaker. Das ist verdammt lang her, aber ich erinnere mich dunkel an den Filemaker als auch recht einfach zu bedienendes Datenbanktool, das für den Zweck sicherlich mehr als ausreicht.
Liebe Grüße
Erik
beim Mac heißt Access Filemaker.
Das ist verdammt lang her, aber ich erinnere mich dunkel an den Filemaker als auch recht einfach zu bedienendes Datenbanktool, das für den Zweck sicherlich mehr als ausreicht.Liebe Grüße
Erik
Also eine 64MB große CSV Datei kann ich über das Netzwerk innerhalb von drei, vier Sekunden mit Excel unter W10 öffnen.
Vielleicht liegt euer Problem an einer anderen Stelle.
Vielleicht liegt euer Problem an einer anderen Stelle.
Hallo,
Gruß,
Peter
Zitat von @79564:
Aber der Hersteller liefert die Preislisten leider nur als CSV oder XLSX.
Und XLSX gefällt nicht oder gibt es einen trifftigen Grund warum du EXCEL ignorierst? https://www.macworld.co.uk/how-to/mac-software/how-edit-xlsx-files-on-ma ...Aber der Hersteller liefert die Preislisten leider nur als CSV oder XLSX.
Gruß,
Peter
Wenn möglich, wäre es mir lieber, wenn es Online wäre, da wir dies auf allen Workstations im Unternehmen zur Verfügung stellen müssen.
Auf jedem Mac / PC noch was zu installieren, wäre eher umständlich.
Auf jedem Mac / PC noch was zu installieren, wäre eher umständlich.
wenn es Online wäre,
Warum macht das denn nicht euer Lieferant? Ich würde dem das CSV ja um dei Ohren schlagen...PS: FileMaker gibt's auch gehostet.
Moin,
Na dann einen Webserver aufsetzen mit LAMP und aus dem CSV eine MySQL-DB basteln. Dann noch mit PHP ein nettes Webinterface und es ist online. Ob das allerdings weniger umständlich ist, als einen Client auf jeder Workstation zu installieren, wage ich mal zu bezweifeln.
Liebe Grüße
Erik
Zitat von @79564:
Wenn möglich, wäre es mir lieber, wenn es Online wäre, da wir dies auf allen Workstations im Unternehmen zur Verfügung stellen müssen.
Auf jedem Mac / PC noch was zu installieren, wäre eher umständlich.
Wenn möglich, wäre es mir lieber, wenn es Online wäre, da wir dies auf allen Workstations im Unternehmen zur Verfügung stellen müssen.
Auf jedem Mac / PC noch was zu installieren, wäre eher umständlich.
Na dann einen Webserver aufsetzen mit LAMP und aus dem CSV eine MySQL-DB basteln. Dann noch mit PHP ein nettes Webinterface und es ist online. Ob das allerdings weniger umständlich ist, als einen Client auf jeder Workstation zu installieren, wage ich mal zu bezweifeln.
Liebe Grüße
Erik
Hallo,
einfachste und schnellste brauchbare Lösung wäre eine MSSQL-Express-DB mit ACCESS als Frontend.
CSV über ACCESS importieren.
Schon die Tabellenansicht im ACCESS hat einen Filter integriert.
Über VBA-Makro könnt Ihr sogar den CSV-Import automatisieren, oder Ihr nutzt gleich BULKINSERT im SQLServer.
Ach so, die Tabelle im MSSQL läst sich auch als externe Tabelle mit EXCEL nutzen
LG
SH
einfachste und schnellste brauchbare Lösung wäre eine MSSQL-Express-DB mit ACCESS als Frontend.
CSV über ACCESS importieren.
Schon die Tabellenansicht im ACCESS hat einen Filter integriert.
Über VBA-Makro könnt Ihr sogar den CSV-Import automatisieren, oder Ihr nutzt gleich BULKINSERT im SQLServer.
Ach so, die Tabelle im MSSQL läst sich auch als externe Tabelle mit EXCEL nutzen
LG
SH
