Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Datenbank oder doch textfiles

Mitglied: WPFORGE

WPFORGE (Level 1) - Jetzt verbinden

26.05.2019 um 15:06 Uhr, 356 Aufrufe, 6 Kommentare

Hallo,
Ich möchte Orderbücher aus einem Exchange auslesen und später auswerten.
Ein Orderbuch ist dabei ein JSON Objekt, das durchaus mal 200kb groß werden kann.

Bisher speichere ich diese Orderbücher für je 24h in einer MYSQL Tabelle (id, timestamp, json). Dabei erreiche ich in 24h eine Tabellengröße von ~1,5GB
Ich verarbeite 15 Währungspaare,das wären also ~100mb/Tag und Währungspaar.

Wenn die Daten nun für 1 Jahr erfasst würden, ergäben sich pro Währungspaar Tabellen mit ~36GB größe.

Einmal im Monat sollen nun einige Kennwerte aus den gesammelten Daten ermittelt werden.
Dazu werden die JSON Objekte in Monatsschritten durchgearbeitet. Dies geschieht pro JSON Objekt etwa 10000 mal.

Macht es in so einem Fall das JSON Objekt in der DB zu speichern oder nur den timestamp und dann das jsonobejkt in einem text file das zum beispiel PAAR_TIMESTAMP.json heißt ?

Danke schon mal für eure Antworten.
Mitglied: Pjordorf
26.05.2019 um 15:13 Uhr
Hallo,

Zitat von WPFORGE:
Bisher speichere ich diese Orderbücher für je 24h in einer MYSQL Tabelle (id, timestamp, json). Dabei erreiche ich in 24h eine Tabellengröße von ~1,5GB
Und wenn du das alles per Textdatei tust, was wird gesparrt bzw. wie klein ist dann alles?

Gruß,
Peter
Bitte warten ..
Mitglied: StefanKittel
26.05.2019 um 20:57 Uhr
Moin,

es geht ja wohl um die ewige Frage ob man Binär- oder andere größe Daten in einer DB speichern soll.
Grundsätzliche Antwort: Nein, aber...

Zuerst würde ich die Datei [id].json nennen.
Das ist absolut eindeutet.
Dann noch das Feld [created] dazu.

Aber: Wenn Du Informationen aus dem JSON für Deine Suche benötigst, funktioniert das natürlich nicht.
Dann entweder
A) Doch JSON in der DB speichern
oder
B) Relevante Daten extrahieren und JSON in Datei speichern.

Stefan
Bitte warten ..
Mitglied: ukulele-7
27.05.2019 um 08:43 Uhr
Ich würde vermuten das Textdateien minimal mehr Speicher konsumieren als die selben Daten in der DB. Das ist aber eigentlich egal, speichern musst du es ja. Eigentlich ist nur relevant wie viel schneller du darauf zugreifen und es verarbeiten kann.

Ich kenne JSON leider nicht sehr gut aber selbst MySQL scheint Funktionen für JSON zu bieten. Oder auch
https://www.postgresql.org/docs/9.3/functions-json.html
Bitte warten ..
Mitglied: SachsenHessi
27.05.2019 um 08:47 Uhr
Hallo,

versuche die Daten, nach denen Du suchen bzw. die Du verarbeiten willst (z.Bsp. Kennzahlen) zusammen mit dem Speicherort der JASON-Datei in einer Tabelle in der DB abzulegen.
Falls Du die "anderen" Daten brauchst kannst Du immer noch dann auf die Datei zugreifen.
Gruß
SH
Bitte warten ..
Mitglied: akretschmer
27.05.2019 um 10:41 Uhr
Moin,

bitte nicht auf PostgreSQL 9.3 verweisen, das ist schon gar nicht mehr unter Support. Aktuell ist Version 11. Dieses kann JSON in binärer Form speichern und indexbasiert durchsuchen. (JSONB).

Für unsere Kunden haben wir auch noch eine extra Extension:

"The zson2q extension provides a datatype for compressed JSONB, using a compression dictionary. The type is almost exactly like the JSONB type, but where commonly occurring strings are stored as indexes into a dictionary, thus allowing for reduced storage requirements and access times."
Bitte warten ..
Mitglied: TheJoker2305
20.06.2019 um 14:49 Uhr
Hallo,

wie gelangen die Dateien der JSON Dateien in die Datenbank?
In der JSON Datei ist vermutlich aufgrund der vielen Tags viel Overhead enthalten.
Um welche Anzahl an Datensätzen und welche Datentypen geht es in den Dateien / insgesamt?

Ich habe kürzlich ETL Jobs für den automatisierten Abruf / Download und Import in eine Datenbank erstellt.
Es ging dabei um eine geringe Anzahl an Datensätzen, jedoch war hierbei der Overhead der JSON Datei deutlioch größer als der Nutzdatenanteil.

Als Tool habe ich hierfür Talend Open Studio verwendet. Schnell umgesetzt und automatisiert.

VG
the joker2305
Bitte warten ..
Ähnliche Inhalte
Datenbanken
FAQ Datenbank
Frage von winIT3264Datenbanken

Hallo zusammen, ich arbeite derzeit an einer IT FAQ Datenbank (Access + Abfragemaske). Erstens für mich damit ich nicht ...

Datenbanken
MySQL Datenbank kopieren
Frage von 77282Datenbanken8 Kommentare

Hallo, wie kopiere ich eine MySQL Datenbank? Kann ich hier einfach die Dateien kopieren und kann diese auch einfach ...

Datenbanken
MS Access Datenbank
gelöst Frage von endadaDatenbanken18 Kommentare

Hey alle zusammen, ich habe folgendes Problem: Ich versuche eine Datenbank mit Access zu erstellen, die wie im Screenshot ...

Datenbanken
Wiederherstellung SQL Datenbank
Frage von mastertulleDatenbanken1 Kommentar

Hallo liebe Community, ich habe folgende Frage: Ich habe eine Datenbank per TDE verschlüsslt. Unter Datenbankoptionen habe ich die ...

Neue Wissensbeiträge
Microsoft
PowerShell script für LAPS
Information von kgborn vor 1 TagMicrosoft5 Kommentare

Kurzer Hinweis für Admins im AD-Umfeld. Ich bin die Tage auf das PowerShell Script der Woche “Local Administrator Password ...

Windows 10
Windows 10 bis Version 1803 und das Zwangs-Upgrade
Information von kgborn vor 1 TagWindows 10

Ich denke, die meisten Admins hier werden Systeme mit Windows 10 Enterprise einsetzen und Updates per WSUS/SCCM oder ähnlichem ...

Microsoft Office
BSI-Empfehlungen für die Office-Konfiguration
Information von kgborn vor 1 TagMicrosoft Office

Kurze Information für Admins, die Office verwalten. Das BSI hat einige Regeln für die Absicherung von Office-Konfigurationen veröffentlicht. Ich ...

Windows 10

Sandy-Bridge plus Nvidia plus Win10 1903 braucht Hotfix

Information von DerWoWusste vor 5 TagenWindows 101 Kommentar

Es gibt ein Problem in der seltenen Konstellation Nvidia-Grafikkarte/Sandy-Bridge-CPU/Win10v1903: die von Nvidia vorgeschlagenen Treiber lassen sich nicht installieren. verlinkt ...

Heiß diskutierte Inhalte
Windows 10
Windows 10 Logonskript greift nicht
Frage von xbast1xWindows 1019 Kommentare

Hallo zusammen, da sich die per GPO gemappten Laufwerke bei allen Usern schließen und das Problem sich nicht lösen ...

SAN, NAS, DAS
SFP+ 10GB Module kompatibel?
Frage von get--4SAN, NAS, DAS18 Kommentare

Grüße euch alle, ich bin in mehreren Schulen für die EDV verantwortlich. In einer Schule haben wir eine SAN ...

Entwicklung
Welche Programmiersprache ist das?
Frage von DschingisEntwicklung17 Kommentare

Hallo zusammen, unser ERP-System ermöglicht es, eigene Ansichten zu bearbeiten. Ich würde mich hier gerne weiterbilden. Kann mir jamand ...

Batch & Shell
Powershell Skript für Reg Datei ändern
gelöst Frage von SoccerdeluxBatch & Shell16 Kommentare

Hallo zusammen, ich muss auf einem Windows 10 Pc ein Skript ausführen lassen was sich alle 5 Minuten wiederholt. ...