tsunami
Goto Top

Suche Suchprogramm

Hallo,
ich brauche einen Tipp für ein profesionelles Suchprogramm.
Es geht um rund 3 TB Dokiumente auf ner externen USB 3 Storage.
Es sollen Inhalte und Namen gesucht werden können und möglichst auch Emails (Thunderbird/Outlook).
Welche hatte ich bislang probiert:
  • Indexyourfiles - überfordert stürzt ab, Inhaltssuche dauert ewig (10 Minuten null Ergebnisse trotz 3 Wochen indexieren; Index kommt nie zum Ende)
  • Archivarius - überfordert stürzt ab (Gigantischer Index von 70 GB; nach 3 Tagen plötzlich defekt)
  • Hubbelbee - stürzt ohne Fehlermeldung ab, lt. SUpport zuviele Daten, die Oberfläche ist topp. Angebot eines NAS mit ENterprise Edition war dann doch etwas zu viel. 1200 €, keine Einstellmöglichkeiten (Indexort)
  • Google Desktop - keine Ergebnisse

Muss keine Freeware sein. Möglichst Deutsch.

mfG
tsunami

Content-ID: 514162

Url: https://administrator.de/forum/suche-suchprogramm-514162.html

Ausgedruckt am: 09.04.2025 um 22:04 Uhr

141815
141815 12.11.2019 aktualisiert um 09:48:27 Uhr
Goto Top
ChriBo
ChriBo 12.11.2019 um 09:49:22 Uhr
Goto Top
Hi
probier mal Agent Ransack

CH
Kraemer
Kraemer 12.11.2019 um 09:51:43 Uhr
Goto Top
Moin,

dazu noch eine Frage:
Zitat von @tsunami:
  • Archivarius - überfordert stürzt ab (Gigantischer Index von 70 GB; nach 3 Tagen plötzlich defekt)
das sind gerade einmal 2% der Daten. Enorm wenig in meinen Augen, wenn man bedenkt, was das Tool alles indiziert.
Wie sind also in diesem Punkt deine Anforderungen?

Gruß
tsunami
tsunami 12.11.2019 um 12:03:25 Uhr
Goto Top
Agent Ransack ist doch schon mal ein guter Ansatz!
docFetcher ist sehr gewöhnungsbedürftig.
Teste beides gerade
Vielen Dank estmal!
tsunami
tsunami 12.11.2019 um 12:22:22 Uhr
Goto Top
@Kraemer: 70 GB als Datenbank finde ich sehr viel.
Normalerweise sind da doch nur Texte drin.
Dürfte also max 1 GB sein.
1 MB sind doch 1024 x 1024 Zeichen also zB einmal die Bibel
Was bedeutet Anforderungen?
Ich möchte zB Eingeben können, Suche "Donau".
Dateityp: Dokumente -> Durchsucht alle Dokumente nach Donau oder optional mit dem Wort Donau im Inhalt.
=> Donaxyz.odt
Donau_peep.doc
PengDonau.pdf
...
und optional:
blah blah blah Donau blah blah blah => Hugo.doc
blah blah blah Donau blah blah blah => Muas.odt
blah blah blah Donau blah blah blah => Himmel.pdf
...
141815
141815 12.11.2019 aktualisiert um 14:09:54 Uhr
Goto Top
Dürfte also max 1 GB sein.
1 MB sind doch 1024 x 1024 Zeichen also zB einmal die Bibel
Milchmädchen Rechnung, schon mal was von Unicode/UTF8 usw. gehört? Und Datenbanken haben immer entsp. Overhead. Durch Zusammenfassung u. Komprimierung gibt es aber sicherlich effizientere Algorithmen.
canlot
canlot 12.11.2019 um 13:08:17 Uhr
Goto Top
@calender sollte auch meiner bescheidener Meinung nach kleiner sein, wenn da mal ein gescheiter Algorithmus implementiert worden ist, z.B. B-Tree.
Kraemer
Kraemer 12.11.2019 um 14:19:40 Uhr
Goto Top
Zitat von @tsunami:
Was bedeutet Anforderungen?
na genau in dem Kontext. Wie groß darf die Datenbank werden?
Die Frage hast de ja nun beantwortet

Dürfte also max 1 GB sein.
Dirmhirn
Dirmhirn 12.11.2019 um 15:34:29 Uhr
Goto Top
Hi,

kann es an der USB-Anbindung liegen?

Irgendeine Chance das auf eine Interne/(kleinen) Server zu kopieren?

sg Dirm
tsunami
tsunami 12.11.2019 um 15:57:46 Uhr
Goto Top
@Kraemer Max 1 GB meinte isch so nicht. Nur 70 GB finde ich zu groß. Wie gesagt, es sind doch nur texte.
Als Beispiel die Bibel. Da brauche ich doch in der Datenbank keine Schriftart, Farbe, Hintergrund usw., sondern reinen Text. Wenn ich dann nach Moses suche, müsste er mir das Dokument Bibel.pdf rauswerfen, optimalerweise mit den Stellen, wo Moses steht markiert. Ob in dem Original Dokument dann tot, fett oder unterstrichen ist, ist doch für den Index egal, oder?
@Dirmhirn der Server ist ja Quasi da. Ein USB Raid. Ich habe da relativ viel Kohle für gezahlt und wollte nun eigendlich nicht nochmal nen 1000ender investieren. (3 TB!)

@all Ich hatte früher mal so eine Software, ich meine von einem Schweizer. Da konnte man sogar einzelne Foren einbinden...
mfG
tsunami
tsunami
tsunami 13.11.2019 um 08:22:17 Uhr
Goto Top
Guten Morgen zusammen.
Docfetcher ist nun schon mal raus. Absturz mit "Zu wenig Arbeitsspeicher" bei I7 und 16 GB...
tsunami
tsunami 13.11.2019 um 08:53:55 Uhr
Goto Top
Und Agent Ransak überzeugt nicht. Sucht nach einem Wort und ist nach 15 Minuten bei 15% der Dateien durchsucht.
Der Index lief nun 24 h.
141815
141815 13.11.2019 aktualisiert um 09:27:41 Uhr
Goto Top
Zitat von @tsunami:

Guten Morgen zusammen.
Docfetcher ist nun schon mal raus. Absturz mit "Zu wenig Arbeitsspeicher" bei I7 und 16 GB...

Hm dann hast du das entweder nur als 32bit Prozess gestartet oder einen Fehler gemacht. Hir läuft DocFetcher seit Jahren mit einem Datenbestand über 50TB wie Schmidts Katze auf einem System mit 8GB RAM klaglos.
tsunami
tsunami 13.11.2019 um 09:29:51 Uhr
Goto Top
Hm, was kann man da falsch machen? Index anlegen und laufen lassen...
Nach 15 h dann der Fehler
tsunami
tsunami 13.11.2019 um 09:30:46 Uhr
Goto Top
Ok, die Portable Version...
cardisch
cardisch 13.11.2019 um 15:33:26 Uhr
Goto Top
Ich benutze als Google Desktop Ersatz Copernic Desktop Search.
Kann man ordentlich testen, den Indexort ändern und kann auch in Mails "stöbern".. wie es sich aber bei 3TB Daten verhält kann ich dir auch nicht sagen
tsunami
tsunami 13.11.2019 um 16:23:22 Uhr
Goto Top
Ups, copernic hatte ich auch schon. Absturz, keine Ergebnisse.
141815
141815 13.11.2019 aktualisiert um 16:36:19 Uhr
Goto Top
Zitat von @tsunami:
Absturz, keine Ergebnisse.
Wow bei dir scheint alles abzustürzen was Bit's und Bytes hat face-big-smile. Vielleicht hilft Anleinen face-wink.
Kraemer
Kraemer 13.11.2019 um 16:34:47 Uhr
Goto Top
Zitat von @141815:
Wow bei dir scheint alles abzustürzen was Bit's und Bytes hat face-big-smile. Vielleicht hilft anleinen face-wink.
dachte ich auch gerade. Vielleicht mal Dateisystem / Platte reparieren...
tsunami
tsunami 13.11.2019 um 17:15:48 Uhr
Goto Top
@141815
Wie kann ich das expliziet als 64bit starten?
Er installiert sich in Programme (x86)
In der Doku steht er untertützt beides. Aber wie sage ich ihm nimm expliziet die 64er?
Gerade wieder: Zu wenig Arbeitsspeicher...
tsunami
tsunami 13.11.2019 um 17:18:33 Uhr
Goto Top
Die Platte ist 3 Monate alt.
Ich denke, dass es einfach die Menge ist, die die normalen Programme überfordern.
Deshalb fragte ich nach professionellem Programm.
Hab nun woanders getestet. NAS mit 1 TB an Daten. Trotzdem Zu wenig Arbeitsspeicher...
141815
141815 13.11.2019 aktualisiert um 17:21:27 Uhr
Goto Top
64Bit Java JRE nutzen. Oder gleich als Snap https://snapcraft.io/docfetcher
tsunami
tsunami 13.11.2019 um 18:06:01 Uhr
Goto Top
Das Java ist 64 bit.
Der Link st für Linux.
tsunami
tsunami 13.11.2019 um 18:18:59 Uhr
Goto Top
Ok, habe es gefunden, im Ordner misc gibt es 64 bit Versionen und Speicherlimits also 2096 stadt 256 MB.
Und wieder warten...
tsunami
tsunami 15.11.2019 um 11:09:11 Uhr
Goto Top
Wieder ein Satz mit x.
Habe nun via batch den Speicher auf 8 GB (!!!) hochgesetzt. Nach 10h Absturz...
mfG
tsunami
141815
141815 15.11.2019 aktualisiert um 11:52:52 Uhr
Goto Top
Dann haben deine Daten, Rechner allgemein oder Dateisystem irgendein Problem, die 50TB die ich hier habe waren innerhalb von 3 Stunden indiziert (8 Core CPU, Datenträger:SSD-RAID 10 angebunden via 10GBit/s iSCSI), nüscht Absturz.
Kraemer
Kraemer 15.11.2019 um 15:37:23 Uhr
Goto Top
Zitat von @141815:

Dann haben deine Daten, Rechner allgemein oder Dateisystem irgendein Problem,
oder eine Rekursion im Dateisystem