Lokale KI-Lösungen
Servus zusammen,
in letzter Zeit beschäftige ich mich intensiv mit dem Thema Betrieb von KI-Anwendungen auf eigener Hardware. Ich habe erste Tests mit einem kleinen Sprachmodell (basierend auf GPT‑2) auf einem älteren Server durchgeführt, um zu sehen, ob man auch ohne externe Cloud-Dienste zufriedenstellende Performance erzielen kann. Dabei stoße ich aber auf Herausforderungen, etwa bei der Ressourcennutzung und der Sicherung sensibler Daten.
Daher wollte ich euch mal nach euren Erfahrungen fragn:
Welche Frameworks oder Tools habt ihr beim Einsatz lokaler KI-Lösungen genutzt? Welche Hardware habt ihr dafür so genutzt und wie optimiert ihr die Performance?
Danke schonmal
.
in letzter Zeit beschäftige ich mich intensiv mit dem Thema Betrieb von KI-Anwendungen auf eigener Hardware. Ich habe erste Tests mit einem kleinen Sprachmodell (basierend auf GPT‑2) auf einem älteren Server durchgeführt, um zu sehen, ob man auch ohne externe Cloud-Dienste zufriedenstellende Performance erzielen kann. Dabei stoße ich aber auf Herausforderungen, etwa bei der Ressourcennutzung und der Sicherung sensibler Daten.
Daher wollte ich euch mal nach euren Erfahrungen fragn:
Welche Frameworks oder Tools habt ihr beim Einsatz lokaler KI-Lösungen genutzt? Welche Hardware habt ihr dafür so genutzt und wie optimiert ihr die Performance?
Danke schonmal
.
Kommentieren
Teilen
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 671934
Url: https://administrator.de/forum/lokale-ki-loesungen-671934.html
Ausgedruckt am: 18.06.2025 um 12:06 Uhr
8 Kommentare
Neuester Kommentar
Wir haben ca. 50 im Dauereinsatz, mal mehr mal weniger, sie arbeiten rund 50 Stunden pro Woche, jede bekommt ihren eigenen Schreibtisch, Telefon und bei Bedarf einen Firmenwagen. Wir nennen sie aber nicht KI's sondern EI's.
wie optimiert ihr die Performance?
Stetig mit ausreichend Kaffee versorgen, am Ende des Jahres einen zufriedenstellenden Bonus auszahlen und ab und zu ein Lob aussprechen.
5
Ich hab da ein paar Gegenfragen....
Willst du das produktiv einsetzen oder eher hobbymäßig bei dir zuhause?
Wenn du "basierend auf GPT-2" schreibst, meinst du H2ogpt?
Ich sag mal so: die Hardware richtet sich nach dem eingesetzten Modell und das dann schlussendlich nach der größe des Geldbeutels.
Die Deepseek R1-Modelle sind auch für den "schmalen" Geldbeutel möglich. 8 Mrd. Knoten laufen da quasi mit einer 4090 fluffig.
Du kannst aber auch die vollen 671 Mrd. Knoten nutzen und es auf RAM anstelle von VRAM laufen lassen. Ist zwar langsamer, aber die GPUs sind doch ein bisschen teurer. Ich denke gelesen zu haben, da kommt man mit irgendwo 800 GB RAM hin. Und das ist ja mit einer Workstation oder einem Server machbar.
Tool-technisch denke ich an Ollama und fürs Aufhübschen der Benutzererfahrung dann sowas wie Open WebUI. Die Enten helfen.
Kommt dann aber auch was du überhaupt vorhast. Willst du so ein Modell nutzen oder auch trainieren?
Willst du das produktiv einsetzen oder eher hobbymäßig bei dir zuhause?
Wenn du "basierend auf GPT-2" schreibst, meinst du H2ogpt?
Ich sag mal so: die Hardware richtet sich nach dem eingesetzten Modell und das dann schlussendlich nach der größe des Geldbeutels.
Die Deepseek R1-Modelle sind auch für den "schmalen" Geldbeutel möglich. 8 Mrd. Knoten laufen da quasi mit einer 4090 fluffig.
Du kannst aber auch die vollen 671 Mrd. Knoten nutzen und es auf RAM anstelle von VRAM laufen lassen. Ist zwar langsamer, aber die GPUs sind doch ein bisschen teurer. Ich denke gelesen zu haben, da kommt man mit irgendwo 800 GB RAM hin. Und das ist ja mit einer Workstation oder einem Server machbar.
Tool-technisch denke ich an Ollama und fürs Aufhübschen der Benutzererfahrung dann sowas wie Open WebUI. Die Enten helfen.
Kommt dann aber auch was du überhaupt vorhast. Willst du so ein Modell nutzen oder auch trainieren?
Moin,
das Ding mit der KI ist, dass man erst ein Anwendungsszenario haben muss, bevor man damit anfängt. Klar habe ich auch auf lokalen "Power" Desktops und dem Server-Cluster "gespielt". Das war allerdings nur, um ein Gefühl dafür zu bekommen, wie man das macht, verwaltet und was die Möglichkeiten sind.
Wenn man beruflich keinen einzigen Einsatz für KI hat, und ich meine auch hier ein großes LLM, dass mit eigenen Daten angelernt wird und keine Algorithmen, die z.B. die Logistik mit einer besseren und aktuelleren Routenplanung durchführen, dann ist es nur verbranntes Geld.
Ich bin hier vielleicht zu naiv aber für mich muss ein KI-System in der Lage sein, mit nur einem Prompt z.B. eine detaillierte Übersicht der Kostenentwicklung zw. 2021-2024 für die Reparaturen der Fahrzeugflotte zu erstellen und dabei die am häufigsten aufgetretenen Defekte aufzulisten, vielleicht sogar mit Empfehlungen wie man diese vermeidet.
das Ding mit der KI ist, dass man erst ein Anwendungsszenario haben muss, bevor man damit anfängt. Klar habe ich auch auf lokalen "Power" Desktops und dem Server-Cluster "gespielt". Das war allerdings nur, um ein Gefühl dafür zu bekommen, wie man das macht, verwaltet und was die Möglichkeiten sind.
Wenn man beruflich keinen einzigen Einsatz für KI hat, und ich meine auch hier ein großes LLM, dass mit eigenen Daten angelernt wird und keine Algorithmen, die z.B. die Logistik mit einer besseren und aktuelleren Routenplanung durchführen, dann ist es nur verbranntes Geld.
Ich bin hier vielleicht zu naiv aber für mich muss ein KI-System in der Lage sein, mit nur einem Prompt z.B. eine detaillierte Übersicht der Kostenentwicklung zw. 2021-2024 für die Reparaturen der Fahrzeugflotte zu erstellen und dabei die am häufigsten aufgetretenen Defekte aufzulisten, vielleicht sogar mit Empfehlungen wie man diese vermeidet.
1
Ich seh's ähnlich wie @DerMaddin
Bei uns will ein Anbieter einer Warenwirtschaft auch immer mit KI kommen. Nur ich seh' bei uns den Sinn nicht.
Grundsätzlich geht's da um Einkaufspreise, die wöchentlich ermittelt werden. Nur werden diese Preise nicht nur aufgrund der Marktsituation (Angebot und Nachfrage) gebildet, sondern auch immer wieder mit einzelnen Sonderabsprachen. Das kann keine KI.
KI ist in vielen Belangen sehr nützlich. Hauptsächlich, wenn es eben um ein- und zuordnen sehr vieler Daten geht. Da kann man die gut und zuverlässig trainieren. Vor allem, weil das Ziel doch pro Betrieb sehr eng gesteckt ist.
Darüber hinaus seh ich jetzt (zumindest für unseren Betrieb) kein Einsatzgebiet für KI. Die kleinen Wie-schreib-ich-einen-Brief-richtig-Aktionen mal abgesehen. Da sollen sie halt den Copilot oder die diversen online-Prompts nutzen.
Offline seh ich da momentan nur Kosten aber keine Nutzen.
Bei uns will ein Anbieter einer Warenwirtschaft auch immer mit KI kommen. Nur ich seh' bei uns den Sinn nicht.
Grundsätzlich geht's da um Einkaufspreise, die wöchentlich ermittelt werden. Nur werden diese Preise nicht nur aufgrund der Marktsituation (Angebot und Nachfrage) gebildet, sondern auch immer wieder mit einzelnen Sonderabsprachen. Das kann keine KI.
KI ist in vielen Belangen sehr nützlich. Hauptsächlich, wenn es eben um ein- und zuordnen sehr vieler Daten geht. Da kann man die gut und zuverlässig trainieren. Vor allem, weil das Ziel doch pro Betrieb sehr eng gesteckt ist.
Darüber hinaus seh ich jetzt (zumindest für unseren Betrieb) kein Einsatzgebiet für KI. Die kleinen Wie-schreib-ich-einen-Brief-richtig-Aktionen mal abgesehen. Da sollen sie halt den Copilot oder die diversen online-Prompts nutzen.
Offline seh ich da momentan nur Kosten aber keine Nutzen.
Danke für eure Beiträge .
Bei den Anwendungsfällen stimme ich komplett zu - Zwanghaft auf KI zu setzen macht keinen Sinn.
Mein aktueller Fokus liegt tatsächlich auf der (zumindest zukünftigen) produktiven Nutzung lokaler LLMS – also nicht nur im Experimentiermodus. Es geht mir darum offline verfügbare Assistenzsysteme zu realisieren. Gerade weil viele Unternehmen aus Commpliance-Gründen auf Cloud-Lösungen verzichten...
Derzeit setze ich vor allem auf Modelle wie LLama‑2 (7B/13B) und Mistral 7B – teils in quantisierter Form (z. B. GPTQ, GGUF) die ich so angepasst habe, dass sie auch ein erweitertes Kontextfenster von rund8 k Tokens verarbeiten können. Dabei spielt natürlich auch das Feintuning, etwa mit RoPE-Optimierungen eine Rolle, um eine möglichst niedrige Latenz zu erzielen.
.Bei den Anwendungsfällen stimme ich komplett zu - Zwanghaft auf KI zu setzen macht keinen Sinn.
Mein aktueller Fokus liegt tatsächlich auf der (zumindest zukünftigen) produktiven Nutzung lokaler LLMS – also nicht nur im Experimentiermodus. Es geht mir darum offline verfügbare Assistenzsysteme zu realisieren. Gerade weil viele Unternehmen aus Commpliance-Gründen auf Cloud-Lösungen verzichten...
Derzeit setze ich vor allem auf Modelle wie LLama‑2 (7B/13B) und Mistral 7B – teils in quantisierter Form (z. B. GPTQ, GGUF) die ich so angepasst habe, dass sie auch ein erweitertes Kontextfenster von rund8 k Tokens verarbeiten können. Dabei spielt natürlich auch das Feintuning, etwa mit RoPE-Optimierungen eine Rolle, um eine möglichst niedrige Latenz zu erzielen.
Geil, manchmal frag ich mich ob ich auch so ein Ei in einer Simulation bin.
Hallo zusammen,
Wenn ich mich hier mal einklinken darf:
Ich evaluiere grade für eine kleine, befreundete Anwaltskanzlei, ob sich lokale KI auf einem Gaming-Rechner lohnen würde. Die Idee ist:
1. sämtliche Schriftsätze einer bestimmten Fallkategorie (z.B. "Sachmängel bei Autos") in einer RAG-Datenbank zu hinterlegen
2. dann Fallbezogen in einem Chat die konkreten Fall-Dokumente, Korrespondenzen etc. hochzuladen
um dann
3. per Prompt Zusammenfassungen, Eckdaten und ggf. Schriftsatzentwürfe zu generieren.
Copilot / chatGPT kommt dafür nicht in Frage, weil man alle Anhänge / Korrespondenzen vorher aufwändig anonymisieren müsste und das macht kein Mensch. Beim Lokalen Anstaz würden die Daten die Kanzlei nie verlassen, da wäre das m.E. unkritisch.
Mein Ansatz:
Wie seht ihr das?
Kann mein Ansatz zu einer spürbaren Arbeitserleichterung führen oder ist das alles noch Spielerei?
(Also ich bin überzeugt, dass es mit ChatGPT / Copilot den Anwälten bereits jetzt viele Stunden arbeit sparen könnte, wenn man dort einfach alles stupide hochladen würde, aber das geht halt m.E. bei Rechtsanwälten echt nicht, auch wenn es sicher viele einfach machen! Außerdem kann ich mir vorstellen, dass Fallkategorie-spezifisches RAG lokal vielleicht besser funktionieren könnte, als aktuell in ChatGPT.)
Zur Hardware:
Ich habe folgenden Rechner konfiguriert – was meint ihr zur Eignung und zur Auswahl der Komponenten?
Wie schätzt ihr Preisleistung des Angebots und Angemessenheit meiner Hardware Konfiguration für meinen Usecase ein?
Wenn ich mich hier mal einklinken darf:
Ich evaluiere grade für eine kleine, befreundete Anwaltskanzlei, ob sich lokale KI auf einem Gaming-Rechner lohnen würde. Die Idee ist:
1. sämtliche Schriftsätze einer bestimmten Fallkategorie (z.B. "Sachmängel bei Autos") in einer RAG-Datenbank zu hinterlegen
2. dann Fallbezogen in einem Chat die konkreten Fall-Dokumente, Korrespondenzen etc. hochzuladen
um dann
3. per Prompt Zusammenfassungen, Eckdaten und ggf. Schriftsatzentwürfe zu generieren.
Copilot / chatGPT kommt dafür nicht in Frage, weil man alle Anhänge / Korrespondenzen vorher aufwändig anonymisieren müsste und das macht kein Mensch. Beim Lokalen Anstaz würden die Daten die Kanzlei nie verlassen, da wäre das m.E. unkritisch.
Mein Ansatz:
- Lokaler KI-Rechner (Gaming PC) für vertrauliche juristische Schriftsätze (mit RAG-Ansatz)
- Zugriff lokal über Web-Frontend mit Autorisierung
- Kein Cloud-Zugriff, daher rein lokal, Datenschutz sehr kritisch
- angedachtes Setup: Linux + Mistral / Mixtral + llama.cpp + LangChain + OpenGPTs ????? Sinnvoll???
- huggingFace als Quelle für Modelle, Datasets und vielelicht späteres Experimente mit transformers-Modellen
- Indexierung eigener Dokumente und Rechtstexte (~10.000 PDFs, txts, Urteile, interne Notizen, Korrepsondenz)
Wie seht ihr das?
Kann mein Ansatz zu einer spürbaren Arbeitserleichterung führen oder ist das alles noch Spielerei?
(Also ich bin überzeugt, dass es mit ChatGPT / Copilot den Anwälten bereits jetzt viele Stunden arbeit sparen könnte, wenn man dort einfach alles stupide hochladen würde, aber das geht halt m.E. bei Rechtsanwälten echt nicht, auch wenn es sicher viele einfach machen! Außerdem kann ich mir vorstellen, dass Fallkategorie-spezifisches RAG lokal vielleicht besser funktionieren könnte, als aktuell in ChatGPT.)
Zur Hardware:
Ich habe folgenden Rechner konfiguriert – was meint ihr zur Eignung und zur Auswahl der Komponenten?
1 × Be Quiet! PURE BASE 501 - Airflow White BG075
+49,00 €
1 × Intel Core i5-13600KF - 6x 3.50GHz + 8x 2.60GHz (Turbotakt bis 5.1GHz)
1 × Polartherm by Thermal Grizzly
1 × Arctic Freezer 36 Black CPU Kühler
-35,00 €
1 × ASUS TUF B760-Plus WIFI | Intel B760 DDR4 - LGA1700
1 × 32GB DDR4 3600MHz Corsair Vengeance RGB PRO SL CL18
+24,00 €
1 × Nvidia GeForce RTX 5070 TI 16GB GDDR7 mit DLSS 4
1 × 850W MSI MAG A850GL PCIE5 80+ Gold
1 × 1TB M.2 SSD (NVMe) MSI Spatium M470 Pro PCIe 4.0
1 × Windows 11 64Bit Pro
1 × 3 Jahre Garantie & 30 Tage Rückgaberecht (ohne Aufpreis)
Preis wie konfiguriert 1.772,90 €
Ich glaube, da machst du besser mal einen neuen Thread für auf. Das hier lesen nur Leute, die nach dem Thema suchen oder den Thread hier abonniert haben...
Eventuell noch Ergänzen, von wie vielen Dokumenten man ausgehen könnte.
Eventuell noch Ergänzen, von wie vielen Dokumenten man ausgehen könnte.
