6
Lokale KI-Lösungen
Servus zusammen,
in letzter Zeit beschäftige ich mich intensiv mit dem Thema Betrieb von KI-Anwendungen auf eigener Hardware. Ich habe erste Tests mit einem kleinen Sprachmodell (basierend auf GPT‑2) auf einem älteren Server durchgeführt, um zu sehen, ob man auch ohne externe Cloud-Dienste zufriedenstellende Performance erzielen kann. Dabei stoße ich aber auf Herausforderungen, etwa bei der Ressourcennutzung und der Sicherung sensibler Daten.
Daher wollte ich euch mal nach euren Erfahrungen fragn:
Welche Frameworks oder Tools habt ihr beim Einsatz lokaler KI-Lösungen genutzt? Welche Hardware habt ihr dafür so genutzt und wie optimiert ihr die Performance?
Danke schonmal
.
in letzter Zeit beschäftige ich mich intensiv mit dem Thema Betrieb von KI-Anwendungen auf eigener Hardware. Ich habe erste Tests mit einem kleinen Sprachmodell (basierend auf GPT‑2) auf einem älteren Server durchgeführt, um zu sehen, ob man auch ohne externe Cloud-Dienste zufriedenstellende Performance erzielen kann. Dabei stoße ich aber auf Herausforderungen, etwa bei der Ressourcennutzung und der Sicherung sensibler Daten.
Daher wollte ich euch mal nach euren Erfahrungen fragn:
Welche Frameworks oder Tools habt ihr beim Einsatz lokaler KI-Lösungen genutzt? Welche Hardware habt ihr dafür so genutzt und wie optimiert ihr die Performance?
Danke schonmal
.
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 671934
Url: https://administrator.de/forum/lokale-ki-loesungen-671934.html
Ausgedruckt am: 13.04.2025 um 17:04 Uhr
6 Kommentare
Neuester Kommentar
Wir haben ca. 50 im Dauereinsatz, mal mehr mal weniger, sie arbeiten rund 50 Stunden pro Woche, jede bekommt ihren eigenen Schreibtisch, Telefon und bei Bedarf einen Firmenwagen. Wir nennen sie aber nicht KI's sondern EI's.
wie optimiert ihr die Performance?
Stetig mit ausreichend Kaffee versorgen, am Ende des Jahres einen zufriedenstellenden Bonus auszahlen und ab und zu ein Lob aussprechen.
5
Ich hab da ein paar Gegenfragen....
Willst du das produktiv einsetzen oder eher hobbymäßig bei dir zuhause?
Wenn du "basierend auf GPT-2" schreibst, meinst du H2ogpt?
Ich sag mal so: die Hardware richtet sich nach dem eingesetzten Modell und das dann schlussendlich nach der größe des Geldbeutels.
Die Deepseek R1-Modelle sind auch für den "schmalen" Geldbeutel möglich. 8 Mrd. Knoten laufen da quasi mit einer 4090 fluffig.
Du kannst aber auch die vollen 671 Mrd. Knoten nutzen und es auf RAM anstelle von VRAM laufen lassen. Ist zwar langsamer, aber die GPUs sind doch ein bisschen teurer. Ich denke gelesen zu haben, da kommt man mit irgendwo 800 GB RAM hin. Und das ist ja mit einer Workstation oder einem Server machbar.
Tool-technisch denke ich an Ollama und fürs Aufhübschen der Benutzererfahrung dann sowas wie Open WebUI. Die Enten helfen.
Kommt dann aber auch was du überhaupt vorhast. Willst du so ein Modell nutzen oder auch trainieren?
Willst du das produktiv einsetzen oder eher hobbymäßig bei dir zuhause?
Wenn du "basierend auf GPT-2" schreibst, meinst du H2ogpt?
Ich sag mal so: die Hardware richtet sich nach dem eingesetzten Modell und das dann schlussendlich nach der größe des Geldbeutels.
Die Deepseek R1-Modelle sind auch für den "schmalen" Geldbeutel möglich. 8 Mrd. Knoten laufen da quasi mit einer 4090 fluffig.
Du kannst aber auch die vollen 671 Mrd. Knoten nutzen und es auf RAM anstelle von VRAM laufen lassen. Ist zwar langsamer, aber die GPUs sind doch ein bisschen teurer. Ich denke gelesen zu haben, da kommt man mit irgendwo 800 GB RAM hin. Und das ist ja mit einer Workstation oder einem Server machbar.
Tool-technisch denke ich an Ollama und fürs Aufhübschen der Benutzererfahrung dann sowas wie Open WebUI. Die Enten helfen.
Kommt dann aber auch was du überhaupt vorhast. Willst du so ein Modell nutzen oder auch trainieren?
Moin,
das Ding mit der KI ist, dass man erst ein Anwendungsszenario haben muss, bevor man damit anfängt. Klar habe ich auch auf lokalen "Power" Desktops und dem Server-Cluster "gespielt". Das war allerdings nur, um ein Gefühl dafür zu bekommen, wie man das macht, verwaltet und was die Möglichkeiten sind.
Wenn man beruflich keinen einzigen Einsatz für KI hat, und ich meine auch hier ein großes LLM, dass mit eigenen Daten angelernt wird und keine Algorithmen, die z.B. die Logistik mit einer besseren und aktuelleren Routenplanung durchführen, dann ist es nur verbranntes Geld.
Ich bin hier vielleicht zu naiv aber für mich muss ein KI-System in der Lage sein, mit nur einem Prompt z.B. eine detaillierte Übersicht der Kostenentwicklung zw. 2021-2024 für die Reparaturen der Fahrzeugflotte zu erstellen und dabei die am häufigsten aufgetretenen Defekte aufzulisten, vielleicht sogar mit Empfehlungen wie man diese vermeidet.
das Ding mit der KI ist, dass man erst ein Anwendungsszenario haben muss, bevor man damit anfängt. Klar habe ich auch auf lokalen "Power" Desktops und dem Server-Cluster "gespielt". Das war allerdings nur, um ein Gefühl dafür zu bekommen, wie man das macht, verwaltet und was die Möglichkeiten sind.
Wenn man beruflich keinen einzigen Einsatz für KI hat, und ich meine auch hier ein großes LLM, dass mit eigenen Daten angelernt wird und keine Algorithmen, die z.B. die Logistik mit einer besseren und aktuelleren Routenplanung durchführen, dann ist es nur verbranntes Geld.
Ich bin hier vielleicht zu naiv aber für mich muss ein KI-System in der Lage sein, mit nur einem Prompt z.B. eine detaillierte Übersicht der Kostenentwicklung zw. 2021-2024 für die Reparaturen der Fahrzeugflotte zu erstellen und dabei die am häufigsten aufgetretenen Defekte aufzulisten, vielleicht sogar mit Empfehlungen wie man diese vermeidet.
1
Ich seh's ähnlich wie @DerMaddin
Bei uns will ein Anbieter einer Warenwirtschaft auch immer mit KI kommen. Nur ich seh' bei uns den Sinn nicht.
Grundsätzlich geht's da um Einkaufspreise, die wöchentlich ermittelt werden. Nur werden diese Preise nicht nur aufgrund der Marktsituation (Angebot und Nachfrage) gebildet, sondern auch immer wieder mit einzelnen Sonderabsprachen. Das kann keine KI.
KI ist in vielen Belangen sehr nützlich. Hauptsächlich, wenn es eben um ein- und zuordnen sehr vieler Daten geht. Da kann man die gut und zuverlässig trainieren. Vor allem, weil das Ziel doch pro Betrieb sehr eng gesteckt ist.
Darüber hinaus seh ich jetzt (zumindest für unseren Betrieb) kein Einsatzgebiet für KI. Die kleinen Wie-schreib-ich-einen-Brief-richtig-Aktionen mal abgesehen. Da sollen sie halt den Copilot oder die diversen online-Prompts nutzen.
Offline seh ich da momentan nur Kosten aber keine Nutzen.
Bei uns will ein Anbieter einer Warenwirtschaft auch immer mit KI kommen. Nur ich seh' bei uns den Sinn nicht.
Grundsätzlich geht's da um Einkaufspreise, die wöchentlich ermittelt werden. Nur werden diese Preise nicht nur aufgrund der Marktsituation (Angebot und Nachfrage) gebildet, sondern auch immer wieder mit einzelnen Sonderabsprachen. Das kann keine KI.
KI ist in vielen Belangen sehr nützlich. Hauptsächlich, wenn es eben um ein- und zuordnen sehr vieler Daten geht. Da kann man die gut und zuverlässig trainieren. Vor allem, weil das Ziel doch pro Betrieb sehr eng gesteckt ist.
Darüber hinaus seh ich jetzt (zumindest für unseren Betrieb) kein Einsatzgebiet für KI. Die kleinen Wie-schreib-ich-einen-Brief-richtig-Aktionen mal abgesehen. Da sollen sie halt den Copilot oder die diversen online-Prompts nutzen.
Offline seh ich da momentan nur Kosten aber keine Nutzen.
Danke für eure Beiträge .
Bei den Anwendungsfällen stimme ich komplett zu - Zwanghaft auf KI zu setzen macht keinen Sinn.
Mein aktueller Fokus liegt tatsächlich auf der (zumindest zukünftigen) produktiven Nutzung lokaler LLMS – also nicht nur im Experimentiermodus. Es geht mir darum offline verfügbare Assistenzsysteme zu realisieren. Gerade weil viele Unternehmen aus Commpliance-Gründen auf Cloud-Lösungen verzichten...
Derzeit setze ich vor allem auf Modelle wie LLama‑2 (7B/13B) und Mistral 7B – teils in quantisierter Form (z. B. GPTQ, GGUF) die ich so angepasst habe, dass sie auch ein erweitertes Kontextfenster von rund8 k Tokens verarbeiten können. Dabei spielt natürlich auch das Feintuning, etwa mit RoPE-Optimierungen eine Rolle, um eine möglichst niedrige Latenz zu erzielen.
.Bei den Anwendungsfällen stimme ich komplett zu - Zwanghaft auf KI zu setzen macht keinen Sinn.
Mein aktueller Fokus liegt tatsächlich auf der (zumindest zukünftigen) produktiven Nutzung lokaler LLMS – also nicht nur im Experimentiermodus. Es geht mir darum offline verfügbare Assistenzsysteme zu realisieren. Gerade weil viele Unternehmen aus Commpliance-Gründen auf Cloud-Lösungen verzichten...
Derzeit setze ich vor allem auf Modelle wie LLama‑2 (7B/13B) und Mistral 7B – teils in quantisierter Form (z. B. GPTQ, GGUF) die ich so angepasst habe, dass sie auch ein erweitertes Kontextfenster von rund8 k Tokens verarbeiten können. Dabei spielt natürlich auch das Feintuning, etwa mit RoPE-Optimierungen eine Rolle, um eine möglichst niedrige Latenz zu erzielen.
Geil, manchmal frag ich mich ob ich auch so ein Ei in einer Simulation bin.
