istike2
Goto Top

"Onprem"KI (LLM) im eigenen Unternehmen verwenden - Praxiserfahrungen?

Hallo,

bei uns in der Firma stellen wir den Entwickler-Kollegen mehr und mehr ChatGPT-Lizenzen zu Verfügung.

Hat jemand schon Erfahrungen mit "On-Premise" LLM, das mit firmeninternem Wissensmanagement trainiert wurde?

Auf meine Frage, welche Systeme infrage kommen, hat ChatGPT folgendes geantwortet:

llm

LG

I2

Content-ID: 52728419645

Url: https://administrator.de/forum/onprem-ki-llm-im-eigenen-unternehmen-verwenden-praxiserfahrungen-52728419645.html

Ausgedruckt am: 22.12.2024 um 04:12 Uhr

Michi91
Michi91 05.08.2024 um 08:22:38 Uhr
Goto Top
Hallo,
ich empfehle dir mal https://media.ccc.de/v/clt24-186-wie-funktioniert-chatgpt-gibt-es-das-au ... anzusehen.

Wir haben hier auf dieser Basis (RAG mit YaCi) ein Mistral-Modell am laufen. Ist noch lange nicht das Niveau das wir uns wünschen. Wir hoffen auf das neue Modell von Meta (Llama 3.1) und bessere Hardware, allerdings kein Budget mehr für passende Hardware.

Im Alltag wird dann doch eher auf ChatGPT zugegriffen

Ein eigenes Modell zu trainieren trauen wir uns nicht zu, inbesondere aufgrund der Kosten.

Grüße
istike2
istike2 05.08.2024 um 08:25:03 Uhr
Goto Top
Vielen Dank Michi91 ...