"Onprem"KI (LLM) im eigenen Unternehmen verwenden - Praxiserfahrungen?
Hallo,
bei uns in der Firma stellen wir den Entwickler-Kollegen mehr und mehr ChatGPT-Lizenzen zu Verfügung.
Hat jemand schon Erfahrungen mit "On-Premise" LLM, das mit firmeninternem Wissensmanagement trainiert wurde?
Auf meine Frage, welche Systeme infrage kommen, hat ChatGPT folgendes geantwortet:
LG
I2
bei uns in der Firma stellen wir den Entwickler-Kollegen mehr und mehr ChatGPT-Lizenzen zu Verfügung.
Hat jemand schon Erfahrungen mit "On-Premise" LLM, das mit firmeninternem Wissensmanagement trainiert wurde?
Auf meine Frage, welche Systeme infrage kommen, hat ChatGPT folgendes geantwortet:
LG
I2
Please also mark the comments that contributed to the solution of the article
Content-ID: 52728419645
Url: https://administrator.de/contentid/52728419645
Printed on: September 11, 2024 at 23:09 o'clock
2 Comments
Latest comment
Hallo,
ich empfehle dir mal https://media.ccc.de/v/clt24-186-wie-funktioniert-chatgpt-gibt-es-das-au ... anzusehen.
Wir haben hier auf dieser Basis (RAG mit YaCi) ein Mistral-Modell am laufen. Ist noch lange nicht das Niveau das wir uns wünschen. Wir hoffen auf das neue Modell von Meta (Llama 3.1) und bessere Hardware, allerdings kein Budget mehr für passende Hardware.
Im Alltag wird dann doch eher auf ChatGPT zugegriffen
Ein eigenes Modell zu trainieren trauen wir uns nicht zu, inbesondere aufgrund der Kosten.
Grüße
ich empfehle dir mal https://media.ccc.de/v/clt24-186-wie-funktioniert-chatgpt-gibt-es-das-au ... anzusehen.
Wir haben hier auf dieser Basis (RAG mit YaCi) ein Mistral-Modell am laufen. Ist noch lange nicht das Niveau das wir uns wünschen. Wir hoffen auf das neue Modell von Meta (Llama 3.1) und bessere Hardware, allerdings kein Budget mehr für passende Hardware.
Im Alltag wird dann doch eher auf ChatGPT zugegriffen
Ein eigenes Modell zu trainieren trauen wir uns nicht zu, inbesondere aufgrund der Kosten.
Grüße