OpenGPT-X: Teuken-7B - Das europäische KI-Sprachmodell ist online

Sehr schön und was soll man als End-Anwender damit anstellen?

Nun - ggf. gibt es ja hier den ein oder anderen programmierer der eben u.a. sprachfunktionen in seine SW eingebaut hat? Ich hab zB. bei mir auch schon ein kleines "Frage/Antwort"-System mittels einfacher AI integriert -> damit ich eben nicht 20x am Tag dieselbe Frage beantworten muss.. Dabei sind einige Modelle natürlich dann hilfreich weil ich ja nicht weiss ob die Frage zB. ist "Der Drucker funktioniert nicht", "Warum geht der Drucker nicht" oder "ich kann nicht drucken" -> damit kannst du die Anfragen eben nicht 1:1 an ne SQL-DB übergeben, die würde keine Antworten finden ODER du bist so grob das es jeden Rotz raushaut (zB. wenn du das wort "nicht" siehst würde das ggf. viele treffer geben). Ich will aber ja auch nicht für jede Fragemöglichkeit einen entsprechenden Eintrag schreiben... Das ganze könnte man natürlich auf "Spracheingabe" erweitern (will ich nur nicht, es hören schon genug Alexa's, Siri's, Samsung-Assistant's,... den ganzen tag zu, da muss meine SW nich noch mitmachen), dann siehst du warum sowas ggf nützlich ist (und GRADE wenn du in grösseren Unternehmen arbeitest hast du schnell mal zig Nationen beteiligt -> und damit nen übersetzer... du willst aber nicht jedes Dokument, jedes Gespräch usw. gleich an Google Translate senden...)


WAS mir aber angst macht:

"Teuken-7B kann kostenlos unter Hugging Face herunterladen heruntergeladen werden."

Warum hab ich jetzt angst das es anfängt "warum selbst denken, ich kann Hirnerweiterungen ja auch einfach runterladen"? ;)

Also eine lokale Software, die mit einer LLM, dann die Anfragen der User beantworten kann. Da muss man schon ein entsprechendes System im Backend haben, damit die Verarbeitung und Ausgabe flott genug ist. Ohne entsprechende GPU (hab selbst getestet mit LLAMA 3.1 8B) ist das ziemlich zäh und das nur bei einem User.

Btw. so ein Helpdesk mit AI gibt es bereits schon bei vielen kommerziellen Anbietern. Der Mehrwert ist allerdings eher bescheiden, zumindest bis jetzt.

klar gibt es das - aber wie bei vielen Systemen passt es oft eben nich ganz so wie man will... und natürlich ist "bis jetzt" der mehrwert bescheiden. DAS wird auch noch ein wenig dauern:
- die benutzer müssen sich erstmal dran gewöhnen (fängt damit an das man ja nicht einfach zum Telefon greift oder ne Message schickt sondern ein entsprechendes System überhaupt nutzt!)
- das Training der AI/KI muss erfolgen (für "normale" Systeme setzt man hier idR ja einige 1000 Datensätze an, soviele anfragen musst du erstmal zusammenbekommen - und das nur als Trainingsdaten!)
- Das ganze muss ja auch noch einen gewissen Nutzen haben -> eine AI/KI sollte ja eben nicht mit "bitte das Gerät mal aus- und einschalten" als erste standard-antwort reagieren (dann kann ich mir auch irgendwo nen call-center in nem billigen land holen und tu noch was gutes für die dortige wirtschaft)

Das ganze wird eben nicht in 5 min erledigt sein, ist aber natürlich etwas was auf lange sicht vermutlich eh kommen wird....