frank
Goto Top

Intel hat es wieder verbockt: Core Ultra 200S

Auf vielen Hardware-Seiten lese ich derzeit die Neuankündigung der Intel Core Ultra 200S CPU mit dem Codenamen Arrow Lake-S. Das neueste Werk von Intel soll der größte Schritt im Desktop-Umfeld seit Jahren sein. Ich sehe das anders.

back-to-topImmer diese Benchmarks


In den Berichten finden sich zahlreiche Benchmarks zu Anwendungen und Spielen, kleinste Verbesserungen im Megahertz-Bereich und bei der RAM-Geschwindigkeit, gefühlte tausend neue Schnittstellen, neuer Chipsatz etc. Alles Daten, die für den normalen Anwender eher langweilig sind. Ein Beispiel: Er kann mit DDR5-6400 umgehen, DDR5-5600 bleibt aber vorerst Standard, er unterstützt ECC RAM, das aber wohl nie den Weg auf den Desktop finden wird (ist eher was für Xeon CPUs). Findet ihr das auch so spannend wie ich?

Oder die Ankündigung, dass die CPU endlich Thunderbolt 4 unterstützt. In einigen Beiträgen ist von einem Novum im Desktop-Bereich die Rede. Ob die Redakteure wissen, dass Thunderbolt 4 bereits für 2020 angekündigt war? Oder dass die Übertragungsgeschwindigkeit mit 40 Gbit/s die gleiche ist wie bei Thunderbolt 3? Generell gibt es natürlich Vorteile zwischen den beiden Generationen, aber das als wichtiges Feature zu verkaufen? Aber ich will Euch nicht weiter mit unwichtigen Details langweilen.

Bemerkenswert ist die Detailverliebtheit, mit der über noch so kleine und für den Normalverbraucher eher unwichtige Neuerungen berichtet wird. Die Redakteure stürzen sich wirklich auf alles, was ihnen die Presseabteilung von Intel zum Fraß vorwirft.

Trotzdem lese ich die Beiträge über die vielen Neuerungen und Details.

Manches ist interessant, aber langsam habe ich das Gefühl, dass diese Neuerungen gar nicht so neu sind. Viele Features kenne ich schon von den Vorgängerarchitekturen wie dem 3 Jahre alten Raptor Lake oder dem direkten Vorgänger Meteor Lake.

Irgendwann komme ich an einen Punkt, der mich stutzig macht:

In den meisten Beiträgen ist die Rede von: Single-Core-Performance, Multi-Core-Performance und Gaming-Performance. Aber etwas fehlt in der Aufzählung, etwas, das unsere IT gerade komplett verändert: Die AI-Performance.

back-to-topWo ist die NPU für die AI?


Für alle, die sich fragen, was das ist: Eine NPU (Neural Processing Unit) ist ein spezialisierter Prozessor, der für AI-Anwendungen und maschinelles Lernen optimiert ist.

Viele Anwender glauben, dass eine leistungsfähige Grafikkarte (GPU) die Aufgaben einer Neural Processing Unit (NPU) übernehmen kann. Dies trifft jedoch nur bedingt zu. Zwar glänzen GPUs bei der Parallelverarbeitung, doch sind sie für KI-spezifische Operationen weniger optimiert als NPUs. Der entscheidende Unterschied liegt in der Energieeffizienz: NPUs führen KI-Berechnungen bei einem Bruchteil des Stromverbrauchs einer GPU durch. Genau diese Spezialisierung und Effizienz machen NPUs unverzichtbar für moderne KI-Anwendungen, besonders wenn es um lokale Verarbeitung auf Endgeräten geht. Sie ermöglichen leistungsfähige KI-Funktionen bei gleichzeitig geringem Energieverbrauch - eine Kombination, die GPUs in dieser Form nicht bieten können.

Kürzlich hat beispielsweise Microsoft 40 TOPS NPU-Leistung (Trillion Operations Per Second) als Minimum für seinen Copilot+ PC festgelegt. Apple verbaut in seinem M4 etwa 38 TOPS und legt mit iOS 18 den Grundstein für viele neue AI-Funktionen.

Irgendwann habe ich dann in der offiziellen Präsentation von Intel ganz weit hinten doch noch ein paar Details zur der NPU gefunden: Intels brandneue Core Ultra 200S CPU kann ganze 13 TOPS verarbeiten. Dennoch bewirbt Intel seine CPU mit dem Slogan "AI everywhere".

Damit liegt sie deutlich unter den Vorgaben von Microsoft und sogar unter dem Niveau des iPhone 14 von vor zwei Jahren (17 TOPS). Dies könnte auch ein Grund dafür sein, dass Microsoft sich entschieden hat, Intel-Prozessoren vollständig aus seinem Surface-Produktangebot zu entfernen. Stattdessen setzt das Unternehmen nun durchgängig auf die ARM-basierte Qualcomm Snapdragon X CPU, deren NPU eine Leistung von 45 TOPS bietet.

Nun werden einige sagen, dass der aktuelle Ryzen 9000 von AMD ganz ohne NPU auskommt. Das ist richtig, aber der Nachfolger steht schon in den Startlöchern: Die Ryzen AI 300 Serie ("Strix Point") wird laut AMD mindestens 50 TOPS unterstützen. Was AMD daraus macht, bleibt abzuwarten. Jetzt, wo die Katze aus dem Sack ist, kann ich mir gut vorstellen, dass sich AMD die Hände reibt und weiß, was zu tun ist.

Warum Intel nur 13 TOPS anbietet, steht dann auch in der Pressemitteilung. Dort erklärt Intel überraschend deutlich, dass bewusst keine größeren NPUs verbaut werden, da auf dem Desktop zunächst die Leistung pro CPU-Kern wichtiger sei und man dafür keinen Platz verschenken wolle (auf der IFA 2024 Ende August klang das von Intel noch ganz anders).

back-to-topDie neue Realität


Eine neue Technologie und Software, die den Alltag immer mehr verändert bzw. bestimmt, wird nicht verbaut, weil Intel sie für nicht wichtig genug hält?

Das ist in der Tat etwas unverständlich, da Intel mit dem Core Ultra 200V im Ultra Mobile Bereich bereits eine NPU mit 48 TOPS im Portfolio hat. Abgesehen von der Mobilität sehe ich keinen großen Unterschied zwischen einem Notebook und einem Desktop.

Meiner Meinung nach geht Intel damit völlig an der Realität vorbei. Ein Beispiel: Letzte Woche gab es ein Update einer bekannten Entwickler-IDE, die nun eine lokale AI laufen lässt, damit diese den Code für den Anwender besser und automatisch vervollständigen kann. Ohne NPU ist das kaum möglich.

Schauen wir uns allgemeine Software an, bei der man nicht direkt an AI denkt: Moderne Antiviren-Softwarelösungen setzen auf lokale AI-Funktionen, um Bedrohungen besser erkennen zu können. Auch moderne Bildbearbeitungssoftware oder Übersetzungsprogramme nutzen bereits lokale AI-Funktionen. Und so weiter.

back-to-topReduzierte Grafikunterstützung und kein Hyper-Threading mehr


Ähnlich katastrophal sieht es bei der Grafikunterstützung des Core Ultra 200S aus. Diese ist auf dem Niveau des Vorgängers und wirklich nur für den Desktop nutzbar. Dass es auch anders geht, hatte Intel eigentlich mit dem Ultra-Mobile Core Ultra 200V bzw. Core Ultra 200H gezeigt, wo eine schnelle interne Grafik verbaut war (8 Kerne „Xe2" bzw. 8 Kerne „Xe XMX"). Der neue Core Ultra 200S hat nur 4 Kerne der „Xe"-Generation des Vorgängers. Was für eine Enttäuschung.

Intel empfiehlt den Einbau einer separaten Grafikkarte. Aber nicht jeder, schon gar nicht die Firmen, werden in jeden Desktop für ihre Mitarbeiter eine separate Grafikkarte einbauen. Das wird die Minderheit sein. Vielleicht sollte Intel noch einmal über seine Zielgruppe bei Desktops nachdenken.

Fraglich ist auch, warum die neue CPU im Gegensatz zu AMD-Produkten kein Hyper-Threading mehr unterstützt.

back-to-topAI, eine grundlegende Schlüsseltechnologie


Zusammenfassend haben wir mit AI eine grundlegend neue Schlüsseltechnologie, die mit hoher Wahrscheinlichkeit den Markt, die Programme und das Leben in den nächsten Jahren komplett verändern wird.

Und welche NPU ist dafür zu klein und zu leistungsschwach: Intels brandneue Core Ultra 200S CPU. Glückwunsch an Intel.

Damit sind die neuen AI Features von Microsoft schon mal außen vor und ob die Leistung von 13 TOPS für kleine lokale AI Software ausreicht, wird sich zeigen. Microsoft und Apple glauben das jedenfalls nicht.

Angesichts dieser Situation stellt sich die Frage: Ist es für Privatpersonen oder Unternehmen ratsam, in einen Rechner mit der neuen Core Ultra 200S CPU zu investieren, wenn diese absehbar nur eingeschränkte Zukunftstechnologien unterstützt und der Hersteller die Bedeutung der AI-Unterstützung unterschätzt?

An wen richtet sich diese CPU? Richtet sie sich in erster Linie an Hardcore-Gamer, die wenig Interesse an zukünftigen KI-Entwicklungen haben? Auch in diesem Bereich könnte sich früher oder später herausstellen, dass beispielsweise ein Virenscanner mit lokaler KI-Funktionalität ohne NPU deutlich langsamer arbeitet.

back-to-topEtwas Positives


Damit ich auch etwas Positives schreiben kann, muss man der neuen CPU zugute halten, dass sie endlich stromsparend arbeitet. Das kann die Konkurrenz zwar schon länger, aber nach dem letzten instabilen Core-Prozessor-Desaster war das irgendwie wichtig.

back-to-topEin Flop


Für mich persönlich ist die neue CPU ein Flop, zu wenig NPU-Leistung, zu wenig Interesse von Intel an neuen Möglichkeiten. Entweder haben sie es technisch nicht hinbekommen oder sie sollten ihre Marketingabteilung überdenken. Wie kann man eine CPU so am Markt vorbei entwickeln? Apple, Microsoft, ARM und Co. haben das doch auch erkannt. Intel sieht den Wald vor lauter Bäumen nicht mehr und hat zu lange an alten Mustern festgehalten.

"AI everywhere" sollte sich anders anfühlen.

back-to-topP.S.


An all die Hardware-Seiten und Redakteure, denen es nicht mehr auffällt, Intel-Pressemitteilungen unkritisch zu übernehmen oder sich in technischen Details zu verlieren. Man darf auch große Firmen wie Intel und ihre Produkte kritisch hinterfragen. Ja, eine kritische Haltung könnte den bevorzugten Zugang zu künftigen Produktvorstellungen gefährden. Doch ist das wichtiger als die journalistische Integrität?

Lasst uns mutig sein und ganzheitlich über Technologie berichten – unabhängig von möglichen Konsequenzen. Nur so bieten wir den Lesern echten Mehrwert.

NPU und AI sind neue wichtige Schlüsseltechnologien und wer nicht dabei ist, verpasst den Anschluss. Disruption macht auch vor ehemals großen Technologiekonzernen nicht halt.

Gruß
Frank

P.S. Wer will kann den Beitrag auch über Medium.com lesen

Content-ID: 668722

Url: https://administrator.de/imho/intel-hat-es-wieder-verbockt-core-ultra-200s-668722.html

Ausgedruckt am: 23.12.2024 um 08:12 Uhr

150704
150704 12.10.2024 aktualisiert um 10:12:01 Uhr
Goto Top
Das 200 und S erinnert mich an eine Automarke 🤪. Intel ist inzwischen das Mercedes der IT Branche, man verkauft den Leuten alten Ramsch in neuem Gewand, baut dafür Dinge aus um sie dann später wieder als neue Features zurück zu bringen, und dann auch noch teurer zu verkaufen.
Lochkartenstanzer
Lochkartenstanzer 12.10.2024 aktualisiert um 09:04:27 Uhr
Goto Top
Zitat von @Frank:

NPU und AI sind neue wichtige Technologien und wer nicht dabei ist, verpasst den Anschluss. Disruption macht auch vor ehemals großen Technologiekonzernen nicht halt.


Du meinst Marketing-Hypes oder einfach gesagt, die aktuelle Sau, die gerade durchs Dorf getrieben wird.

Daß die Redakteure alle momentan "begeistert" schreiben ist auch nichts neues, die müssen "News" generieren, weil ansonsten die Auflagen/Klickraten zurückgehen. Man muß halt die Artikel halt entsprechend "filtern" und das für einen selbst wichtige herauslesen.

lks

PS: Kleine Schritte sind manchmal für die Entwicklung besser als ein großer Sprung. face-smile
MysticFoxDE
MysticFoxDE 12.10.2024 aktualisiert um 09:03:07 Uhr
Goto Top
Moin @Frank,

ich lese schon lange nicht mehr genau was der Vertrieb oder das Marketing über irgendwelche Technik schreibt und oder was die Redakteure dann davon abkupfern, weil das meiner Ansicht und Erfahrung nach, heutzutage leider meist nur noch oberflächliches Blink-Blink-Blabla ist.

Daher schaue ich mir die Daten für z.B. die Intel CPU's meist über Ark an ...

https://ark.intel.com/content/www/us/en/ark/products/series/241071/intel ...

... denn dort sind nur die technischen Details aufgelistet und zwar meist ohne jegliches Marketing- oder Vertriebs-Blabla, was für meiner Person zumindest, sehr nervenschonend ist.


Fraglich ist auch, warum die neue CPU im Gegensatz zu AMD-Produkten kein Hyper-Threading mehr unterstützt.

Das kann ich dir verraten und zwar haben die neuen Intel-CPU's durch die Bank nun auch E-Cores verbaut, die deutlich mehr Leistung bringen, wie jeder zusätzliche Scheduler eines P-Kerns.

Ich habe schon vor längerem mit den 12000er einen ausführlichen Test gemacht, bei dem ich z.B. die Verarbeitung der Netzwerkkarten-Daten fix auf die E-Kerne umgebogen habe, die mit dieser Arbeit übrigens fast genau so gut zurecht gekommen sind wie die P-Kerne. Das hatte zu folge, das die Performance der potenteren P-Kerne, dann auch überwiegend den lokal laufenden Anwendungen zur Verfügung stand und nicht mehr durch die NIC's mit aufgefressen wurde.

Leider muss man um sowas zu erreichen, sprich um die Vorteile der neuen CPU's auch richtig auszunutzen, auch selber viel Hand anlegen, weil Windows das selbst leider nicht wirklich gut auf die Reihe bekommt und der Pinguin ist da sicherlich auch nicht viel besser. 😔

Zusammenfassend haben wir mit AI eine grundlegend neue Schlüsseltechnologie, die mit hoher Wahrscheinlichkeit den Markt, die Programme und das Leben in den nächsten Jahren komplett verändern wird.

Momentan sehe ich davon noch gar nichts, im Gegenteil, das was ich bisher von KI gesehen habe, hatte mit Intelligenz meistens nicht wirklich viel zu tun.

Ich habe erst dem Letzt die Freude gehabt ein quasi durch KI sich selbst optimierendes SAN, sprich, ein HPE Alletra MP zu testen. Na ja, die Freude bestand ehrlich gesagt eher darin, zu sehen wie es von einem anderen, mehr als 6 Jahre alten AllFlash SAN, bei den meisten Testdisziplinen dem Erdboden gleich gemacht wurde. 🙃

Damit sind die neuen AI Features von Microsoft schon mal außen vor und ob die Leistung von 13 TOPS für kleine lokale AI Software ausreicht, wird sich zeigen. Microsoft und Apple glauben das jedenfalls nicht.

Frank, bist du dir wirklich sicher, dass du die neunen AI-Features, insbesondere die von MS, auch wirklich haben/aktivieren möchtest?

NPU und AI sind neue wichtige Schlüsseltechnologien und wer nicht dabei ist, verpasst den Anschluss. Disruption macht auch vor ehemals großen Technologiekonzernen nicht halt.

Ich persönlich sehe die Sache eher wie Elliott.
https://www.investmentweek.com/elliott-management-warnt-vor-ai-blase-ske ...

Gruss Alex
Frank
Frank 12.10.2024 aktualisiert um 14:26:22 Uhr
Goto Top
Du meinst Marketing-Hypes oder einfach gesagt, die aktuelle Sau, die gerade durchs Dorf getrieben wird.

Natürlich gibt es derzeit einen Hype, wie bei jeder neuen Technologie. Aber ich bin fest davon überzeugt, dass AI bleiben wird. Wenn man über den Tellerrand schaut, ist AI schon überall angekommen: In der Biotechnologie, in der Medikamentenentwicklung, der Automobilindustrie, in der Softwareindustrie und so weiter. Die größten Technologieunternehmen investieren Milliarden in AI. Microsoft kauft alte Atomkraftwerke nur für sein AI-Rechenzentrum und macht sie wieder funktionsfähig. Das sind Anzeichen dafür, dass AI unser Leben in Zukunft komplett verändern und hoffentlich verbessern wird. Natürlich gibt es auch Gefahren, wie bei jeder neuen Technologie.

Ich selbst merke das bereits in meinem Alltag: In meiner Entwicklungsumgebung gibt es zwei AI-Einheiten, eine, mit der ich über Fehler sprechen kann und die meinen geschriebenen Code optimiert, und eine zweite, die lokal im Hintergrund läuft und detaillierte Vervollständigungspläne erstellt, während ich meinen Code eingebe. Beide sind sehr nützlich und ich möchte sie nicht mehr missen. Beides sind Large Language Models (LLMs) ähnlich ChatGPT.

AI bedeutet aber nicht nur ChatGPT. AI ist in verschiedenen Formen bereits fester Bestandteil vieler Softwareprogramme, ohne dass der Benutzer dies bemerkt.

Frank, bist du dir wirklich sicher, dass du die neunen AI-Features, insbesondere die von MS, auch wirklich haben/aktivieren möchtest?

Natürlich will ich nicht jedes neue AI-Feature. Ob die von Microsoft sinnvoll und sicher sind, kann ich nicht sagen. Ich arbeite nur mit Mac und Linux. Aber wie immer bei Software kann man sich aussuchen, was man benutzt.

Generell wünsche ich mir vor allem lokale AIs, anstatt alles über das Internet zu machen. Auf diese Weise bleibt der Schutz personenbezogener Daten in der Regel gewahrt. Aber das geht in Zukunft nur, wenn die CPU auch eine NPU hat. Das wird sonst ein Henne-Ei-Problem.

Ich will mir keinen Rechner mit einer brandneuen CPU kaufen, wo ich von vornherein weiß, dass die neueste Technologie nur gebremst und schwach darauf läuft. Die neuen Intel CPUs fallen also aus dem Raster.

Warum die ganzen Hardwareseiten diese Kritik nicht aufgreifen, ist mir ein Rätsel. Alle anderen Hersteller haben leistungsfähige NPUs eingebaut, Intel nicht. Einige Webseiten schreiben überhaupt nichts über die NPU, als ob sie nicht wichtig wäre. Jeder vernünftige Redakteur müsste das erkennen und Intel dafür kritisieren. Man kann doch nicht schreiben, dass die neue CPU ein Hit ist. Dann hat man die letzten zwei Jahre AI Entwicklung wohl verschlafen.

Momentan sehe ich davon noch gar nichts, im Gegenteil, das was ich bisher von AI gesehen habe, hatte mit Intelligenz meistens nicht wirklich viel zu tun.

Ich glaube, du vergleichst die menschliche Intelligenz zu sehr mit der künstlichen Intelligenz. Die Ergebnisse, die heute aus der AI kommen, sind nicht vorberechnet, sie sind das Ergebnis einer Wahrscheinlichkeitsrechnung, die sich immer mehr an 100% annähert. Derzeit liegen wir bei ca. 90% Genauigkeit je nach Aufgabe und Modell. Genau das ist aus meiner und der wissenschaftlichen Sicht künstliche Intelligenz. Das interne Konzept der neuronalen Netze ähnelt dem menschlichen, ist aber ein künstlicher Nachbau. Sie funktionieren auf einer viel abstrakteren Ebene als biologische Neuronen. Die Ergebnisse sind aber schon erstaunlich gut und meistens richtig. Und sie werden mit jeder Generation genauer. Aktuell hat die AI aber noch Schwierigkeiten mit Transferlernen oder echtem Verständnis im menschlichen Sinne.

Ich wollte jetzt auch nicht auf die AI selbst eingehen, das können wir gerne in einem eigenen Beitrag machen. Für Nutzer der kommenden Intel CPU spielt sie eh keine große Rolle 😈

Gruß
Frank
HansDampf06
HansDampf06 12.10.2024 um 17:40:21 Uhr
Goto Top
Zitat von @Frank:
... vergleichst die menschliche Intelligenz ... mit der künstlichen Intelligenz
@Lochkartenstanzer und @MysticFoxDE haben insoweit mit ihren Zweifeln Recht, weil in der "Propaganda", die uns tagtäglich umschwirrt, genau eine solche Gleichsetzung suggeriert wird / werden soll. Und ich wage zu behaupten, dass viele das ganz unbedarft so verstehen: eine Art neue Wunder-/Zaubertechnologie, die plötzlich allmächtig daherkommt und dann wohl auch Berge versetzen kann.

Die Ergebnisse, die heute aus der AI kommen, sind nicht vorberechnet
Das erscheint mir ein großer Trugschluss zu sein, insbesondere wenn diese
das Ergebnis einer Wahrscheinlichkeitsrechnung, die sich immer mer an 100% annähert
sein sollen, wie Du ausführst. Wahrscheinlichkeitsrechnung ist pure Mathematik und Rechenleistung auf der Grundlage einer mehr oder weniger großen Datenbasis (z.B. Gauß lässt grüßen).
Genau das ist aus meiner und der wissenschaftlichen Sicht künstliche Intelligenz
Also bei sachgerechter Betrachtung unter dem Strich nichts anderes als ein BerechnungsALGORITHMUS. Und deswegen stimmt die Aussage
ein künstlicher Nachbau. Sie funktionieren auf einer viel abstrakteren Ebene als biologische Neuronen
weil es die mathematische Abstraktheit der Wahrscheinlichkeitsrechnung ist und bleibt.

Aktuell hat die AI aber noch Schwierigkeiten mit Transferlernen oder echtem Verständnis im menschlichen Sinne.
Das verwundert auch nicht, weil das nämlich ECHTE WISSENSVERARBEITUNG wäre und nicht nur ein mit mathematischen Wahrscheinlichkeitsformeln vollgestopfter Algorithmus. Und den springenden Punkt der menschlichen Neuronen, nämlich erworbenes Wissen auf ganz andere Anwendungsfälle adaptieren zu können, lässt sich eben wohl eher nicht (allein) mit Wahrscheinlichkeitsrechnung abbilden, wenn überhaupt mit mathematischen Formeln. Jedenfalls gibt es heutzutage in dieser Hinsicht noch keinen formelbasierten Durchbruch, um dies edv-technisch abbilden zu können.

Und wenn ich mir vor diesem Hintergrund die TOPS-Fähigkeiten/-Anforderungen auf der Zunge zergehen lasse, unterstreicht das, was Wahrscheinlichkeitsrechnung ist und bleiben wird: Abarbeitung eines mehr oder weniger komplexen Algorithmus. Dann stellt sich in der Tat die berechtigte Frage, die Du schon aufgeworfen hast: Wer ist betreffend die neue CPU die avisierte Zielgruppe aus Sicht von Intel oder handelt es sich vielleicht "nur" um ein "Zwischenprodukt", dass dem Verlust von Marktanteilen für eine bestimmte Dauer entgegenwirken soll, um in der Zwischenzeit den verlorenen Anschluss mit einem dann besseren Produkt wieder ausbügeln zu können. Wir wissen es nicht. Die vielen kritikfreien Lobeshymnen dienen jedenfalls erkennbar der zielgerichteten Marktbearbeitung zugunsten von Intel und der Ankurbelung seines Umsatzes - irgendwie eine Win-Win-Situation für Intel und die Redakteure gleichermaßen. Fakt ist und bleibt aber, dass möglicherweise der Ottonormalbürger auch dann mit einer solchen CPU durchaus ganz gut bedient sein könnte, wenn für ihn die AI-TOPS etwas weniger perfomant sind. Die von ihm verwendete Software muss das ja aus seiner Anwendersicht auch leistungskritisch ausschöpfen können. Und genau das ist das große Fragezeichen.

Überdiese sollte man in dieser Hinsicht im Hinterkopf behalten: Die IT-Industrie betreibt seit Jahrzehnten ein Ping-Pong-Spiel, um immer wieder zu einem kurzfristigen Austausch der Hard- und/oder Softwarebasis zu animieren, weil das Vorhandene angeblich nicht mehr ausreichend sein soll.

Viele Grüße
HansDampf06
ukulele-7
ukulele-7 14.10.2024 um 08:56:15 Uhr
Goto Top
Also mal ganz abgesehen von der Frage wie tiefgreifend AI wirklich ein sinnvoller Bestandteil unseres Alltags wird oder werden kann muss ich gestehen das ich noch nie eine Software-Funktion kennen gelernt habe die auf dem Client AI Berechnungen durchführt. Ich sage nicht, das es sowas nicht gibt oder geben wird aber was war denn vor AI der Hype? - Die Cloud - SaaS um genau zu sein. Bei Virenscannern mag es vielleicht sinnvolle Ansätze geben Dinge lokal schneller zu analysieren aber dieser Ansatz lokal ist doch irgendwie völlig abhanden gekommen. Viele Sicherheitsanbieter haben die Analyse auch eher in der Cloud laufen, allein schon weil es dort Big Data über viele Kunden gibt.

Also ja, AI im Desktop kann vielleicht irgendwem nutzen aber ich bin auch eher skeptisch was den Nutzen angeht. Vielleicht wird ja die Civilization KI endlich besser face-smile

PS: Ich erinnere mich an dieses Video:
https://www.youtube.com/watch?v=nJQulJ_gBjo
Um Minute 13 herum wird auch von Intel mit einer Desktop AI Strategie geworben.
Frank
Frank 20.10.2024 aktualisiert um 04:22:51 Uhr
Goto Top
Update:

AMD hat es verstanden und entsprechende Modelle geliefert:
Ryzen AI Pro 300 und Ryzen AI Max 300

Siehe dazu auch:
Bestätigung im Chipsatztreiber: AMD Strix Halo mit dicker GPU kommt als Ryzen AI Max 300

Alle CPUs haben zwischen 50 und 55 TOPS. Schnelle CPU, schnelle NPU und sogar eine sehr schnelle GPU. Danke AMD.

D.O.A. Intel Core Ultra 200S face-wink

Gruß
Frank
Frank
Frank 20.10.2024 aktualisiert um 04:30:49 Uhr
Goto Top
Also mal ganz abgesehen von der Frage wie tiefgreifend AI wirklich ein sinnvoller Bestandteil unseres Alltags wird oder werden kann muss ich gestehen das ich noch nie eine Software-Funktion kennen gelernt habe die auf dem Client AI Berechnungen durchführt.

Wirklich? Jedes iPhone oder jeder Apple Rechner mit M-CPU macht das täglich mit vielen Standardprogrammen: Foto, Vorschau, demnächst Mail etc. Alle Apps machen das mit Hilfe der NPU in Apples CPUs. Im Windows 11 Bereich die Copilot-PCs für Backup, Bildbearbeitung, Spiele, Virenscanner etc. Nicht in der Zukunft, sondern jetzt.

AI bedeutet nicht immer ChatGPT. Um eine AI zu starten, braucht man eine Laufzeitumgebung und ein Sprachmodell. Der Benutzer muss davon nichts merken. In Apple Photo wird damit z.B. das Ausschneiden eines Objektes aus einem Bild realisiert. In der Vorschau App die Texterkennung bzw. Übersetzung von Text in Bildern, PDFs etc.
Das sind alltägliche Dinge, in denen AI schon längst steckt.

Lokale AI mit Ollama

Um eine eigene AI auf einem Standard-PC (Linux, Windows, MacOS) zu starten braucht es ca. 2 Zeilen Powershell, Bash oder ZSH Code: Ein Befehl um Ollama zu installieren, ein Befehl um das gewünschte OpenSource Sprachmodell zu installieren. Fertig, du kannst sofort mit deiner lokalen AI chatten.

Stand der Dinge

Es gibt kleine Sprachmodelle von 1B bis 9B Parameter, die ohne Probleme auf Standardhardware laufen und schon einiges können (Meta's Llama, Microsofts phi, Mistral usw.). Die Modelle sind zwischen 1 und 10 GB groß und unterschiedlich schnell. Wenn man eine schnelle NPU oder GPU hat, werden die Vektorberechnungen in diesen Einheiten durchgeführt. Ansonsten wird die CPU verwendet, was deutlich langsamer ist. Große Firmen wie Meta und Microsoft haben diese kleinen KIs speziell für die lokalen Betrieb entwickelt. Sie sind darauf optimiert.

Es wird nicht mehr lange dauern und die kleinen lokalen AI werden ihren Weg in Spiele und fast alle wichtigen Anwendungen wie Mail, Teams, Übersetzer, Steuersoftware etc. finden. Überall dort, wo ein Assistent Sinn macht.

Da will man doch eine lokale AI und kein ChatGPT, um seine persönlichen Daten zu schützen.

Hat man dann eine schwache CPU ohne oder mit kleiner NPU und auch keine leistungsfähige GPU, werden es die Nutzer schnell merken.

Fast jeder Entwickler, den ich kenne, arbeitet daran, eine lokale AI oder ChatGPT in sein Produkt zu integrieren.
Wir arbeiten auch an einer lokalen AI. Ich hoffe, dass wir hier bald etwas Hilfe beim Erstellen von Beiträgen durch unseren lokalen KI-Assistenten haben werden (oder für Übersetzungen).

Sorry, aber wer immer noch glaubt, dass AI nur ein Hype ist oder dass man AI weder braucht noch nutzen wird, der hat den Startschuss nicht gehört. Nicht, dass ich das in allen Bereichen gut finde, aber die Welle wird uns alle überrollen. Wake up Neo.

Gruß Frank
MysticFoxDE
MysticFoxDE 20.10.2024 aktualisiert um 08:04:05 Uhr
Goto Top
Moin @Frank,

Wirklich? Jedes iPhone oder jeder Apple Rechner mit M-CPU macht das täglich mit vielen Standardprogrammen: Foto, Vorschau, demnächst Mail etc. Alle Apps machen das mit Hilfe der NPU in Apples CPUs. Im Windows 11 Bereich die Copilot-PCs für Backup, Bildbearbeitung, Spiele, Virenscanner etc. Nicht in der Zukunft, sondern jetzt.

das meiste was du gerade aufgezählt hast läuft eben nicht auf einer lokalen NPU, sondern wird in den Rechenzentren der entsprechenden Rechenzentren verarbeitet. Trenn mal bei einem solchen Gerät die Internetverbindung und versuch dann irgendeine KI/AI Funktion zu nutzen, dann siehst du selber ganz schnell, wie sehr die entsprechenden Hersteller heutzutage die lokale NPU wirklich nutzen.

Ich habe nämlich auch so ein KI-Smartphone (S24 Ultra) und sobald ich bei diesem den Flugmodus aktiviere, sind so gut wie alle KI Funktionen nicht mehr verfügbar. 😔

Dasselbe gilt auch für Microsofts Büroklammer-AI.
Und was deren das Recall angeht ... 😱 ... ne, das möchte ich auf meinem Rechner ganz sicher nicht haben.
Um genau zu sein, das darf ich Recall auf meinem Rechner schon rein rechtlich auf keinen Fall benutzen, da ich ständig Remote auf anderen Systemen bin und auch oft mit sehr sensiblen Daten hantiere, die auf keinen Fall in irgend einer Weise aufgezeichnet werden dürfen, weil Geheimhaltungspflicht und oder DSGVO oder ähnliche Dinge.

Das sind alltägliche Dinge, in denen AI schon längst steckt.

Frank, sei mir bitte nicht böse, aber ich kann dieses ganze AI/KI Zeugs, bald nicht mehr hören.
Denn stand heute habe ich, vor allem was "Intelligenz" angeht, noch nichts davon wirklich in irgend einem Gerät gesehen, maschinelles Lernen ja, intelligentes, sprich, selbstständiges lernen jedoch ganz sicher nicht, zumindest nicht nach meinem Verständnis von Intelligenz.

Und was wirklich oft hinter den heutigen KI's steckt, kann man z.B. in dem folgenden Artikel nachlesen ...

https://netzpolitik.org/2024/von-wegen-kuenstliche-intelligenz-indische- ...

... 😔


Sorry, aber wer immer noch glaubt, dass AI nur ein Hype ist oder dass man AI weder braucht noch nutzen wird, der hat den Startschuss nicht gehört.

Also was mich angeht, doch den habe ich schon gehört, ich muss jedoch nicht an jedem Lauf teilnehmen,
da es meiner Ansicht nach aktuell viel dringendere Probleme zu lösen gibt, wie z.B. das mit dem mittlerweile absolut katastrophalem Fachkräftemangel. 😭

Nicht, dass ich das in allen Bereichen gut finde, aber die Welle wird uns alle überrollen.

Das Fell wird aber nur dann nass, wenn man sich unterhalb einer Welle befindet, darüber bleibt es meist etwas trockener. 😉

Und nein, ich bin eigentlich kein AI/KI Gegner, aber das was uns heutzutage insbesondere vom Marketing und dem Vertrieb heute schon alles als KI/AI angedreht wird, finde ich persönlich einfach nur sehr traurig und vor allem datenschutztechnisch auch sehr sehr grenzwertig. 😔

Gruss Alex
Frank
Frank 20.10.2024, aktualisiert am 21.10.2024 um 01:14:03 Uhr
Goto Top
Hi,

Danke für die Kommentare face-smile

Beim Thema KI werden selbst IT-Profis emotional. Bleiben wir aber bei den Fakten:

  • Ohne NPU funktionieren lokale KI-Modelle zwar, aber sehr langsam. Mit leistungsfähiger NPU um ein Vielfaches schneller.
  • AI Modelle wie ChatGPT, Claude, Gemini, etc. sind nicht gleichzusetzen mit einer lokalen AI. Technisch ähnlich, aber diese Modelle laufen über eine Remote-API und das Internet, die lokale KI überträgt in der Regel keine Daten über das Internet.
  • Lokale AI Modelle verstoßen nicht gegen Datenschutz, DSGVO, etc. und schützen weiterhin die Privatsphäre des Nutzers, da sie lokal laufen. Es ist wichtig, dies zu erkennen. Das unterscheidet sie von den KI-Anbietern mit Remote API.
  • KI-Modelle, die über eine API im Internet gesteuert werden, schützen in der Regel nicht die Privatsphäre des Nutzers, da sie im Internet laufen und niemand genau weiß, welche Daten sie abgreifen.
  • Schaltet man ein Apple iPhone in den Flugmodus, laufen Apps mit lokalen AI Modellen weiter und man hat die gleichen Funktionen wie ohne Flugmodus. Eine NPU ist seit dem iPhone X Standard. Auf dem Mac funktioniert es genauso. Keine Ahnung wie sich Android Geräte verhalten, aber auf Apple Geräten habe ich bisher keine Einschränkungen wenn ich das Internet ausschalte. Die KI läuft ja lokal.
  • In jedem Betriebssystem (Windows, Linux, Mac) gibt es derzeit einen Such-Daemon, der im Hintergrund läuft und Dateien indexiert. Microsoft will nun nach eigenen Angaben diesen Such-Daemon mit dem lokalen KI-Daemon verbinden - und nicht über eine Remote-API über das Internet. Sie verwenden dazu ihr angepasstes PHI 3.5 Sprachmodell und nennen das "Recall". Technisch sehe ich zunächst keinen Grund, warum der Datenschutz nicht eingehalten werden kann. Die KI läuft lokal und wenn Microsoft sich an seine Aussage hält, keine zusätzlichen Daten zu übertragen, sehe ich da auch keine Datenschutzbedenken. Es ist einfach ein weiterer Daemon, der lokal neben dem Suchindexer läuft und mir als Assistent dient. Die ganze Panikmache ist jedenfalls nicht technischer Natur und kann leicht überprüft werden. Apple macht das übrigens genauso.
  • Wer die DSGVO einhalten will und Datenschutzbedenken hat, sollte ohnehin keine aktuellen Microsoft-Produkte wie Windows 11 oder Office 365 verwenden. Diese übertragen laut Microsoft Metadaten. Linux ist eine gute Alternative.
  • Künstliche Intelligenz ist nicht gleich menschliche Intelligenz. Dieses Thema hatten wir bereits weiter oben in den Kommentaren. Die Ergebnisse, die heute aus der KI kommen, sind nicht vorberechnet, sie sind das Ergebnis einer Wahrscheinlichkeitsrechnung, die sich immer mehr an 100% annähert. Derzeit liegen wir je nach Aufgabe und Modell bei ca. 90% Genauigkeit. Genau das ist aus wissenschaftlicher Sicht "künstliche Intelligenz". Das interne Konzept neuronaler Netze ähnelt dem des menschlichen Gehirns, ist aber künstlich nachgebildet. Sie arbeiten auf einer viel abstrakteren Ebene als biologische Neuronen. Aber die Ergebnisse sind bereits erstaunlich gut und meistens richtig. Und sie werden mit jeder Generation präziser. Mit Transferlernen oder echtem Verstehen im menschlichen Sinne tut sich die KI derzeit noch schwer. Aber es ist eine Art von Intelligenz - künstliche Intelligenz.
  • Eine große Welle überschwemmt einfach alles, was sich ihr in den Weg stellt. Ihr zu entkommen, wird kaum möglich sein. Wahrscheinlich werden alle nass.

Und nein, ich bin eigentlich kein AI/KI Gegner, aber das was uns heutzutage insbesondere vom Marketing und dem Vertrieb heute schon alles als KI/AI angedreht wird, finde ich persönlich einfach nur sehr traurig und vor allem datenschutztechnisch auch sehr sehr grenzwertig.

Das ist ja das Schöne an lokaler KI, der Datenschutz ist wie bei jedem anderen lokalen Daemon im System gewährleistet. Ohne einen Beweis, dass die Firmen da heimlich was verschicken (was für uns Admins leicht zu testen ist), sollten wir uns an den Fakten und nicht an der allgemeinen Panikmache beteiligen.

Die Cloud wird auch als gefährlich angesehen (was wenn ein Clouddienst gehackt wird etc.). Trotzdem nutzen die meisten Unternehmen sie. Genauso wird es mit KI sein.

Generell wünsche ich mir vor allem lokale KIs, anstatt alles über das Internet zu machen. Nur so ist der Schutz personenbezogener Daten in der Regel gewährleistet. Aber das wird in Zukunft nur möglich sein, wenn die CPU auch eine leistungsstarke NPU hat. Genau deshalb habe ich diesen Beitrag geschrieben, weil Intel uns mit einem halbgaren Produkt vergackeiern will. AMD (siehe vorheriger Kommentar) hat es besser gemacht.

Gruß
Frank
HansDampf06
HansDampf06 21.10.2024 um 13:32:10 Uhr
Goto Top
Ich glaube, dass das Thema KI eines ist, bei dem ganz viel in einen Topf geworfen wird, so dass es schwer fällt, "propagandistisches" Blendwerk von wirklich interessanten Aspekten zu unterscheiden. Ein weiterer Umstand ist, dass hier der Begriff "KI" in einer gewissen Weise "missbraucht", um auf dem Trittbrett anderer mitzufahren.

Aber lasst uns das einmal sachlich etwas auseinanderdefinieren:

NPU - Das ist eine besondere Recheneinheit, die dazu gedacht ist, spezielle Rechenaufgaben sehr schnell zu erledigen. Das kennen wir ja bereits von speziellen Einheiten für Fließkomma, Verschlüsselung, Grafik etc. Denn wir wissen, dass dann, wenn es solche hartverdrahteten Einheiten nicht gibt, dies durch die Zentraleinheit in der Form der Abarbeitung von Softcode erledigt werden muss. Eine solche Abarbeitung benötigt eben wesentlich mehr Taktzyklen, was in der Natur einer solchen Abarbeitung liegt.

Somit wissen wir auch, was ja @MysticFoxDE bereits ausdrücklich proklamiert hat und was @Frank für bestimmte Anwendungen in Anspruch nimmt, dass eine solche spezielle Einheit nur dann einen Sinn macht, wenn die Software davon hinreichenden Gebrauch macht.
Hierdurch wird klar, dass nicht jede Aufgabe mit einer solchen speziellen Einheit erledigt werden kann, weil nicht jede Aufgabe dazu geeignet bzw. darauf angewiesen ist, eine solche spezielle Einheit zu nutzen.

Diese beiden - wahrlich keine neuen - Erkenntnisse unterstreichen, dass eine NPU im Falle einer Remote-AI kaum eine Rolle spielen wird, weil die eigentliche Rechenleistung remote erfolgt.

Hierdurch steht weiters selbstredend fest, dass eine Anwendung, die die NPU-Einheit nutzt, um so schneller ausgeführt werden könnte, um so mehr Berechnungsdurchläufe diese NPU-Einheit pro Zeiteinheit liefern kann. Das hängt aber nicht allein von der Leistungsfähigkeit dieser NPU-Einheit selbst ab, sondern auch davon, welchen Anteil die NPU-Nutzung an den Gesamtarbeitsschritten dieser Anwendung hat und in welchem Wechselspiel die NPU-Nutzung zu der sonstigen CPU-Nutzung steht.

Diese vier Punkte dürften meinem Verständnis nach gar nicht im Dissens sein.

Was eher im Dissens liegt, ist die Frage, ob es gerechtfertigt ist, etwas als KI zu bezeichnen, obschon es eigentlich eine stinknormale Programmierung ist. Wird diese Bezeichnung schon dann verdient, wenn eine Software, die eigentlich mit eins, zwei, drei mathematischen Formeln die Arbeitsaufgabe sicher und hinreichend erledigen kann, plötzlich mit einem Datenmonster aufgebläht wird, um dann natürlich bei der Verarbeitung ganz viel "Zinnober" zu veranstalten, wobei dieser Zinnober nur dann angemessen abgearbeitet werden kann, wenn eine NPU-Einheit zur Verfügung steht. Ansonsten würde dem bisherigen Nutzer mit diesem Zinnober kein Mehrwert vorgegaukelt werden können, was auf den Umsatz auswirken würde.
Das gilt umso mehr, als bestimmte Arbeitsaufgaben vor zehn Jahren und davor auch schon mit Bravour erledigt wurden, obschon der betreffenden Software von der Werbeabteilung noch nicht das KI-Siegel aufgedrückt wurde. Denn beispielsweise das Herauslösen eines Objekts aus einem Bild war damals schon längst höchst professionell machbar.

Und ich glaube, @MysticFoxDE mit seiner Kritik, die im Wesentlichen auch meine ist, genau dahingehend verstehen zu können.
Zugleich hat @Frank mit seiner positiven Befürwortung nicht völlig Unrecht, weil es durchaus denkbar ist, dass sich gewisse Aufgaben besser erledigen lassen könn(t)en, wenn die Datenbasis erweitert wird und dies folglich umfangreichere Berechnungen erfordert. Unbestreitbar ist daher @Frank insoweit zuzustimmen, dass dann, wenn die App-Anbieter alle auf dieser KI-Welle reiten, wir als Nutzer rein faktisch gezwungen werden, uns die passende Hardware zu besorgen, wollen wir von ungenügender Leistungsfähigkeit nicht frustriert werden.

Viele Grüße
HansDampf06
Lochkartenstanzer
Lochkartenstanzer 21.10.2024 um 15:39:53 Uhr
Goto Top
Zitat von @HansDampf06:

Das gilt umso mehr, als bestimmte Arbeitsaufgaben vor zehn Jahren und davor auch schon mit Bravour erledigt wurden, obschon der betreffenden Software von der Werbeabteilung noch nicht das KI-Siegel aufgedrückt wurde. Denn beispielsweise das Herauslösen eines Objekts aus einem Bild war damals schon längst höchst professionell machbar.

Manche dieser "KI"-Aufgaben konnte man schon mit einem Z80 oder 6502 schon lösen, wenn auch nicht so schnell und "elegant" wie heute.. face-smile

lks
MysticFoxDE
MysticFoxDE 21.10.2024, aktualisiert am 22.10.2024 um 06:26:21 Uhr
Goto Top
Moin @HansDampf06,

Und ich glaube, @MysticFoxDE mit seiner Kritik, die im Wesentlichen auch meine ist, genau dahingehend verstehen zu können.

ja, unsere Kristallkugeln scheinen diesbezüglich wohl sehr synchron zu laufen. 😁

Zugleich hat @Frank mit seiner positiven Befürwortung nicht völlig Unrecht, weil es durchaus denkbar ist, dass sich gewisse Aufgaben besser erledigen lassen könn(t)en, wenn die Datenbasis erweitert wird und dies folglich umfangreichere Berechnungen erfordert.

Ich möchte auch keineswegs abstreiten, dass NPU's für bestimmte Dinge durchaus effizienter sind, aber ...

Unbestreitbar ist daher @Frank insoweit zuzustimmen, dass dann, wenn die App-Anbieter alle auf dieser KI-Welle reiten, wir als Nutzer rein faktisch gezwungen werden, uns die passende Hardware zu besorgen, wollen wir von ungenügender Leistungsfähigkeit nicht frustriert werden.

... wenn ich mir anschaue, wofür z.B. Microsoft eine NPU in ihrem aktuellen Windows benutzt ...

https://support.microsoft.com/de-de/windows/all-about-neural-processing- ...

"It provides lightning-fast, high-bandwidth AI in real time—a great advantage for using voice commands, creating images quickly, and more."

...

https://www.microsoft.com/de-de/windows/copilot-plus-pcs?r=1#npu

... also, für Recall, Cocreator, Liveuntertitel, Studioeffekte, muss ich mich schon auch fragen,
ob Microsoft es tatsächlich bewusst ist, wofür deren Windows von Millionen von Businessanwendern tatsächlich Tag für Tag verwendet wird. 😔

Ich finde aktuell auch keine einzige Ankündigung eines AV-Herstellers, dass dessen Produkte in naher Zukunft eine NPU benutzen würden, auch nicht der Defender von Microsoft.

Daher, solange es für die breite Masse keine wirklich sinnvollen/nützlichen AI/KI Anwendungen gibt, die die lokale NPU nutzen, sehe ich auch keinen Grund aktuell in einen Business-Rechner zwangsweise auch eine NPU einzubauen. Denn wenn die nützlichen Anwendungen wirklich mal soweit sind, bin ich mir sehr sicher, dass die heutigen NPU's dafür dann eh zu unterdimensioniert sind.

Ausserdem gibt es schon jetzt Anzeichen dafür, dass die heutigen AI/KI Modele, mit zunehmendem Alter eher schlechter als besser werden ...

https://www.telepolis.de/features/Was-passiert-wenn-Sie-eine-KI-mit-KI-D ...
https://1e9.community/t/werden-chatgpt-und-co-an-digitalem-rinderwahn-er ...

... weil sie anfangen sich selbst mit den eigenen, zum Teil sehr vergrüzzten Inhalten zu trainieren. 🙃

---

By the way, informiert euch mal darüber wie NPU's, respektive, KI's/AI's schon heute in der Überwachungsbranche und auch beim Militär verwendet werden. 😔

Für den Anfang mal eher was Lustiges ...

https://the-decoder.de/china-oeffentliches-schlafanzug-shaming-dank-gesi ...

"Der Pyjama-Fall sei ein Beispiel dafür, was passiere, wenn leistungsfähige Technologie in die Hände von unqualifizierten, dummen Bürokraten gerate."

... und spätestens ab hier ...

https://www.project-syndicate.org/commentary/china-exports-ai-surveillan ...

https://www.youtube.com/watch?v=OpLLyyqkue4

... ist es glaube ich nicht mehr ganz so lustig. 😔

Gruss Alex
Frank
Frank 05.11.2024 aktualisiert um 00:23:29 Uhr
Goto Top
Hi,
hier bin ich noch eine Antwort schuldig.

@Lochkartenstanzer

Manche dieser "KI"-Aufgaben konnte man schon mit einem Z80 oder 6502 schon lösen, wenn auch nicht so schnell und "elegant" wie heute..

Nein.

Ich habe schon auf einem Z80 entwickelt (Cobol auf einem C128 im CP/M-Modus). KI arbeitet mit Wahrscheinlichkeitsrechnung und nichts davon war in irgendeiner Form auf einem Z80 oder 6502 möglich. Sicherlich spielen zu viele Hersteller unnötig mit dem Werbebegriff KI, aber was KI ist, ist in der Wissenschaft klar definiert. Sobald ein Sprachmodell (LLM) verwendet wird, bezeichnet man dies als Künstliche Intelligenz.

@MysticFoxDE

Ich möchte auch keineswegs abstreiten, dass NPU's für bestimmte Dinge durchaus effizienter sind, aber ...

Die NPU ist nichts anderes als ein weiterer CoProzessor, wie er früher genannt wurde (oder mehrere). Würde man heute noch ein System ohne CoProzessor kaufen, wenn man wüsste, dass in Zukunft fast jede Software diesen nutzen wird?

Nur weil Microsoft ihn nicht sinnvoll nutzt, ist er für viele andere sinnvolle Aufgaben zukünftig sehr wichtig. Das Schicksal der NPU hängt nicht von Microsoft ab, sondern von der Nutzung von lokaler KI auf dem eigenen System. Das gilt auch für Linux-Systeme. Ohne die lokalen NPUs müssen wir uns mit Cloud-KIs abfinden. Ich würde es viel lieber lokal haben.

Ich finde aktuell auch keine einzige Ankündigung eines AV-Herstellers, dass dessen Produkte in naher Zukunft eine NPU benutzen würden, auch nicht der Defender von Microsoft.

Dann hast du etwas verpasst:

Natürlich ist jede Software auch ohne NPU nutzbar, dann aber um ein Vielfaches langsamer. Die Anwender wundern sich doch immer, warum nach der Installation der Antivirensoftware alles so langsam läuft face-wink

Daher, solange es für die breite Masse keine wirklich sinnvollen/nützlichen AI/KI Anwendungen gibt, die die lokale NPU nutzen, sehe ich auch keinen Grund aktuell in einen Business-Rechner zwangsweise auch eine NPU einzubauen. Denn wenn die nützlichen Anwendungen wirklich mal soweit sind, bin ich mir sehr sicher, dass die heutigen NPU's dafür dann eh zu unterdimensioniert sind.

Sorry, da muss ich dir deutlich widersprechen. KI-Software ist längst da, das ist keine Zukunftsmusik mehr. Auch wenn das hier noch viele zu denken scheinen. Jetzt CPUs ohne NPU zu kaufen oder zu verbauen würde ich als großen Fehler (oder fahrlässig, je nach Bereich oder Kunde) ansehen.

Bei Apple laufen heute schon viele Apps über die lokale KI. Ich habe das oben ausführlich beschrieben. Viele benötigen dafür entweder die M1 oder größere CPU und die hat eine NPU mit 38 TOPS. Die neueste M4 CPU will das sogar verdoppeln. Apple ist also schon in der 3. NPU Generation, die sie immer weiter ausbauen, während Intel bei der ersten mit 13 TOPS hängen geblieben ist.

Mein aktuelles und persönliches Beispiel sind die JetBrains IDEs. Diese bieten bereits eine interne lokale KI an. Wenn eine NPU vorhanden ist, läuft das super, ohne musste ich einige Funktionen abschalten, weil das System sonst zu langsam wurde. Das ist sehr ärgerlich, da die neuen KI-Funktionen bei der Entwicklung sehr hilfreich sind. Daher werde ich mir als nächstes entweder die neue AMD Ryzen AI 300 Serie mit 50 TOPS NPU oder einen neuen Mac mit M4 (oder beides) kaufen.

By the way, informiert euch mal darüber wie NPU's, respektive, KI's/AI's schon heute in der Überwachungsbranche und auch beim Militär verwendet werden.

Ja, das ist ein sehr gutes Negativbeispiel und da muss auch etwas getan werden. Das EU-KI-Gesetz ist ein guter Anfang. Aber was hat das mit der mickrigen NPU der Intel CPU zu tun. Ich glaube nicht, dass der Beitrag jetzt alle Vor- und Nachteile von KI abarbeiten kann oder sollte.

Gruß
Frank
MysticFoxDE
MysticFoxDE 05.11.2024 um 06:13:30 Uhr
Goto Top
Moin @Frank,


ich habe mir soeben alle Links durchgesehen und sehe bei keiner einzigen Lösung die Nutzung einer lokalen NPU. Im Gegenteil, bei vielen Produkten ist deutlich zu erkennen, dass diese auf Cloud-KI/AI Diensten basieren.

Mein aktuelles und persönliches Beispiel sind die JetBrains IDEs. Diese bieten bereits eine interne lokale KI an. Wenn eine NPU vorhanden ist, läuft das super, ohne musste ich einige Funktionen abschalten, weil das System sonst zu langsam wurde. Das ist sehr ärgerlich, da die neuen KI-Funktionen bei der Entwicklung sehr hilfreich sind. Daher werde ich mir als nächstes entweder die neue AMD Ryzen AI 300 Serie mit 50 TOPS NPU oder einen neuen Mac mit M4 (oder beides) kaufen.

Und warum holst du dir dann nicht einfach eine entsprechende GPU?
Denn eine NVIDIA RTX 4090, leistet schon bis zu 1321 TOPS. 😉

Ich glaube nicht, dass der Beitrag jetzt alle Vor- und Nachteile von KI abarbeiten kann oder sollte.

Ja, damit hast du natürlich absolut Recht.
Ich wollte dennoch auch mal die Schattenseiten der AI/KI Geschichte erwähnen, weil sowas leider gerne auch mal übersehen wird. 😔

Gruss Alex