Die Ausführung von KI-Workloads, das sogenannte Inferencing, ist sehr rechenintensiv und überfordert viele ältere CPUs (Central Processing Unit). Sie wird deshalb häufig auf die GPU (Graphic Processing Unit) ausgelagert, die eigentlich für die Berechnung von Grafiken und die Videoausgabe zuständig ist. Die zusätzliche Last führt zu mehr Energieverbrauch und Abwärme. Bei Laptops verringert sich dadurch die Akkulaufzeit und die Lüfter springen häufiger an. Um diese Effekte zu vermeiden, lagern viele Softwareanbieter die Berechnung von KI-Funktionen in eine Cloud-Infrastruktur aus. Dazu müssen die Daten jedoch zunächst hochgeladen, dann verarbeitet und die Ergebnisse schließlich wieder an den Computer zurückgeschickt werden, was viel Zeit und Bandbreite kostet. Bei sensiblen Informationen kann die Auslagerung in die Cloud auch ein Datenschutzrisiko darstellen oder gegen Compliance-Vorgaben verstoßen. Hersteller wie Intel und Microsoft arbeiten deshalb an einer neuen Hardware-Plattform, die eine schnelle und energieeffiziente Ausführung von KI-Workloads direkt auf dem Endgerät ermöglicht. Dieses Konzept wird allgemein als „KI-PC“ bezeichnet. Microsoft nennt die für KI optimierten Endgeräte „Copilot+ PC“.
Um den KI-PC Realität werden zu lassen, hat Intel das Chipdesign der Intel Core Prozessoren grundlegend überarbeitet. Die neue, mit den Intel Core Ultra Prozessoren eingeführte „disaggregated“ Chiplet-Architektur ist modular aufgebaut und besteht aus vier sogenannten „Tiles“: Dem CPU-Modul mit zwei verschiedenen Arten von Rechenkernen (Performance Cores und Efficiency Cores), dem Grafikmodul mit den für 3D-Aufgaben optimierten Arc GPUs (Graphic Processing Unit), dem SoC-Tile (System-on-a-Chip), das unter anderem die neuen Low-Power Efficiency Kerne (LP E-Cores) für besonders energieeffizientes Arbeiten enthält, und dem I/O-Modul für zusätzliche Schnittstellen wie Thunderbolt 4.
Mit der Neural Processing Unit (NPU) hält zudem ein neuer Prozessortyp Einzug in das Intel-Chipdesign, der für typische KI-Workloads wie die Echtzeitanalyse und -verarbeitung von Audiosignalen und Bildern, die Erkennung, Verarbeitung und Übersetzung von Sprache oder die Kommunikation mit generativen Chatbots optimiert ist. Die NPU kann diese Workloads wesentlich effizienter ausführen, als es bisher mit CPU (Central Processing Unit) oder GPU (Graphic Processing Unit) allein möglich war. CPU und GPU werden so entlastet, Energieverbrauch und Wärmeentwicklung reduziert. Laut Intel gibt es bereits mehr als 500 KI-Modelle, die für Core Ultra Prozessoren optimiert wurden. Sie sind auf Plattformen wie GitHub, Hugging Face oder dem Open Neural Network Exchange (ONNX) verfügbar. Für das Toolkit OpenVINO (Open Visual Inference and Neural Network Optimization) steht ein Plugin zur Verfügung, das die Nutzung der NPU für das Model Caching und Inferencing ermöglicht.
Der KI-PC in der Praxis
Mehr als 100 ISVs (Independent Software Vendors) arbeiten im KI-PC-Beschleunigungsprogramm daran, die KI-Technologien in der Core Ultra-Plattform optimal zu nutzen. Über 300 Funktionen sind bereits entwickelt oder sind in Planung. Die folgenden Beispiele zeigen, wie Softwareanbieter die KI-Beschleunigungsfunktionen einsetzen und welches Potenzial darin steckt:
- Das optimierte OpenVINO-Toolkit kommt beispielsweise in der Audiobearbeitungssuite Audacity zum Einsatz, um automatisch Transkripte von Sprachaufnahmen zu erstellen, einzelne Instrumente aus einem Musikstück zu isolieren, Audiospuren per Textprompt zu generieren, den Stil bestehender Audiospuren zu verändern oder einen Remix zu erstellen. Die KI-Plugins der Open-Source-Software können lokal auf dem PC des Anwenders ausgeführt werden, was sich positiv auf die Geschwindigkeit auswirkt und den Datenschutz verbessert.
- Der Automobilhersteller BMW hat gemeinsam mit Intel und der Robotron Datenbank-Software GmbH ein Open-Source-Projekt gestartet, das auf Basis des Toolkits OpenVINO die KI-gestützte Objekterkennung auf jedem PC ermöglichen soll. Mit dem NPU-Plugin für OpenVINO ist das Entwicklerteam diesem Ziel einen deutlichen Schritt näher gekommen.
- Vegas Pro, die professionelle Videoproduktionssoftware des deutschen Herstellers MAGIX, nutzt bisher vor allem die GPU für anspruchsvolle Editing-Aufgaben. Da die Suite auf dem OpenVINO Execution Provider for ONNX Runtime basiert, ist sie für die NPU-Nutzung bereits vorbereitet. Mit dem nächsten Release werden sich KI-Features wie die automatische Trennung von Vorder- und Hintergrund, die automatische Generierung von Audiokommentaren, die intelligente Maskierung von Objekten und die smarte Farbkorrektur schneller und energieeffizienter auf der NPU ausführen lassen.
- Luminar Neo von Skylum ist ein Fotobearbeitungsprogramm, das künstliche Intelligenz zur Bildoptimierung einsetzt. Die KI in Luminar Neo kann unter anderem unscharfe Bilder retten, Rauschen reduzieren, bis zu 100 Aufnahmen zu einem Foto mit extremer Tiefenschärfe zusammenfügen, neue Lichtquellen und -stimmungen erzeugen, Fotos extrem vergrößern oder auf Knopfdruck optimieren. Bisher nutzte der Hersteller das Deep-Learning-Framework TensorFlow, um die KI-Funktionen zu modellieren und bereitzustellen. Durch den Umstieg auf OpenVINO konnte die Performance großer KI-Modelle deutlich gesteigert werden. Dank des NPU-Plugins für OpenVINO ist eine Auslagerung von KI-Workloads auf die Neural Processing Unit künftig problemlos möglich.
- Auf der internationalen IT-Messe Computex 2024 hat Samsung Ultrasound ein Ultraschallgerät vorgestellt, das die NPU zur intelligenten Bilderkennung nutzt. Das Gerät kann mithilfe von KI das Herz eines Fötus im Ultraschallbild identifizieren und die Herzschläge messen. Durch die Verlagerung der KI-Workloads von der GPU auf die NPU lässt sich viel Energie sparen, was unter anderem zu weniger Abwärme führt. Das Gerät kommt daher im Vergleich zu Vorgängermodellen mit kleineren Lüftern aus, die seltener anspringen müssen. Es ist daher kompakter, leiser und langlebiger.
- Der Videokonferenzanbieter Zoom hat seine Plattform für den Einsatz der NPU optimiert. KI-gestützte Funktionen wie Hintergrundentfernung, Geräusch- und Echounterdrückung können nun mit deutlich weniger Energieverbrauch ausgeführt werden. Wie effektiv die NPU arbeitet, konnte Intel in einer Demonstration zeigen: Die Berechnung eines unscharfen Hintergrunds in Zoom belastet die NPU kaum. Sie benötigt für den Effekt gerade einmal sieben Prozent ihrer Leistung.
Fazit: Der KI-PC von heute ist erst der Anfang
Hersteller wie Intel liefern mit ihren KI-PC-Plattformen die Basis, um künstliche Intelligenz erlebbar und für den breiten professionellen Einsatz nutzbar zu machen. Die Entwicklung des KI-PCs steht allerdings erst am Anfang und wird sicher nicht auf dem heutigen Niveau stehen bleiben. Intel hat bereits die nächste Prozessorgeneration mit dem Codenamen „Lunar Lake“ angekündigt. Sie soll die KI-Performance mehr als verdreifachen und mehr als 40 TOPS (Tera Operations Per Second) auf der NPU ermöglichen.