NVIDIA kündigte heute Foundation-Modelle an, die lokal auf NVIDIA RTX-AI-PCs laufen und digitale Menschen, Content Creation, Produktivität und die Entwicklung optimieren.
Diese Modelle werden als NVIDIA NIM Microservices angeboten und von den neuen GeForce-RTX™Grafikkarten der 50er Serie mit einer Leistung von bis zu 3.352 Billionen KI-Operationen pro Sekunde und 32 GB VRAM beschleunigt. Basierend auf der NVIDIA-Blackwell-Architektur sind die Grafikprozessoren der RTX50er-Serie die ersten Consumer-Grafikprozessoren mit Unterstützung für FP4-Berechnungen, die die KI-Inferenzleistung um das Zweifache steigern und es ermöglichen, generative KI-Modelle im Vergleich zu Hardware der vorherigen Generation lokal mit geringerem Speicherplatzbedarf auszuführen.
GeForce ist seit langem eine wichtige Plattform für KI-Entwickler. Das erste GPU-beschleunigte DeepLearning-Netzwerk, AlexNet, wurde 2012 auf der GeForce GTX 580 trainiert und im vergangenen Jahr wurde in über 30 % der veröffentlichten KI-Forschungsarbeiten der Einsatz von GeForce RTX erwähnt.
Mit generativer KI und RTX-AI-PCs kann nun jeder ein Entwickler sein. Eine neue Welle von Low-Code- und No-Code-Tools wie AnythingLLM, ComfyUI, Langflow und LM Studio ermöglicht es Enthusiasten, KI-Modelle in komplexen Workflows über einfache grafische Benutzeroberflächen zu nutzen.
NIM-Microservices, die mit diesen GUIs verbunden sind, ermöglichen den mühelosen Zugriff auf die neuesten generativen KI-Modelle und deren Einsatz. NVIDIA AI Blueprints, die auf NIM-Microservices aufbauen, bieten benutzerfreundliche, vorkonfigurierte Referenz-Workflows für digitale Menschen, die Erstellung von Inhalten und mehr.
Um die wachsende Nachfrage von KI-Entwicklern und -Enthusiasten zu bedienen, bringen alle führenden PC-Hersteller und Systementwickler NIM-fähige RTX-AI-PCs mit GeForce-RTX-50er-SerieGrafikprozessoren auf den Markt.
„AI schreitet mit rasanter Geschwindigkeit voran, von Perception AI über generative AI bis hin zu Agentic AI“, erklärt Jensen Huang, Gründer und CEO von NVIDIA. „NIM Microservices und AI Blueprints geben PC-Entwicklern und Enthusiasten die Bausteine, um die Magie der AI zu erforschen.“
Die NIM Microservices sind auch mit NVIDIA Project DIGITS verfügbar, einem persönlichen KISupercomputer, der KI-Forschern, Datenwissenschaftlern und Studenten weltweit Zugang zur Leistung von NVIDIA Grace Blackwell bietet. Project DIGITS ist mit dem neuen NVIDIA-GB10-Grace-BlackwellSuperchip ausgestattet, der eine KI-Rechenleistung von einem Petaflop für das Prototyping, die Feinabstimmung und den Betrieb großer KI-Modelle bietet.
AI NIMble machen
Foundation-Modelle, also neuronale Netze, die auf der Grundlage enormer Datenmengen trainiert werden, sind die Grundbausteine für generative KI.
NVIDIA stellt eine Pipeline von NIM-Microservices für RTX-AI-PCs von Top-Modellentwicklern wie Black Forest Labs, Meta, Mistral und Stability AI vor. Die Anwendungsbereiche umfassen Large Language Models (LLMs), Vision-Sprachmodelle, Bilderzeugung, Sprachverarbeitung, Einbettungsmodelle für Retrieval-Augmented Generation (RAG), PDF-Extraktion und Computer Vision.
„Die GPUs der GeForce-RTX-50er-Serie mit FP4-Rechenleistung werden eine enorme Bandbreite an Modellen erschließen, die auf dem PC laufen können und bisher auf große Rechenzentren beschränkt waren“, sagt Robin Rombach, CEO von Black Forest Labs. „Durch den Einsatz von FLUX als NVIDIA NIMMicroservice kann AI schneller bereitgestellt und von mehr Anwendern genutzt werden, während gleichzeitig eine unglaubliche Leistung geboten wird.“
NVIDIA präsentierte heute auch die Llama-Nemotron-Familie von offenen Modellen, die eine hohe Genauigkeit bei einer breiten Palette von agentenbasierten Aufgaben bieten. Das Llama-NemotronNano-Modell wird als NIM-Microservice für RTX-AI-PCs und -Workstations angeboten und zeichnet sich durch agentenbasierte KI-Aufgaben wie das Befolgen von Anweisungen, das Aufrufen von Funktionen, Chatten, Codieren und Rechnen aus. Entwickler und Enthusiasten können diese NIM-Microservices mit Windows Subsystem for Linux (WSL) schnell herunterladen, einrichten und auf Windows 11-PCs ausführen.
„AI treibt die Innovation auf Windows 11 PCs in rasantem Tempo voran. Windows Subsystem for Linux (WSL) bietet neben Windows Copilot Runtime eine großartige plattformübergreifende Umgebung für die AI-Entwicklung auf Windows 11“, sagt Pavan Davuluri, Corporate Vice President von Windows bei Microsoft. „Die für Windows-PCs optimierten NVIDIA-NIM-Microservices bieten Entwicklern und Enthusiasten sofort integrierbare AI-Modelle für ihre Windows-Apps, was die Bereitstellung von AI-Funktionen für Windows-Nutzer noch weiter beschleunigt.“
Die NIM-Microservices, die auf RTX-AI-PCs laufen, werden mit den führenden KI-Entwicklungs- und Agenten-Frameworks kompatibel sein, darunter AI Toolkit for VSCode, AnythingLLM, ComfyUI, CrewAI, Flowise AI, LangChain, Langflow und LM Studio. Entwickler können Anwendungen und Workflows, die auf diesen Frameworks aufgebaut sind, über branchenübliche Endpunkte mit KI-Modellen verbinden, auf denen NIM-Microservices laufen. So können sie die neueste Technologie mit einer einheitlichen Schnittstelle über die Cloud, Rechenzentren, Workstations und PCs hinweg nutzen.
Enthusiasten werden auch die Möglichkeit haben, eine Reihe von NIM-Microservices mit einer kommenden Version der NVIDIA–ChatRTX–Tech-Demo zu erleben.
KI-Agenten ein Gesicht geben
Um zu demonstrieren, wie Enthusiasten und Entwickler NIM nutzen können, um KI-Agenten und Assistenten zu entwickeln, hat NVIDIA heute eine Vorschau auf Project R2X gezeigt, einen Visionfähigen PC-Avatar, der dem Benutzer Informationen zur Verfügung stellt, bei Desktop-Apps und Videokonferenzen hilft, Dokumente liest und zusammenfasst und vieles mehr.
Der Avatar wird mithilfe von NVIDIA RTX Neural Faces gerendert, einem neuen generativen KIAlgorithmus, der die traditionelle Rasterdarstellung durch vollständig generierte Pixel ergänzt. Das Gesicht wird dann durch ein neues diffusionsbasiertes NVIDIA Audio2Face-3D-Modell animiert, das die Lippen- und Zungenbewegung verbessert. R2X kann über Entwickler-Frameworks wie CrewAI, Flowise AI und Langflow mit Cloud-KI-Diensten wie GPT4o von OpenAI und Grok von xAI sowie mit NIM-Microservices und KI-Blueprints wie PDF-Retrievern oder alternativen LLMs verbunden werden. Melden Sie sich an, um über Projekt R2X auf dem Laufenden zu bleiben.
Die NIM-Microservices umfassen die wichtigsten Komponenten für die Ausführung von KI auf PCs und sind für den Einsatz auf NVIDIA-GPUs optimiert – ob in RTX-PCs und Workstations oder in der Cloud.
Entwickler und Enthusiasten werden in der Lage sein, diese NIM-Microservices schnell herunterzuladen, einzurichten und auf Windows-11-PCs mit Windows Subsystem für Linux (WSL) auszuführen.
AI Blueprints jetzt auch für PC
NIM-Microservices sind auch für PC-Benutzer über AI Blueprints verfügbar. Dabei handelt es sich um Referenz-KI-Workflows, die lokal auf RTX-PCs ausgeführt werden können. Mit diesen Blueprints können Entwickler Podcasts aus PDF-Dokumenten erstellen, beeindruckende Bilder mit 3D-Szenen generieren und vieles mehr.
Der Blueprint für PDF to Podcast extrahiert Text, Bilder und Tabellen aus einem PDF-Dokument, um ein Podcast-Skript zur Bearbeitung durch den Anwender zu erstellen. Aus dem Skript kann auch eine vollständige Audioaufnahme generiert werden, wobei die im Blueprint verfügbaren Stimmen oder ein Stimmprofil des Benutzers verwendet werden. Darüber hinaus können die Nutzer eine EchtzeitKonversation mit dem KI-Podcast-Moderator führen, um mehr über bestimmte Themen zu erfahren.
Der Blueprint nutzt NIM-Microservices wie Mistral-Nemo-12B-Instruct für Sprache, NVIDIA Riva für Text-to-Speech und automatische Spracherkennung sowie die NeMo Retriever-Sammlung von Microservices für die PDF-Extraktion.
Der AI Blueprint für 3D-gesteuerte generative KI gibt Künstlern eine bessere Kontrolle über die Bilderzeugung. Während KI aus einfachen Textaufforderungen erstaunliche Bilder generieren kann, ist die Steuerung der Bildkomposition nur mit Worten eine Herausforderung. Mit diesem Blueprint können Künstler einfache 3D-Objekte in einem 3D-Renderer wie Blender verwenden, um die KIBilderzeugung zu steuern. Der Künstler kann 3D-Assets von Hand oder mit AI erstellen, sie in der Szene platzieren und die 3D-Viewport-Kamera einstellen. Ein vorgefertigter Workflow, der vom FLUX NIM Microservice unterstützt wird, verwendet dann die aktuelle Komposition, um hochwertige Bilder zu erzeugen, die zur 3D-Szene passen.
NVIDIA-NIM-Microservices und AI Blueprints werden ab Februar verfügbar sein, mit anfänglicher Hardware-Unterstützung für die GeForce-RTX-50er-Serie, GeForce RTX 4090 und 4080 sowie NVIDIA RTX 6000 und 5000. Weitere Grafikprozessoren werden in Zukunft unterstützt werden. NIM-fähige RTX-AI-PCs werden von Acer, ASUS, Dell, GIGABYTE, HP, Lenovo, MSI, Razer und Samsung sowie von den lokalen Systemherstellern Corsair, Falcon Northwest, LDLC, Maingear, Mifcon, Origin PC, PCS und Scan erhältlich sein.
Weitere Informationen darüber, wie NIM-Microservices, AI Blueprints und NIM-fähige RTX-AI-PCs die generative KI beschleunigen, gibt es auf der CES bei NVIDIA.
