Nvidia baut sein Angebot für den Betrieb künstlicher Intelligenz deutlich aus. Der US Chiphersteller teilte am Montag, 24. August 2026, mit, dass Nvidia Groq 3 LPX nun vollständig produziert wird. Das Rack System ist speziell für die sogenannte Inferenz ausgelegt, also für die Phase, in der ein bereits trainiertes KI Modell Anfragen verarbeitet und Antworten erzeugt. Besonders bei KI Agenten, Programmiersystemen und anderen interaktiven Anwendungen soll die Technik Verzögerungen beim Erzeugen neuer Inhalte reduzieren.
Das System ergänzt Nvidias Vera Rubin Plattform. Während Rubin GPUs umfangreiche Rechenaufgaben und große Kontextmengen bearbeiten können, sollen die von Groq entwickelten LPU Beschleuniger vor allem die schnelle Ausgabe neuer Tokens übernehmen. Tokens sind kleine Text oder Dateneinheiten, aus denen KI Modelle ihre Antworten zusammensetzen.
Ein Groq 3 LPX Rack enthält nach Angaben von Nvidia 256 miteinander verbundene Groq 3 LPU Beschleuniger. Jeder dieser Chips verfügt laut den am 24. August 2026 veröffentlichten Herstellerangaben über 500 Megabyte SRAM sowie eine SRAM Bandbreite von 150 Terabyte pro Sekunde. SRAM ist besonders schneller Speicher, der direkt nahe an den Recheneinheiten sitzt.
Das Design unterscheidet sich damit von vielen klassischen GPU Systemen, bei denen große Mengen extern angebundenen Hochgeschwindigkeitsspeichers eine wichtige Rolle spielen. Groqs Architektur setzt stark darauf, Datenbewegungen vorhersehbar zu planen und Informationen möglichst schnell auf dem Chip verfügbar zu halten.
Nvidia nennt für einen Test mit dem offenen Modell Gemma 4 31B und einem Kontext von 100.000 Tokens eine Leistung von rund 3.400 ausgegebenen Tokens pro Sekunde. Die Messung stammt nach Angaben des Unternehmens aus einem Benchmark von Artificial Analysis. Nvidia bezeichnet das Ergebnis als Spitzenwert für dieses Modell. Es handelt sich um eine vom Hersteller hervorgehobene Leistungsmessung. Sie lässt sich nicht ohne Weiteres auf andere Modelle, Konfigurationen oder reale Anwendungen übertragen.
Training und Inferenz stellen unterschiedliche Anforderungen an die Hardware. Beim Training werden große Datenmengen verarbeitet und die Parameter eines Modells angepasst. Dafür eignen sich massiv parallel arbeitende GPUs besonders gut. Nvidia hat diesen Markt in den vergangenen Jahren maßgeblich geprägt.
Bei der Inferenz ist das Modell bereits trainiert. Entscheidend ist dann unter anderem, wie schnell und wirtschaftlich es eine Anfrage beantworten kann. Bei einem einfachen Chatbot fallen kurze Verzögerungen möglicherweise kaum ins Gewicht. KI Agenten führen dagegen häufig viele einzelne Modellaufrufe hintereinander aus, etwa wenn sie Dateien analysieren, Programmcode erzeugen, Werkzeuge aufrufen und Ergebnisse anschließend erneut prüfen.
Dadurch kann sich selbst eine geringe Verzögerung pro Rechenschritt über einen längeren Arbeitsablauf summieren. Nvidia positioniert Groq 3 LPX deshalb nicht als Ersatz für seine GPUs, sondern als spezialisierten Beschleuniger innerhalb einer größeren Infrastruktur.
Die Technologie hinter den neuen Systemen geht auf das 2016 gegründete US Unternehmen Groq zurück. Am 24. Dezember 2025 gaben Groq und Nvidia eine nicht exklusive Lizenzvereinbarung für Groqs Inferenztechnologie bekannt. Gleichzeitig wechselten Groq Gründer Jonathan Ross, der damalige Präsident Sunny Madra und weitere Beschäftigte zu Nvidia, um dort an der Weiterentwicklung der Technik zu arbeiten.
Groq wurde dabei jedoch nicht vollständig von Nvidia übernommen. Das Unternehmen erklärte ausdrücklich, eigenständig weiterzuarbeiten. Auch der Cloud Dienst GroqCloud wurde fortgeführt.
Rund um die Vereinbarung wurde damals ein Wert von ungefähr 20 Milliarden US Dollar genannt. Die beiden beteiligten Unternehmen veröffentlichten jedoch keinen offiziell bestätigten Kaufpreis in dieser Höhe. Eine unabhängige Bestätigung dafür lag zunächst nicht vor. Die Vereinbarung als klassische Unternehmensübernahme im Wert von 20 Milliarden Dollar zu bezeichnen, wäre deshalb nicht präzise.
Die inzwischen sichtbare Integration der Groq Architektur in Nvidias Produktportfolio zeigt dennoch, welche strategische Bedeutung die Technologie für Nvidia hat. Bereits im März 2026 hatte der Konzern Groq 3 LPX als Teil seiner Vera Rubin Plattform vorgestellt.
Als ersten Cloud Anbieter für die neue Hardware nennt Nvidia Nebius. Das Unternehmen will Groq 3 LPX in seine sogenannte Token Factory integrieren, eine Infrastruktur für den produktiven Betrieb von KI Modellen. Einen konkreten Termin für die allgemeine Verfügbarkeit bei Nebius nannte Nvidia in seiner Mitteilung vom 24. August zunächst nicht.
Auch Groq selbst soll zu den frühen Anwendern der Plattform gehören. Das weiterhin eigenständige Unternehmen betreibt nach eigenen Angaben vom August 2026 Rechenzentren in Nordamerika, Europa, dem Nahen Osten und im asiatisch pazifischen Raum und konzentriert sich inzwischen stärker auf den Betrieb von KI Infrastruktur und Cloud Diensten.
Unklar blieb zunächst, in welchen konkreten Rechenzentren die ersten Groq 3 LPX Systeme installiert werden und welche weiteren großen Kunden bereits verbindliche Bestellungen aufgegeben haben.
Nvidias Vorstoß fällt in eine Phase, in der sich der Wettbewerb bei KI Hardware zunehmend über das Training hinaus auf die Inferenz verlagert. Google entwickelt eigene Tensor Processing Units und hat 2026 mit dem TPU 8i einen speziell auf Inferenz und sogenannte Reasoning Anwendungen ausgerichteten Beschleuniger angekündigt.
Auch AMD verfolgt diesen Markt. Das Unternehmen stellte im Juli 2026 gemeinsam mit Cerebras eine Architektur vor, bei der AMD Systeme die Verarbeitung umfangreicher Eingaben übernehmen sollen, während Cerebras Technik für besonders schnelle Token Ausgabe vorgesehen ist. Damit ähnelt der grundsätzliche Ansatz der Arbeitsteilung zwischen unterschiedlichen Beschleunigertypen dem Konzept, das Nvidia mit Rubin GPUs und Groq LPUs verfolgt.
Der Wettbewerb dreht sich dabei nicht allein um maximale Rechenleistung. Für Betreiber großer KI Dienste spielen auch Antwortzeiten, Energieverbrauch, Speicherkapazität, Softwareunterstützung und die Kosten pro erzeugtem Token eine Rolle.
Mit Groq 3 LPX erweitert Nvidia seine bisher stark GPU geprägte Plattform deshalb um stärker spezialisierte Hardware. Ob daraus im praktischen Betrieb die von Nvidia beworbenen Leistungs und Effizienzvorteile entstehen, hängt von Modell, Software, Auslastung und konkreter Systemkonfiguration ab.
Texte werden mit Unterstützung von KI-Tools erstellt und vor Veröffentlichung redaktionell geprüft. Mehr dazu