Im Jahr 2022 brachte der US-Chiphersteller Nvidia den H100 auf den Markt, einen der leistungsstärksten Prozessoren, die er je gebaut hat – und mit einem Preis von rund 40.000 US-Dollar pro Stück auch einen der teuersten. Der Start schien zu einem ungünstigen Zeitpunkt erfolgt zu sein, gerade als die Unternehmen angesichts der grassierenden Inflation versuchten, ihre Ausgaben zu kürzen.
Im November wurde dann ChatGPT gestartet.
„Nach einem ziemlich schwierigen Jahr im letzten Jahr haben wir über Nacht eine Trendwende erlebt“, sagte Jensen Huang, CEO von Nvidia. Der erfolgreiche Chatbot von OpenAI sei ein „Aha-Moment“ gewesen, sagte er. „Es hat sofort Nachfrage geschaffen.“
Die plötzliche Popularität von ChatGPT hat ein Wettrüsten unter den weltweit führenden Technologieunternehmen und Start-ups ausgelöst, die sich den H100 beeilen, den Huang als „den ersten Computer der Welt“ bezeichnet [chip] Entwickelt für generative KI“ – künstliche Intelligenzsysteme, die schnell menschenähnliche Texte, Bilder und Inhalte erstellen können.
Diese Woche wurde deutlich, wie wertvoll es ist, das richtige Produkt zur richtigen Zeit zu haben. Nvidia gab am Mittwoch bekannt, dass sein Umsatz für die drei Monate bis Juli 11 Milliarden US-Dollar betragen würde, mehr als 50 Prozent über den vorherigen Schätzungen der Wall Street, was auf eine Wiederbelebung der Rechenzentrumsausgaben von Big Tech und die Nachfrage nach seinen KI-Chips zurückzuführen ist.
Die Reaktion der Anleger auf die Prognose erhöhte die Marktkapitalisierung von Nvidia am Donnerstag an einem einzigen Tag um 184 Milliarden US-Dollar und brachte das ohnehin schon wertvollste Chipunternehmen der Welt auf eine Bewertung von fast 1 Billion US-Dollar.
Nvidia ist ein früher Gewinner des astronomischen Aufstiegs der generativen KI, einer Technologie, die Industrien umzugestalten, enorme Produktivitätssteigerungen zu bewirken und Millionen von Arbeitsplätzen zu verdrängen droht.
Dieser Technologiesprung soll durch den H100 beschleunigt werden, der auf einer neuen Nvidia-Chiparchitektur namens „Hopper“ basiert – benannt nach der amerikanischen Programmierpionierin Grace Hopper – und plötzlich zum heißesten Gut im Silicon Valley geworden ist.
„Das Ganze startete genau zu dem Zeitpunkt, als wir auf Hopper mit der Produktion begannen“, sagte Huang und fügte hinzu, dass die Produktion im großen Maßstab nur wenige Wochen vor dem Debüt von ChatGPT begann.
Huangs Vertrauen in weitere Zuwächse beruht zum Teil darauf, dass er mit dem Chiphersteller TSMC zusammenarbeiten konnte, um die H100-Produktion zu steigern, um die explodierende Nachfrage von Cloud-Anbietern wie Microsoft, Amazon und Google, Internetkonzernen wie Meta und Unternehmenskunden zu befriedigen.
„Dies gehört zu den knappsten technischen Ressourcen auf dem Planeten“, sagte Brannin McBee, Chief Strategy Officer und Gründer von CoreWeave, einem KI-fokussierten Cloud-Infrastruktur-Start-up, das Anfang des Jahres als eines der ersten H100-Lieferungen erhielt.
Einige Kunden haben bis zu sechs Monate darauf gewartet, die Tausenden von H100-Chips zu erhalten, mit denen sie ihre riesigen Datenmodelle trainieren möchten. KI-Start-ups hatten Bedenken geäußert, dass H100 gerade in dem Moment, in dem die Nachfrage anzog, knapp werden würden.
Sie sehen einen Schnappschuss einer interaktiven Grafik. Dies liegt höchstwahrscheinlich daran, dass Sie offline sind oder JavaScript in Ihrem Browser deaktiviert ist.
Elon Musk, der Tausende von Nvidia-Chips für sein neues KI-Start-up X.ai gekauft hat, sagte diese Woche auf einer Veranstaltung des Wall Street Journal, dass GPUs (Grafikprozessoren) derzeit „wesentlich schwerer zu bekommen sind als Medikamente“. scherzte, das sei „nicht wirklich eine hohe Messlatte in San Francisco“.
„Die Rechenkosten sind astronomisch geworden“, fügte Musk hinzu. „Der Mindesteinsatz muss 250 Millionen US-Dollar für Serverhardware betragen [to build generative AI systems].“
Der H100 erfreut sich besonders großer Beliebtheit bei Big-Tech-Unternehmen wie Microsoft und Amazon, die ganze Rechenzentren rund um KI-Workloads aufbauen, sowie bei Start-ups im Bereich generative KI wie OpenAI, Anthropic, Stability AI und Inflection AI, da er eine höhere Leistung verspricht Dies kann Produkteinführungen beschleunigen oder die Schulungskosten im Laufe der Zeit senken.
„Was den Zugang betrifft, so fühlt sich die Einführung einer GPU mit neuer Architektur an“, sagte Ian Buck, Leiter des Hyperscale- und High-Performance-Computing-Geschäfts von Nvidia, der vor der gewaltigen Aufgabe steht, das Angebot an H100 zu erhöhen, um die Nachfrage zu decken. „Es geschieht im Hypermaßstab“, fügte er hinzu, wobei einige Großkunden Zehntausende GPUs suchen.
Der ungewöhnlich große Chip, ein „Beschleuniger“, der für den Einsatz in Rechenzentren entwickelt wurde, verfügt über 80 Milliarden Transistoren, fünfmal so viele wie die Prozessoren, die die neuesten iPhones antreiben. Obwohl es doppelt so teuer ist wie sein Vorgänger, der 2020 erschienene A100, sagen Erstanwender, dass der H100 eine mindestens dreimal bessere Leistung bietet.
„Der H100 löst die Skalierbarkeitsfrage, die uns plagte [AI] Modellersteller“, sagte Emad Mostaque, Mitbegründer und Geschäftsführer von Stability AI, einem der Unternehmen hinter dem Bildgenerierungsdienst Stable Diffusion. „Dies ist wichtig, da es uns allen ermöglicht, größere Modelle schneller zu trainieren, wenn dies von einem Forschungsproblem zu einem technischen Problem wird.“
Während der Zeitpunkt für die Markteinführung des H100 ideal war, lässt sich Nvidias Durchbruch in der KI fast zwei Jahrzehnte auf eine Innovation in der Software und nicht auf Silizium zurückführen.
Die 2006 entwickelte Cuda-Software ermöglicht die Umnutzung von GPUs als Beschleuniger für andere Arten von Arbeitslasten, die über die Grafik hinausgehen. Dann, etwa im Jahr 2012, erklärte Buck: „Die KI hat uns gefunden.“
Forscher in Kanada erkannten, dass GPUs ideal für die Schaffung neuronaler Netzwerke geeignet waren, einer Form der KI, die von der Art und Weise inspiriert war, wie Neuronen im menschlichen Gehirn interagieren, und die damals zu einem neuen Schwerpunkt der KI-Entwicklung wurden. „Es hat fast 20 Jahre gedauert, bis wir dort waren, wo wir heute sind“, sagte Buck.
Nvidia verfügt mittlerweile über mehr Software- als Hardware-Ingenieure, um die vielen verschiedenen Arten von KI-Frameworks zu unterstützen, die in den folgenden Jahren entstanden sind, und seine Chips bei den statistischen Berechnungen, die zum Trainieren von KI-Modellen erforderlich sind, effizienter zu machen.
Hopper war die erste Architektur, die für „Transformer“ optimiert war, den KI-Ansatz, der dem Chatbot „Generative Pre-Trained Transformer“ von OpenAI zugrunde liegt. Die enge Zusammenarbeit von Nvidia mit KI-Forschern ermöglichte es Nvidia, das Aufkommen des Transformators im Jahr 2017 zu erkennen und mit der entsprechenden Optimierung seiner Software zu beginnen.
„Nvidia hat wohl vor allen anderen die Zukunft gesehen, als es darum ging, GPUs programmierbar zu machen“, sagte Nathan Benaich, General Partner bei Air Street Capital, einem Investor in KI-Start-ups. „Das Unternehmen erkannte eine Chance, investierte viel und ließ seine Konkurrenten stets hinter sich.“
Benaich schätzt, dass Nvidia einen Vorsprung von zwei Jahren gegenüber seinen Konkurrenten hat, fügt aber hinzu: „Seine Position ist sowohl bei der Hardware als auch bei der Software alles andere als unangreifbar.“
Mostaque von Stability AI stimmt dem zu. „Chips der nächsten Generation von Google, Intel und anderen holen auf [and] Sogar Cuda wird mit der Standardisierung der Software weniger zu einem Burggraben.“
Für einige in der KI-Branche erscheint die Begeisterung der Wall Street diese Woche zu optimistisch. Dennoch, so Jay Goldberg, Gründer der Chip-Beratungsfirma D2D Advisory, „scheint der KI-Markt für Halbleiter „vorerst“ weiterhin ein Gewinner zu sein, der den gesamten Markt für Nvidia erobert.“
Zusätzliche Berichterstattung von Madhumita Murgia