„Ein gemeinsames Thema, das während der gesamten Diskussion zur Sprache kam, war, dass OpenAI derzeit extrem GPU-beschränkt ist und dies viele ihrer kurzfristigen Pläne verzögert. Die größte Kundenbeschwerde betraf die Zuverlässigkeit und Geschwindigkeit der API.
Sam erkannte ihre Besorgnis an und erklärte, dass das meiste Problem auf GPU-Mangel zurückzuführen sei. Der längere 32K-Kontext kann noch nicht für mehr Menschen bereitgestellt werden. OpenAI hat die O(n^2)-Skalierung der Aufmerksamkeit nicht überwunden und obwohl es plausibel schien, dass sie bald (in diesem Jahr) 100.000 – 1 Million Token-Kontextfenster haben würden, würde alles Größere einen Forschungsdurchbruch erfordern.
Auch bei der Feinabstimmungs-API besteht derzeit ein Engpass aufgrund der GPU-Verfügbarkeit. Sie verwenden noch keine effizienten Feinabstimmungsmethoden wie Adapter oder LoRa und daher ist die Feinabstimmung sehr rechenintensiv in der Ausführung und Verwaltung.
In Zukunft wird es eine bessere Unterstützung für die Feinabstimmung geben. Sie können sogar einen Marktplatz für von der Community bereitgestellte Modelle beherbergen. Das Angebot dedizierter Kapazität ist durch die GPU-Verfügbarkeit begrenzt.“
Wenn OpenAI seinen Plan zur Herstellung eigener Chips fortsetzt, reiht es sich in die Riege von Branchenriesen wie Google und Amazon ein, die bereits auf die eigene Chipproduktion umgestiegen sind. Dieser Schritt könnte möglicherweise die Abhängigkeit von OpenAI von externen Lieferanten verringern und es dem Unternehmen ermöglichen, die steigende Nachfrage nach spezialisierten KI-Chips zu decken.
Seit der öffentlichen Einführung von ChatGPT im November letzten Jahres ist die Nachfrage nach speziellen KI-Chips sprunghaft angestiegen – was zu einem Anstieg der NVIDIA-Aktienkurse geführt hat, da Unternehmen sich beeilen, die gewünschte Hardware zu beschaffen.
OpenAI hat noch keine endgültige Entscheidung bezüglich der Übernahme oder der internen Chipproduktion getroffen, und es laufen Gespräche, um den drängenden Chipmangel zu beheben und die KI-Initiativen des Unternehmens aufrechtzuerhalten.
Quelle: AI NEWS
Recent Comments