Google Cloud und Oracle haben angekündigt, Google-TPUs ab 2027 in Oracle Cloud Infrastructure bereitzustellen. OCI wird damit der erste große Cloudanbieter außerhalb von Google, der seinen Kunden diese spezialisierten Chips für künstliche Intelligenz anbietet.
TPUs sind für das Training von Modellen und die Verarbeitung ihrer Anfragen ausgelegt. In OCI werden sie neben GPUs verfügbar sein, damit Kunden je nach Arbeitsphase einen Beschleuniger wählen können. Die Unternehmen wollen TPUs in der Nähe von Oracle-Unternehmensdatenbanken bereitstellen, um das Nachtrainieren und die Verarbeitung von Anfragen ohne einen Wechsel der Daten in eine andere Cloud zu ermöglichen.
Für Entwickler bietet Google den quelloffenen eigenen Softwarestack TorchTPU mit PyTorch-Unterstützung an. Die Ankündigung nennt außerdem vLLM, SGLang, Ray und Hugging Face als Werkzeuge für das Training und den Betrieb von Modellen auf TPUs.
Oracle Acceleron soll die TPU-Cluster mit der übrigen OCI-Infrastruktur verbinden. Separat stellte Oracle neue Netzwerkfunktionen für KI vor: RDMA-Anbindung, eine Bibliothek für kollektive Kommunikation und die Auswahl funktionierender Routen bei Ausfällen von Netzwerkhardware. Sie sind für verteilte Berechnungen mit Tausenden gleichzeitig arbeitenden Beschleunigern gedacht.
