Google kondigt Trillium aan, de nieuwste generatie van zijn Tensor Processing Units (TPU) voor Google Cloud-klanten. Trillium biedt verbeterde prestaties voor zowel trainings- als inferentietaken en optimaliseert energieverbruik en kosten.
Google kondigde tijdens de App Dev & Infrastructure Summit vorige week Trillium aan, de TPU van de zesde generatie die een stap vooruit laat zien in prestaties. Vergeleken met de vorige TPU v5e, biedt Trillium meer dan vier keer betere trainingsprestaties en tot drie keer hogere doorvoer bij inferentie. Bovendien verhoogt Trillium de energie-efficiëntie met 67 procent en verdubbelt het de capaciteit van het High Bandwidth Memory (HBM) en de bandbreedte van de Interchip Interconnect (ICI). Dit maakt de zesde generatie geschikt voor AI-modellen. Trillium is beschikbaar als preview voor Google Cloud-klanten.
Taalmodellen
De uitbreidingen maken het mogelijk om grotere AI-modellen, zoals grote taalmodellen (LLM’s) en rekenintensieve diffusiemodellen, efficiënter te trainen en te implementeren. Google noemt specifiek modellen zoals Gemma 2, Llama en Stable Diffusion XL als toepassingen die profiteren van de nieuwe TPU-architectuur.
lees ook
Google Cloud verplicht MFA vanaf januari
Met de verdubbelde HBM-capaciteit kan Trillium werken met grotere modellen met complexe netwerken en key-value caches, wat bijdraagt aan efficiënter gebruik van resources. Dit verhoogt de prestaties per chip aanzienlijk, met een piekprestatie die 4,7 keer hoger ligt dan de vorige generatie.
Schaalbaarheid en kostenvoordelen
Trillium is ontworpen met hoge schaalbaarheid in gedachten. De TPU kan tot 256 chips in één pod koppelen, die vervolgens kunnen worden opgeschaald tot honderden pods. Hiermee ontstaat een supercomputer op gebouwschaal, die met het 13 Petabit per seconde Jupiter-datacenternetwerk verbonden is. Multislice-software zorgt voor bijna lineaire schaalbaarheid bij zware workloads, wat het mogelijk maakt om de TPU voor complexe en intensieve trainingsscenario’s te gebruiken.
Naast de prestatieverbeteringen benadrukt Google ook de kosteneffectiviteit van Trillium. De nieuwe TPU biedt bijna 1,8 keer meer prestaties per dollar vergeleken met TPU v5e, en zelfs bijna het dubbele in vergelijking met TPU v5p. Dit maakt Trillium een kostenefficiënte keuze voor klanten die krachtige en schaalbare infrastructuur nodig hebben voor AI-training en inferentie op grote schaal.
Google hoopt met deze innovaties een nieuw tijdperk in te luiden voor toepassingen die zware AI-modellen vereisen. Trillium is nu in preview beschikbaar voor Google Cloud-gebruikers.