Start-up Cerebras heeft eind augustus zijn unieke AI-chip getoond waar het de afgelopen jaren aan heeft gewerkt. ’s Werelds grootste processor bevat 1,2 biljoen transistors en meet 21,6 bij 21,6 centimeter.
Het nieuws van de ‘superchip’ viel in als een bom, maar naast de aankondiging bleef het opvallend stil rond eventuele partners. Vandaag maakt Cerebras zijn eerste klant bekend: de Amerikaanse Department of Energy (DoE). Wie de Top 500 supercomputers regelmatig in het oog houdt, weet dat de DoE lange tijd een leider is binnen het HPC-segment.
De Amerikaanse instelling gaat de enorme chip als basis gebruiken voor toegepaste wetenschappen en onderzoek naar medicijnen met super-scale AI. De aankoop van de DoE is belangrijk om te benadrukken dat de chips klaar zijn voor productie. Innovaties binnen de supercomputermarkt vinden meestal hun weg richting klassieke servers en mainstream gebruik. Afwachten of dat het geval zal zijn met bij de gigantische chip van Cerebras.
Software ecosysteem
De DoE heeft in het verleden zwaar geïnvesteerd in kritieke software ecosystemen volgens Tom’s Hardware. Zo werkt het vandaag aan AMD’s ROCM software suite voor de exascale Frontier supercomputer. Voor Intel werkt het aan een OneAPI voor de Aurora supercomputer, het andere exascale-project van de DoE. Beide zouden het levenslicht moeten zien in 2021. De investering in zo’n ecosysteem is een win-win-scenario voor Cerebras.
AI-modellen groeien explosief en verdubbelen elke vijf maanden. Met de 18 GB aan SRAM-geheugen lijkt dat niet direct een probleem voor de AI-chip van Cerebras in de nabije toekomst. SRAM kan echter niet retroactief worden geschaald, waardoor grotere modellen de native capaciteit van de chip zou overschrijden.
Volgens Cerebras is dat echter geen probleem, aangezien meerdere chips in tandem kunnen worden gebruikt om grotere workloads te verwerken. In tegenstelling tot traditionele gpu’s wordt geheugen niet gespiegeld in paren maar draaien ze in een parallelle modus. Hiermee kunnen ze twee keer de geheugencapaciteit gebruiken wanneer er twee chips worden gekoppeld om lineair te schalen.
Meer details over de samenwerking worden in november gedeeld. Vandaag weten we al dat de chip als onderdeel van een datacenter-device met een eigen waterkoelsysteem komt. De chip van de start-up verbruikt maar 2 tot 3 procent van de ruimte en energie vergeleken met een traditionele serverfarm gebaseerd op Nvidia hardware.
Gerelateerd: AMD en Cray bouwen 1,5 exaflop supercomputer voor Amerikaanse overheid