Op Huawei Connect 2019 in Shanghai bundelt Huawei duizenden Ascend 910-chips in één cluster voor complexe AI-berekeningen. Een nieuw record binnen ResNet-50 zorgt ervoor dat fabrikanten zoals Nvidia op scherp worden gezet.
Vorig jaar lanceerde Huawei twee nieuwe AI-chips op Huawei Connect 2018: Ascend 910 en Ascend 310. Die laatste werd kort na de presentatie beschikbaar gesteld, maar de Ascend 910 is nog maar enkele weken beschikbaar. Nu lanceert Huawei een AI-cluster die het ResNet-50 benchmarkrecord verplettert tot 59,8 seconden. Dat is een verbetering van 10 seconden vergeleken met de vorige recordhouder.
In de Atlas 900 AI-cluster zitten 16 cabinets met telkens acht units (Atlas 800-servers). In elke unit zitten acht Ascend 910 ARM-gebaseerde chips. In totaal bevat Atlas 900 1.024 chips. In totaal kunnen er tot vier Atlas 900 AI-clusters aan elkaar worden gekoppeld voor een totaal van 4.096 chips.
Atlas 900
Elke Atlas 900 heeft 256 petaflops aan boord. De ResNet-50 benchmark werd gerealiseerd met één Atlas 900 AI-cluster. Wie er vier combineert (het maximum) mag rekenen op 1.024 petaflops of 1 petaflops aan rekenkracht. Die prestatie zorgt ervoor dat de Atlas 900 nipt de Top 500 supercomputerlijst haalt mocht Huawei die publiceren bij de bevoegde instantie.
Elke unit bevat acht Ascend 910-chips, goed voor 2 teraflops aan rekenkracht.
De acht Ascend 910-chips in elke unit worden koel gehouden met water. Dankzij de ARM-architectuur kan Huawei zuinige energiecijfers voorleggen: twee petaflops met een verbruik van 5,6 kilowatt. Elke kast verbruikt gemiddeld 50 kilowatt inclusief hybride waterkoeling. De complete energievoetafdruk van Atlas 900 met een AI-cluster van 16 cabinets is 800 kilowatt.
Elke unit ondersteunt HCCS, PCIe 4.0 en 100G RoCE om een zo snel mogelijke communicatie te garanderen tussen de componenten aan een zo laag mogelijke latency. Huawei spreekt met geen woord over het geheugen, maar vorig jaar op Huawei Connect 2018 toonde het details over een Ascend-cluster met 1.024 chips aan boord, goed voor 256 petaflops aan rekenkracht en 32 TB HBM-geheugen. De rekenkracht komt overeen met een kast uit de Atlas 900 AI-cluster, wat ons doet vermoeden dat één Atlas 900 AI-cluster in totaal 512 TB HBM beschikbaar heeft.
Ascend 910
De Huawei Ascend 910-chip werd vorig jaar al aangekondigd om Nvidia en Google te beconcurreren met hun gpu’s en tpu’s. De chip wordt op 7 nm gebakken (vermoedelijk bij TSMC) en biedt tot 256 teraflops aan rekenkracht voor AI-toepassingen. Huawei vergelijkt in zijn presentatie met de Nvidia Tesla V100 (125 teraflops) en de Google TPU 3.0 (90 teraflops).
De Chinezen complementeren de hardwareline-up met een softwarecomponent: het MindSpore-framework. MindSpore moet de training van nieuwe algoritmes eenvoudiger en sneller maken. Huawei claimt dat de Ascend 910 met MindSpore tot tweemaal beter presteert dan ‘mainstream’-kaarten in combinatie met TensorFlow. Huawei alludeert naar alle waarschijnlijkheid op de TPU-hardware van Google en de Tesla-gpu’s van Nvidia. De cijfers zijn gebaseerd op een trainingssessie met ResNet-50.
De Ascend 910-chips in elke unit worden gekoeld met water.
MindSpore en Ascend zullen hand in hand verder ontwikkeld worden met het oog op verregaande optimalisatie. In natural language processing-workloads claimt Huawei dat MindSpore 20 procent minder lijnen code nodig heeft dan de concurrentie, en 50 procent efficiëntiewinst naar ontwikkelaars brengt. Huawei wil een mainstream-publiek aanspreken met het framework en maakt de software daarom opensource.
Opensource
Deputy chairman Ken Hu laat weten dat de Ascend 910-chips niet los zullen worden verkocht. Huawei stelt Atlas 900 beschikbaar in zijn cloud-oplossing als een cluster service. Het hoopt hiermee de rekenkracht breed beschikbaar te stellen bij huidige en nieuwe klanten. Universiteiten en wetenschappers kunnen bij Huawei informeren achter voordelige tarieven.
De software die Huawei beschikbaar stelt, benadrukt de nieuwe visie van een ‘open ecosysteem’. Besturingssystemen, databases en AI development frameworks zijn opensource. Huawei houdt ook nauw contact met partners om te zien waar er tools kunnen worden toegevoegd om de ontwikkeling en integratie van applicaties te vereenvoudigen en verbeteren.
Verder laat Huawei weten dat het samen met Peng Cheng Lab werkt aan de eerste evoluerende AI supercomputer in China dat exascale computing ondersteunt. Beide partijen willen een nieuwe generatie aan platformen beschikbaar stellen voor AI-onderzoek en innovatie.
Ascend 310
Naast de nieuwe Ascend 910 heeft Huawei ook nog de Ascend 310 die eerder dit jaar op de markt kwam. Met Ascend 310 mikt Huawei op diverse toepassingen van kleine IoT-apparaten tot datacenters. Voor oortjes, always-on, smartphones en laptops lanceert het respectievelijk de Nano, Tiny, Lite en Mini-versies variërend van 0,02 tot 20 teraflops en een latency van minder dan 10 ms tot 500 ms.
Voor Edge-toepassingen bestaat de Ascend 310 in twee smaken: Mini en Multi-Mini. Die laatste combineert meerdere mini’s in een compacte Edgeserver met prestaties tot 100 teraflops en een verbruik tot 100 watt. De Ascend 310 krijgt ook een cloudvariant, genaamd Max, met 200+ teraflops aan rekenkracht.
Met Ascend 310 wil Huawei chips voor verschillende AI-toepassingen aanbieden. Dankzij verschillende (schaalbare) variaties heb je een minimale kost per scenario. Met een universele architectuur over de verschillende chips hoeft de ontwikkelaar zijn code amper aan te passen. Ascend 310-producten worden in vijf varianten gelanceerd dit jaar met diverse formaten, waaronder een AI-acceleratiekaart met PCI Express-aansluiting.
Meer rekenkracht
Hu benadrukte tijdens zijn presentatie dat rekenkracht de basis is van alles in de toekomst. Hij wijst op een onderzoek van Gartner dat de computing markt tegen 2023 meer dan 2 biljoen dollar waard zou zijn.
“De industrie heeft lang niet genoeg rekenkracht beschikbaar om aan de vraag te voldoen”, zegt Hu. “Meer rekenkracht betekent betere processoren, maar we bereiken net de limieten van Moore’s law. Als de industrie veel en betaalbare rekenkracht wil, een doorbraak in processortechnologie nodig is.”
Om die reden investeert Huawei extra budget in zijn computing strategie. Het hele chip portfolio maakt gebruik van de Da Vinci-chiparchitectuur: Kunpeng, Ascend, Kirin en Honghu. Elk reeks van chips ondersteunt specifieke functies zoals AI, slimme toestellen of slimme schermen.
Huawei stopt overigens in haast alle nieuwe enterprise serverhardware zijn AI-chips. Zo kondigde het iMaster NCE autonomous driving network management, iMaster NAIE network AI platform en OceanStor Dorado intelligent all-flash storage platform aan op Huawei Connect 2019.
Gerelateerd: Japan en Fujitsu bouwen exascale supercomputer met ARM-chips