De geboorte van ChatGPT was niet gratis. Los van de miljardeninvestering in OpenAI heeft Microsoft al honderden miljoenen gespendeerd aan de hardware nodig om het neurale netwerk te trainen.
In januari liet Microsoft weten dat het zo’n tien miljard dollar zou investeren in OpenAI. De samenwerking tussen de twee bedrijven loopt echter al veel langer. In 2019 investeerde Microsoft een eerste miljard in OpenAI. Toen begon ook de uitwerking van de infrastructuur die nodig was om het onderzoek van OpenAI te ondersteunen. In de jaren voor de introductie van ChatGPT zou Microsoft al verschillende honderden miljoenen dollars hebben uitgegeven aan de hardware die nodig was om ChatGPT te ontwikkelen.
Dat geld ging volgens Bloomberg naar de bouw van een AI-supercomputer binnen de Azure-cloudinfrastructuur. Die supercomputer bestaat uit tienduizenden Nvidia GPU’s, gelinkt via snelle interconnects. Bij de bouw ervan had Microsoft nog geen idee hoe zo’n systeem er zou uitzien. De virtuele supercomputer was een proefproject waarbij Microsoft moest uitvinden hoe een HPC-installatie met zoveel GPU’s in de cloud werkt.
HPC-architectuur voor iedereen
Het resultaat daarvan is niet alleen ChatGPT. Microsoft kwam uiteindelijk tot een model voor een cloud-supercomputer. De bouw van het virtuele HPC-systeem startte als een project op maat voor OpenAI maar moest van in het begin leiden tot een breder inzetbaar product. Vandaag kondigde Microsoft instances binnen Azure aan gebouwd rond de Nvidia H100. Ook die kunnen aan elkaar gelinkt worden, waardoor klanten in essentie de mogelijkheid krijgen om zelf zo’n Azure-AI-supercomputer te bouwen.
OpenAI was zo de eerste praktische gebruiker van een cloud-supercomputer. Daarmee bewijst Microsoft dat de architectuur werkt en een praktisch nut heeft in de context van AI-ontwikkeling.