AWS wil met Amazon EC2 Capacity Blocks voor ML de drempel verlagen voor organisaties die GPU-rekenkracht nodig hebben om te experimenteren met AI.
Amazon Web Services lanceert Amazon EC2 Capacity Blocks voor ML. Met dat aanbod wordt het mogelijk om vooraf GPU-capaciteit te reserveren uit een EC2-ultracluster. AWS vergelijkt het systeem met dat van hotelreserevaties: in de plaats van een kamer van een bepaald type vast te leggen met een aankomst- en vertrekdatum, reserveer je een hoeveelheid GPU-capaciteit met een start- en einddatum. Zodra je reservering start, krijg je toegang tot de capaciteit en kan je EC2 P5-instances lanceren die er gebruik van maken. Op het einde van de reservering worden instances die eventueel nog draaien afgesloten.
Dynamische prijs
Net als een hotel wil AWS een dynamische prijs doorvoeren voor de GPU-capaciteit, gebaseerd op vraag. Het systeem garandeert voor de cloudprovider dat de significante investeringen in GPU-rekenkracht maximaal benut worden. Gebruikers krijgen dan weer de zekerheid dat ze voor een bepaald budget een hoeveelheid GPU-rekenkracht kunnen benutten, al lijkt het aanbod toch vooral interessant voor AWS. Dat moet net als andere grote cloudproviders een moeilijke weg bewandelen: de AU-hype zwengelt de vraag naar GPU-instances aan, maar GPU’s zelf zijn een schaars goed dat niet snel genoeg van de band rolt. Capacity Blocks voor ML is een manier om daarmee om te gaan.
Het aanbod is per direct beschikbaar, maar enkel in AWS US East (Ohio). Wie intekent, krijgt voor maximaal veertien dagen toegang tot maximaal 64 instances, met acht Nvidia H100 Tensor Core-GPU’s. De aanpak is interessant omdat die niet echt in lijn ligt bij wat cloudproviders normaal doen: flexibiliteit en betaling op basis van gebruik maken hier plaats voor reservering en voorafbetaling.