Cloudflare wil AI-inferentie dichter bij de gebruiker brengen via Workers AI. Het bedrijf lanceert een nieuw ontwikkelaarsplatform om AI-modellen op het netwerk te laten draaien in plaats van in een datacenter.
Ieder bedrijf zoekt vandaag naar manieren om één of andere vorm van artificiële intelligentie in het dienstenaanbod te integreren. De snel oplopende en ondoorzichtige kosten van AI-modellen draaiende te houden en de explosie aan nieuwe tools en leveranciers zijn maar enkele van de uitdagingen waarmee bedrijven te maken krijgen. Cloudflare springt in de bres met een nieuw ontwikkelaarsplatform dat bedrijven in staat stelt om AI-applicaties te bouwen zonder de infrastructuur te hoeven beheren.
Het Cloudflare-platform bestaat uit drie componenten. Te beginnen met Workers AI, door Cloudflare benoemd als de eerste serverloze AI. Cloudflare laat de GPU’s immers draaien op zijn wereldwijde netwerk. Zo hoeven klanten niet meer rond te lopen met ‘koffers vol GPU’s’, zegt CEO Matthew Prince aan SiliconAngle.
AI dichter bij de gebruiker
Cloudflare speelt met dit aanbod in op een gevoelige snaar, namelijk latency. Omdat de GPU’s in het netwerk zitten, neem je de AI-modellen als het ware overal met je mee. De data voor inferentie hoeft zo ook niet uit een datacenter te komen, waardoor ze sneller beschikbaar komen voor wortloads. Workers AI moet het onder meer mogelijk om grote AI-modellen naar de edge te brengen.
lees ook
Drijft AI ons steeds verder richting de edge?
Om AI-modellen lanceert Cloudflare ook de vectordatabase Vectorize. Vanaf het genereren van inbeddingen voor de ingebouwde modellen en het indexeren hiervan, tot queries en het opslaan van de brondata in R2. Vectorize zorgt ervoor dat dit allemaal op hetzelfde platform verloopt.
Tenslotte is er nog de AI Gateway, die ontwikkelaars en bedrijfsleiders helpt een oogje in het zeil te houden. Er is vandaag nauwelijks inzicht in de kosten van de infrastructuur voor AI of hoeveel queries van waar worden uitgevoerd. AI Gateway moet meer zichtbaarheid brengen in het AI-verkeer, en bevat ook maatregelen zoals caching en snelheidsbeperkingen om ook de kosten onder de duim te houden.