Cloudflare verbetert AI-inferentieplatform met snellere prestaties en grotere modellen

cloudflare

Cloudflare heeft nieuwe upgrades aangekondigd voor zijn serverloze AI-platform Workers AI. Het platform ondersteunt nu grotere AI-modellen, snellere inferentie en verbeterde vectordatabasefunctionaliteit, waardoor het maken en schalen van AI-applicaties eenvoudiger wordt.

Workers AI, een platform voor het bouwen van AI-applicaties, heeft nu toegang tot krachtigere GPU’s in meer dan 180 steden wereldwijd. Dit zorgt voor lagere netwerklatency, wat vooral belangrijk is bij het gebruik van large language models (LLM’s). Door de uitbreiding van GPU’s kunnen grotere modellen, zoals Llama 3.1 en de Llama 3.2-reeks, sneller worden verwerkt. Dit zorgt voor efficiëntere AI-apps die complexere taken kunnen uitvoeren, wat resulteert in naadloze ervaringen voor eindgebruikers.

Cloudflare stelt dat netwerksnelheden cruciaal worden naarmate AI steeds meer ingeburgerd raakt in het dagelijks leven. De brede beschikbaarheid van GPU’s wereldwijd maakt het platform geschikt voor gebruikers overal ter wereld, wat de toegankelijkheid en prestaties van AI-toepassingen sterk verbetert. De introductie van snellere responstijden en grotere contextvensters maakt de interacties met AI vloeiender.

Verbeterde controle en betaalbare zoekopdrachten

Cloudflare heeft ook verbeteringen doorgevoerd in het beheren en optimaliseren van AI-apps. Via permanente logs in AI Gateway kunnen ontwikkelaars prompts en modelantwoorden analyseren om prestaties te optimaliseren. Sinds de lancering van AI Gateway zijn al meer dan twee miljard verzoeken verwerkt.

Daarnaast is de vectordatabase Vectorize nu algemeen beschikbaar, met ondersteuning voor indexen tot vijf miljoen vectoren. Dit vermindert de latentie van zoekopdrachten drastisch, van 549 milliseconden naar 31 milliseconden. Door deze optimalisaties worden AI-applicaties efficiënter en goedkoper om te draaien.

nieuwsbrief

Abonneer je gratis op ITdaily !

  • This field is for validation purposes and should be left unchanged.