Cloudflare heeft nieuwe upgrades aangekondigd voor zijn serverloze AI-platform Workers AI. Het platform ondersteunt nu grotere AI-modellen, snellere inferentie en verbeterde vectordatabasefunctionaliteit, waardoor het maken en schalen van AI-applicaties eenvoudiger wordt.
Workers AI, een platform voor het bouwen van AI-applicaties, heeft nu toegang tot krachtigere GPU’s in meer dan 180 steden wereldwijd. Dit zorgt voor lagere netwerklatency, wat vooral belangrijk is bij het gebruik van large language models (LLM’s). Door de uitbreiding van GPU’s kunnen grotere modellen, zoals Llama 3.1 en de Llama 3.2-reeks, sneller worden verwerkt. Dit zorgt voor efficiëntere AI-apps die complexere taken kunnen uitvoeren, wat resulteert in naadloze ervaringen voor eindgebruikers.
Cloudflare stelt dat netwerksnelheden cruciaal worden naarmate AI steeds meer ingeburgerd raakt in het dagelijks leven. De brede beschikbaarheid van GPU’s wereldwijd maakt het platform geschikt voor gebruikers overal ter wereld, wat de toegankelijkheid en prestaties van AI-toepassingen sterk verbetert. De introductie van snellere responstijden en grotere contextvensters maakt de interacties met AI vloeiender.
lees ook
Cloudflare voorspelt volgende pagina om laadtijd te versnellen
Verbeterde controle en betaalbare zoekopdrachten
Cloudflare heeft ook verbeteringen doorgevoerd in het beheren en optimaliseren van AI-apps. Via permanente logs in AI Gateway kunnen ontwikkelaars prompts en modelantwoorden analyseren om prestaties te optimaliseren. Sinds de lancering van AI Gateway zijn al meer dan twee miljard verzoeken verwerkt.
Daarnaast is de vectordatabase Vectorize nu algemeen beschikbaar, met ondersteuning voor indexen tot vijf miljoen vectoren. Dit vermindert de latentie van zoekopdrachten drastisch, van 549 milliseconden naar 31 milliseconden. Door deze optimalisaties worden AI-applicaties efficiënter en goedkoper om te draaien.
