Cloudera lanceert AI Inference, een nieuwe service die gebruikmaakt van Nvidia-technologie voor snellere verwerking van AI-modellen. De dienst richt zich op het veilig beheren en implementeren van grootschalige AI-toepassingen, waaronder Generatieve AI (GenAI), en biedt tot 36 keer snellere prestaties.
Cloudera AI Inference is een van de eerste AI-inferentieservices die gebruikmaakt van Nvidia NIM-microservices. Deze integratie, onderdeel van het Nvidia AI Enterprise-platform, maakt het mogelijk om grootschalige AI-modellen sneller te implementeren en te beheren. Organisaties kunnen hierdoor GenAI efficiënter uit de pilotfase halen en in de praktijk toepassen. De service helpt ontwikkelaars om Large Language Models (LLM’s) te bouwen en te beheren met geavanceerde beveiliging en schaalbaarheid.
De samenwerking tussen Cloudera en Nvidia biedt verbeterde prestaties door het gebruik van Nvidia’s Tensor Core GPU’s. Dit resulteert in een 36 keer snellere verwerking dan bij traditionele methodes. De nieuwe service biedt directe integratie van de gebruikersinterface en API’s met Nvidia NIM-microservicecontainers. Hierdoor wordt de noodzaak voor complexe tools zoals CLI’s verminderd, wat het beheer en de monitoring van AI-modellen vereenvoudigt.
Veiligheid en schaalbaarheid centraal
Een belangrijk kenmerk van Cloudera AI Inference is de nadruk op veiligheid en privacy. De dienst voorkomt dat gevoelige gegevens lekken naar door leveranciers gehoste AI-modelservices, door bedrijven de controle te geven over de ontwikkeling en implementatie van hun eigen AI-modellen. Bovendien ondersteunt de service zowel on-premises als cloud-gebaseerde implementaties, wat flexibiliteit biedt aan organisaties die strikte naleving van regelgeving vereisen.
De dienst is uitgerust met functies voor schaalbaarheid, monitoring en beveiliging. Hierdoor kunnen organisaties efficiënt AI-modellen implementeren, terwijl ze voldoen aan compliancenormen en governancevereisten. Automatische schaalbaarheid en real-time prestatietracking helpen problemen snel op te sporen en op te lossen, wat zorgt voor optimaal resourcebeheer. Cloudera’s integratie met Nvidia biedt een oplossing voor bedrijven die betrouwbare AI willen inzetten zonder complexe doe-het-zelfbenaderingen.