Snowflake integreert oplossingen van de Nvidia AI Enterprise-suite in zijn eigen Cortex AI-oplossing.
Geen data zonder AI, en geen AI zonder Nvidia. ‘Nvidia’ is al meer dan een jaar het verplichte werk van iedere technologiespecialist die een event organiseert en Snowflake is geen uitzondering. Op de Snowflake Summit in San Francisco zet het bedrijf een verdere integratie van Nvidia-soft- en hardware met zijn eigen Cortex-opplossing en Arctic-LLM.
Verderbouwen op Huang
De integratie van Nvidia in het Snowflake-ecosysteem was groot nieuws tijdens de Summit vorig jaar. Nvidia-CEO Jensen Huang tekende toen present en met rede: de combinatie van de data cloud van Snowflake met de AI-capaciteiten van Nvidia heeft veel potentieel. Op de Summit dit jaar bouwen beide partijen verder op die samenwerking.
Zo integreert Snowflake de capaciteiten van Nvidia AI Enterprise in Cortex AI. Cortex AI is een laag tussen AI-functionaliteit en data, die het voor gebruikers eenvoudig moet maken om zowel eigen AI-oplossingen als kant-en-klare AI-functionaliteit in te zetten op hun data. Twee integraties staan in de schijnwerpers.
NeMo en Triton
Cortex AI zal werken met met Nvidia NeMo Retriever. Die zorgt voor snelle en efficiënte toegang tot de juiste data bij retrieval augmented-generatie, waarbij prompts naar een LLM voorzien worden van bedrijfseigen data voor nauwkeurigere resultaten. “Dit is een belangrijke aankondiging”, zegt Nvidia-CEO Jensen Huang op de jumbotron van de keynote, waarop hij recht vanuit Taipei binnenbelt. ‘We hebben nu de mogelijkheid te chatten met je bedrijfsdata. NeMo retriever is een compute engine waar we jaren aan gewerkt hebben.”
Mag het allemaal wat sneller gaan, dan kan je in Snowflake je AI-inferentie-apps nu draaien op een Nvidia Triton Inferentie-server. “Hoe snel en efficiënt je kan genereren, is wat de kost drukt”, aldus Huang.
Cortex AI is een serverless AI-implementatie voor Snowflake-klanten, wat voor een stuk betekent dat je als klant niet moet wakker liggen van de onderliggende hardware. Langs de andere kant zijn gespecialiseerde servers zoals een Triton-server efficiënter (maar ook duurder). Snowflake geeft gebruikers nu de keuze in wat hun AI-workloads aandrijft.
Nvidia-containers
Snowflake gaat ook nog Nvidia NIM integreren in zijn eigen platform. Nvidia lanceerde NIM op GTC 2024 en omschreef de oplossing toen als een reeks geoptimaliseerde cloud-native microservices die zijn ontworpen om de time-to-market te verkorten en de implementatie van generatieve AI-modellen overal te vereenvoudigen, op cloud-, datacenter- en GPU-versnelde werkstations. Samengevat kan je NIM gerust inferentie-microservices noemen.
Snowflake-gebruikers kunnen nu met NIP aan de slag binnen Snowflake als Native Apps binnen de Snowpark Container Services. Die containers draaien zo binnen de Snowflake-account van de klant, zodat data zoals steeds beschermd blijven. Robuuste datacontrole binnen een zero-copy-omgeving blijft immers de kern van alles wat Snowflake bouwt.
“We brengen GenAI naar de data”, zegt Huang nog. “Vroeger haalden we de data over het netwerk naar de computer. De data zijn zo groot geworden, dat het eenvoudiger is geworden om de compute naar de data te halen.”
Arctic
Tot slot komt het Arctic LLM aan bod. Snowflake lanceerde Arctic eerder dit jaar. Arctic moet concurreren met GPT-4 en andere LLM’s, en is gebouwd op maat van enterprises met een focus op datacontrole. Inferentie met Arctic is aanwezig binnen Nvidia NIM (dat op zijn beurt dus in Snowpark zit).
Snowflake noemde zich jarenlang ‘het datacloud-bedrijf’ en verwijst met die omschrijving naar het feit dat het bedrijf niet zomaar datawarehouse- of lake-functionaliteit biedt. De kracht van Snowflake zit in de eenvoud waarmee je interne data op een veilige manier aan het werk kan zetten, maar ook de manier waarop je die data kan beschikbaar stellen voor derden, of kan combineren met relevante externe databronnen. Dit jaar volstaat dat niet meer, en noemt Snowflake zich ‘het AI datacloud-bedrijf’. Geen AI zonder data, en geen data zonder AI: de toevoeging van de twee letters spreekt boekdelen.