Snowflake ontpopt zich tot meer dan een dataspecialist. Voortaan kan je containers draaien in het Snowflake-platform. De complexiteit en het beheer neemt het bedrijf voor zijn rekening.
Snowflake lanceert een beheerde dienst voor containers. Daarmee kan je containers draaien binnen het Snowflake-platform. De hele dienst is in essentie een managed Kubernetes-oplossing, waarmee je naar believen code kan draaien binnen Docker-containers. Infrastructuurbeheer neemt Snowflake voor zijn rekening. De dienst krijgt de naam Snowflake Container Services.
Wat de back-end betreft, horen we een gekend verhaal. Zit vooral niet in met de achterliggende complexiteit, want alle beheers-euvels doet Snowflake. Snowpark-containers zijn klaar voor gebruik. “Met Snowpark Container Services kan de klant een Docker-image op de Data Cloud draaien terwijl Snowflake alles wat daaronder moet gebeuren, voor z’n rekening neemt”, verduidelijkt Prasanna Krishnan, Director Product Management voor Data Sharing bij Snowflake
Veilig binnen Snowflake
Het managed-aspect is dus verre van uniek, maar waar de containers draaien is dat wel. Snowflake integreert ze in zijn eigen platform, binnen zijn systeem van data-governance. De containers worden als het ware naar de data gebracht, zodat het omgekeerde niet hoeft te gebeuren. Daar zijn ze onderhevig aan alle governance- en policy-regels die gelden voor de gegevens in Snowflake.
Workloads moeten naar de data komen.
Frank Slootman, CEO Snowflake
Dat is belangrijk. “Wanneer je data naar apps brengt, ontstaan er silo’s”, zegt Snowflake-CEO Frank Slootman. “Daar moet je tegen vechten. Workloads moeten naar de data komen.”
Op maat van AI
Welke workloads? Zowat allemaal, inclusief AI-gerelateerde. Snowflake gebruikt containers als oplossing om externe Large Language Models (LLM’s) naar Snowflake te brengen. Die LLM’s kunnen van Nvidia komen, waar Snowflake een samenwerking mee aankondigde, maar ook van externe partijen zoals AI21Labs en Reka.
De containers met de modellen hebben niet voldoende bij klassieke rekenkracht om optimaal te functioneren. “In deze tijd heb je ook ondersteuning van GPU’s nodig”, beaamt Christian Kleinerman, Senior Vice President voor Product bij Snowflake. Dankzij de samenwerking met Nvidia is dat nu mogelijk, nog steeds zonder het Snowflake-platform te verlaten. “Training gaat tien keer sneller met acceleratie door Nvidia-GPU’s en is twee keer kosteneffectiever”, vertelt Kleinerman.
Native apps
De containerdienst werkt optioneel als onderdeel van Snowflakes Native App Framework, dat intussen algemeen beschikbaar is voor AWS-klanten. Zo kunnen gebruikers toepassingen in containers stoppen, en die publiceren als totaalpakket.
“Je kan een containertoepassing als app publiceren” aldus Krishnan. “Maar je kan ook een andere native app publiceren die dan beroep doet op een containerservice die draait bij de gebruiker of de aanbieder. De container biedt zo een functie aan, zoals bijvoorbeeld een LLM”
Snowflake Container Services is een erg belangrijke aankondiging voor Snowflake. Het bedrijf hamert erop dat data steeds centraal, veilig en beheerd op één plaats moeten staan en code naar de data moet verhuizen. De containerdienst maakt dat plots op een heel brede manier mogelijk.