Snowflake verlaagt de inferentiekosten voor Meta’s Llama-modellen met tot 75 procent. Dat is mogelijk dankzij SwiftKV: een nieuwe optimalisatietechnologie binnen Snowflake Cortex AI die het ophalen van AI-inferentiegegevens efficiënter maakt.
Snowflake claimt dat het de inferentie-tijd en kost voor Llama-modellen 50 procent tot 75 procent omlaag kan halen met dank aan een nieuwe techniek. Die techniek doopt het bedrijf SwiftKV, en zit ingebakken in CortexAI.
Snelheidsboost
SwiftKV is een opslag- en opzoektechnologie die de snelheid en efficiëntie van AI-inferentie binnen Snowflake verhoogt. Volgens Snowflake verlaagt deze technologie de hoeveelheid rekenkracht die nodig is voor het uitvoeren van grote taalmodellen (LLM’s) zoals Meta’s Llama 2 en Llama 3. Hierdoor dalen de kosten van AI-inferentie aanzienlijk.
SwiftKV werkt door veelgebruikte modelgegevens slimmer te cachen en sneller toegankelijk te maken. Zo verkort de reactietijd van AI-modellen en vermindert de belasting op de onderliggende infrastructuur. Bedrijven die Llama-modellen gebruiken binnen het Snowflake-platform kunnen zo snellere en goedkopere AI-toepassingen bouwen.
Met hhet Llama 3.3 70B-model ziet Snowflake met SwiftKV een daling van de inferentiekost met de helft. Voor Llama 3.1 405B gaat het zelfs om 75 procent.
Essentieel voor het platform
Snowflake breidt zijn AI-functionaliteiten steeds verder uit, onder andere via Cortex AI. Dat is nodig: het bedrijf positioneert zichzelf als datacloud-partner, en wil zich ontfermen over de data van klanten binnen het eigen platform. Wie vandaag z’n data op orde heeft, verwacht echter AI-workloads te kunnen draaien. Daar moet Snowflake zo efficiënt mogelijk aan tegemoet komen. Cortex AI stelt bedrijven in staat om machine learning en generatieve AI binnen Snowflake te gebruiken zonder dat ze complexe infrastructuur hoeven te beheren.
Door SwiftKV toe te voegen aan Cortex AI speelt Snowflake in op de groeiende vraag naar efficiënte AI-oplossingen. De optimalisaties voor Meta’s Llama-modellen maken het platform aantrekkelijker voor organisaties die AI binnen hun data-omgeving willen integreren. Snowflake probeert steevast om oplossingen in het platform efficiënter te laten draaien, en ontwikkelde eerder al optimalisaties voor de Llama-modellen.