Snowflake breidt zijn Cortex AI-platform uit met Cortex Search en Cortex Analist. Die LLM-gebaseerde chatbots kunnen op een betrouwbare manier vragen beantwoorden over respectief ongestructureerde en gestructureerde data.
Snowflake toont op de Snowflake Summit twee belangrijke uitbreidingen voor zijn Cortex AI-platform: Cortex Search en Cortex Analyst. Search is een module waarmee organisaties snel en chatbot kunnen bouwen die ongestructureerde data begrijpt, terwijl Analyst antwoorden geeft over vragen in gestructureerde data.
“Cortex Analyst vertaalt je vragen naar SQL, die je ook kan nakijken”, verduidelijkt Christian Kleinerman, EVP Product voor Snowflake. “En met Cortex Search willen we het eenvoudig maken voor gebruikers om een chatbot te bouwen voor tekstdata.”
State of the art
“Beide oplossingen zijn state of the art”, zegt Baris Gultekin, head of AI bij Snowflake tijdens een demo van de producten voor ITdaily. “De chatbots geven correcte antwoorden, en geven aan wanneer iets niet in de data staat. Ze hallucineren dus niet. Als een vraag niet duidelijk genoeg is, dan zullen ze geen antwoord geven voor je bijkomende info aanlevert.”
lees ook
Snowflake upgradet AI-aanbod met extra Nvidia-functionaliteit
Zowel Cortex Search als Cortex Analyst kan je via de nieuwe AL & ML Studio configureren. We zien Gultekin eerst een nieuwe bot maken met Cortex Search. Daarvoor heeft hij slechts enkele muisklikken nodig, waarin hij specifieert welke data als bron dienen. In casu gaat het over een map met enkele honderden pdf’s.
Antwoorden, maar niet altijd
Cortex Search analyseert de ongestructureerde data en extraheert via OCR de data. Die worden vervolgens gestructureerd en geïndexeerd. In enkele minuten is het proces klaar en kan Gultekin vragen stellen. “Hoe installeer ik Slack op mijn telefoon?” Search geeft een duidelijk leesbaar antwoord op die vraag, en refereert het brondocument dat de info bevat. Wanneer hij echter vraagt om Instagram te installeren, geeft Cortex Search aan dat het die info niet heeft.
Voor Cortex Analyst heeft Gultekin een vooraf geconfigureerde demo klaar. Daarin heeft de chatbot toegang tot gestructureerde data. Vraagt Gultekin naar de topproducten van een fictief bedrijf, dan merkt Analyst op dat het die vraag niet kan beantwoorden zonder meer info, aangezien top een ambigu begrip is.
SQL-specialist
Een concretere vraag werkt wel. Analyst vertaalt die vraag in een relevante SQL-query en haalt zo de relevante data op, allemaal op de achtergrond. Die data gebruikt de chatbot vervolgens om een antwoord te formuleren. “GPT-4 is al erg goed in SQL”, aldus Gultekin, “Maar dankzij onze optimalisatie is Cortex Analyst beter.” Op de achtergrond draait dit model op Mistral en Llama 3.
“We hebben het zo eenvoudig gemaakt om een chatbot te maken, dat iedereen het kan”, besluit Kleinerman. Dat illustreert Snowflake door op het grote keynote-podium een deelnemer uit het publiek aan het werk te zetten voor de demo. In ware demo-traditie loopt dat natuurlijk mis. Iedereen kan een chatbot bouwen, concluderen we, maar het helpt toch als de productbaas wat tips geeft tijdens het proces.
Cortex Search en Cortex Analyst zijn binnenkort als publieke preview beschikbaar.