Dataspecialist Databricks geeft zijn Lakehouse-platform een flinke boost. De combinatie van datawarehouse en datalake krijgt nieuwe functies die doen denken aan de sterktes van concurrent Snowflake.
Op zijn Data + AI Summit kondigt Databricks nieuwe functionaliteit voor zijn Lakehouse aan. Lakehouse is een marketingterm voor het platform dat Databricks bouwde, waarbij data lake (voor ongestructureerde gegevens) en data warehouse (voor gestructureerde data) samensmelten. Databricks wil met andere woorden dat organisaties al hun data in het Lakehouse pompen, om van daaruit inzichten te creëren.
Marketplace en Data Cleanroom
De introductie van de Databricks Marketplace en de Data Cleanrooms-functionaliteit springt het meest in het oog. Via de marktplaats kunnen organisaties data en analytics-assets delen en verkopen aan andere organisaties. Bedrijven kunnen ook dashboards via de marktplaats aanbieden. Data gedeelt via de marktplaats moet niet verplaatst of gerepliceerd worden. Via het Databricks-platform kunnen providers hun gegevens aan klanten actief bij verschillende cloudproviders aanbieden.
De Data Cleanrooms bieden een aanvullende capaciteiten. Via de cleanrooms kunnen verschillende bedrijven datasets op een veilige manier met elkaar delen en datasets combineren, opnieuw zonder dat gegevens naar een externe locatie worden gekopieerd.
Handig maar niet uniek
Databricks geeft aan dat de marktplaats verder gaat dan de concurrentie omdat het mogelijk is om meer dan alleen datasets aan te bieden. Voor de Data Cleanrooms prijst het bedrijf dan weer dat er geen risico is op duplicatie van gegevens (en bijhorend controleverlies).
Die troeven zijn in de praktijk niet zo uniek. Concurrent Snowflake kondigde pas nog zijn Snowflake Marketplace aan waarlangs bedrijven data, inzichten, ML-modellen en meer kunnen delen en die zo nog iets uitgebreider lijkt dan de versie van Databricks. De Data Cleanrooms zijn evenmin nieuw zullen wanneer Databricks ze binnen enkele maanden op het publiek loslaat ongeveer hetzelfde functioneren als het gelijknamige alternatief van Snowflake.
lees ook
Applicaties, ijsbergen en een beetje crack: hoe Snowflake het datalandschap door elkaar wil schudden
De aankondiging toont wel een trend aan. Het volstaat niet meer om data gewoon samen te brengen en inzichten te vergaren: er zit een heel groot potentieel bij het combineren van datasets over de bedrijfsgrenzen heen. Dat kan geld opbrengen en moet veilig verlopen: twee zaken waar de nieuwe Marketplace en Cleanrooms op inspelen.
Andere nieuwigheden
Databricks kondigt nog verschillende andere verbeteringen aan voor zijn platform. Zo verschijnt er een preview van SQL Serverless op AWS, dat query’s en Elastic Compute combineert tot een geheel dat voordeliger moet zijn voor de eindafrekening van de klant.
De query-engine Photon komt verder weer naar Databricks Workspaces e, SQL CLI laat ontwikkelaars toe om queries op hun lokale systemen te draaien. Om sneller van data naar een machine learning-model te gaan, introduceert Databricks MLflow 2.0. Die oplossing blijft bovendien opensource.