Databricks overbrugt de kloof tussen transactionele databases en analyse met de lancering van LTAP. Dat moet agenten toelaten om meteen aan de slag te gaan met verse transactiegegevens.
Op zijn Data+AI Summit in San Francisco lanceert Databricks LTAP. De ambitie is groot: het bedrijf wil in essentie twee verschillende databases, terug te vinden bij de meeste organisaties en tot nu met reden gescheiden, versmelten. Voor wie van afkortingen houdt: LTAP maakt komaf met de scheiding tussen OLTP en OLAP, net als de bijbehorende ETL-pijplijnen. Dat opent de deur voor AI-gedreven analyse op actuele transactionele data, zonder impact op de prestaties van de transactiedatabase.
Dat is groot nieuws, aldus CEO en medeoprichter Ali Ghodsi. “Ingenieurs proberen OLTP en OLAP al bijna 45 jaar te integreren, en nu is het gelukt.”
Weg met de scheiding
Databricks maakt zo komaf met de historische scheiding tussen OLTP (Online Transaction Processing) en OLAP (Online Analytical Processing) omdat dat nodig is voor een AI-gedreven toekomst.
De huidige architectuur gaat uit van die scheiding. OLTP-databases bewaren snelle transactiedata, die in realtime worden toegevoegd. Denk aan verkoopdata van een winkelketen, of geldafhalingen bij bankautomaten. Prestaties en onfeilbare uptime zijn essentieel. Om daar analyses op uit te voeren, worden de OLTP-data naar OLAP-databases omgezet via een ETL (extract, transform, load)-pijplijn. De analyse van de data gebeurt op die database.
Zero copy
Dat druist in tegen het zero copy-principe dat Databricks onderschrijft. Data worden immers gekopieerd van de ene naar de andere context. Dat brengt complexiteit met zich mee, ook wat beheer betreft, maar is bovendien niet schaalbaar. Databricks stelt vast dat de architectuur al kraakt wanneer business intelligence door mensen gedreven wordt, maar dat ze helemaal zal barsten wanneer analyse op de snelheid van AI-tools gebruikt wordt.
LTAP moet het euvel dus verhelpen. Databricks brengt OLTP en OLAP samen in een enkele laag, met een enkel beheerformaat en vooral in een enkele kopie. Het systeem biedt zowel de snelheid en betrouwbaarheid die nodig is voor de realtime-ondersteuning van transacties, als de capaciteiten om zware analyses uit te voeren op de data.
Ieder zijn motor
Langs de technische kant maakt Databricks dat mogelijk door gegevens en rekenkracht van elkaar te scheiden, en de data te bewaren in een open datalake. De transacties en de analyse krijgen ieder hun compute engine, zodat die respectievelijke workloads niet in elkaars vaarwater lopen.
De OLTP-data worden vlot gespiegeld in een kolomgebaseerd formaat, terwijl de lijngebaseerde gegevens wel intact blijven. Dat gebeurt bliksemsnel, zonder relevante prestatie-impact. Vervolgens kunnen de verschillende database-engines, ieders geschikt voor hun doel, op hun manier met de data aan de slag.
De oplossing is gebouwd op open object storage en volgt standaard Postgres-semantiek. Databricks verwacht dat zijn LTAP-oplossing klanten consolidatie biedt, zonder dat ze daar compatibiliteit voor hoeven op te geven.
Op de Data+AI Summit denkt Databricks met LTAP een architectuur in de markt te hebben gezet die AI-gedreven analyse kan ondersteunen. Waar de eengemaakte architectuur in theorie voordelen biedt ook buiten de AI-context, zijn het AI-agenten en AI-analyses die de modernisering van de databases moeten drijven.
Van continenten naar pangea
Ghodsi stelt de versmelting voor als het einddoel in een jarenlange ontwikkeling. Data stonden eerst op eigen eilanden, en moesten overgezet worden om bruikbaar te zijn.
Dat probleem probeert Databricks al lang op te lossen. Het bedrijf koppelde eerst data engineering aan datascience, en voegde daar later data warehousing aan toe. Realtime-analytics is sinds kort ook mogelijk, en nu is er de koppeling met OLTP.