Databricks introduceert Lakehouse//RT: een realtime uitbreiding van het Databricks Lakehouse. De oplossing draait op een nieuwe compute engine die een erg lage latency mogelijk maakt voor tienduizenden gelijktijdige gebruikers en AI-agenten.
Databricks kondigde op zijn Data+AI Summit in San Francisco Lakehouse//RT aan. De oplossing maakt realtime analyse mogelijk met een lage latency maar op grote schaal, op bestaande lakehouse-omgevingen. De drijvende kracht achter de capaciteit is de nieuwe Reyden-database engine.
Droom-engine
Reyden zorgt voor een lage latency en kan overweg met een hoge gelijktijdigheid van analyse-requests, zonder dat query’s beginnen wegen op de prestaties van de productie-database. De naam is een verwijzing (met kwinkslag) naar Databricks-medeoprichter Reynold Xin en staat voor Reynolds Dream Engine.
Bedrijven die lage latentie bij hoge gelijktijdigheid nodig hadden, moesten tot nu toe een aparte realtime serving-laag naast hun lakehouse opzetten. Dat brengt hogere infrastructuurkosten, gefragmenteerd beheer en data mee die nooit echt actueel zijn. Lakehouse//RT elimineert die noodzaak door Delta- en Iceberg-tabellen rechtstreeks te bevragen binnen het beheerde lakehouse, zonder data te kopiëren of te verplaatsen.
Voor ondernemingen die AI-agenten op schaal willen uitrollen, is die mogelijkheid cruciaal. Voor agenten is snelle toegang tot complexe bedrijfsdata onmisbaar.
Prestaties en beheer
Op analytische benchmarks haalt Lakehouse//RT een latentie onder de 100 milliseconden bij 12.000 zoekopdrachten per seconde. Op kleinere datasets daalt de responstijd tot tien milliseconden. Klanten zagen tot zestien keer betere prestaties dan hun bestaande gespecialiseerde serving-stacks.
Elke zoekopdracht draait binnen het governance-raamwerk van Unity Catalog, inclusief rechten en auditlogboeken. Er is geen aparte governance-laag nodig en geen gebruik van eigen formaten of synchronisatiepijplijnen.
Lakehouse//RT is nu beschikbaar in bèta. Gebruikers kunnen de oplossing direct inzetten op bestaande Delta- en Iceberg-tabellen zonder extra configuratie of ingestion-pijplijnen.