Google lanceert een preview van een nieuwe dienst: BigLake. BigLake sloopt de muren tussen data lake en data warehouse en creëert een eengemaakte data-beheersomgeving over cloudproviders heen.
Google stelt BigLake voor: een geünificeerde storage engine. BigLake moet de toegang tot data vereenvoudigen. Daarbij is het van geen belang of gegevens nu in een data warehouse dan wel een data lake zitten. Ook de opslaglocatie is ondergeschikt. Google BigLake bevat immers de tools om toegang tot data in detail te regelen voor data lakes en data warehouses binnen het Google Cloud Platform zelf, maar ook op Azure Data Lake Storage Gen 2 en Amazon S3.
Gegevens in BigLake zijn beschikbaar naar analogie met BigQuery. Administrators kunnen vanuit BigLake duidelijk aangeven welke mensen of toepassingen toegang hebben tot de data. Daartoe biedt BigLake aangepaste controls die het toelaten om beveiligings- en privacybeleid te configureren op niveau van tabel, rij en kolom.
Abstractielaag
In feite abstraheert BigLake de achterliggende data, inclusief de opslaglocatie, zodat organisaties op een gecentraliseerde manier toegang krijgen tot al hun gegevens. Google hoopt zo silo’s te slopen. Vervolgens kan je naar believen aan de slag met data-analyse.
BigLake maakt gebruik van de BigQuery Storage API om data controls te implementeren. Dat impliceert dat BigLake dezelfde beperkingen heeft. De nieuwe engine ondersteunt CSV, Apache Parquet en JSON.
Opgepast voor misconfiguraties
Met BigLake wil Google data lake-administrators, data warehouse-beheerders en data-analisten aanspreken. Google wijst erop dat de juiste configuratie van rollen daarbij belangrijk is. Zo mogen analisten niet de rechten hebben om direct objecten te lezen vanuit de cloudopslag, of om zelf BigLake-tabellen op te zetten. Zo zouden ze toegangsregels gezet door administrators kunnen omzeilen.
Google BigLake is per direct beschikbaar in preview. Over algemene beschikbaarheid zegt Google nog niets.