Wat is Zero-Copy, en wat kan je leren van de Canadese standaard voor data-integratie?

2266001985

Veel kopieën, weinig controle: vandaag gaan de meeste organisaties niet zo efficiënt om met data. In Canada komen CIO’s samen rond een nieuwe standaard: Zero-Copy Integration. Die moet komaf maken met datakopieën en organisaties helpen om in overeenstemming te blijven met regels zoals de GDPR.

Lost Canada de wildgroei van data op? Met Zero-Copy Integration onderneemt het land in ieder geval een poging. Zero-Copy is een standaard ontwikkeld door de Data Collaboration Alliance, samen met Canadese overheidsinstanties en CIO’s. De standaard moet ervoor zorgen dat organisaties moderne digitale oplossingen kunnen uitrollen zonder dat het beheer van bijhorende data een soep wordt. Hoewel Zero-Copy een Canadees initiatief is, biedt het framework een prima basis voor digitale transformatie wereldwijd.

Meer nood aan dezelfde data

De Zero-Copy Integration-standaard zag het levenslicht in een context waarin bedrijven en klanten steeds meer digitale ervaringen eisen, die idealiter met elkaar verbonden zijn. Dat zorgt voor een wildgroei van applicaties die toegang nodig heeft tot dezelfde data. Om dat te voorzien, worden gegevens over soms wel honderden systemen gekopieerd naar databases op maat van enkele toepassingen. Ontwikkelaars volgen die aanpak (vaak noodgedwongen) niet alleen voor externe toepassingen. Ook intern worden databases massaal gekopieerd ter ondersteuning van verschillende applicaties.

“Dat verkwanselt voor bedrijven wereldwijd bijna de helft van het IT-budget”, zegt Dan DeMers, President van de Data Collaboration Alliance, daarover. “Bovendien is het de reden dat burgers en bedrijven geen controle meer hebben over hun eigen data.” In 2020 schreven we al dat 82 procent van de bedrijven meer dan tien kopieën van databases hanteert. Over het algemeen is 65 procent van alle data in databases niet uniek.

Toch hoeft het niet zo te zijn. Er bestaan vandaag verschillende digitale oplossingen die kunnen voorkomen dat gegevens massaal gekopieerd moeten worden om bepaalde functionaliteit te bieden. Grote en vooruitstrevende organisaties wereldwijd maken daar al van gebruik. Snowflake verdient bijvoorbeeld de kaas op de boterhammen met een cloudgebaseerde oplossing waarbij applicaties, organisaties en mensen, zowel extern als intern, toegang krijgen tot gegevens vanuit dezelfde centrale dataset.

Basisprincipes

De Canadezen nemen de vlucht vooruit met een standaard die dergelijke praktijken aanmoedigt en in een raamwerk giet. “De notie van data te moeten kopiëren om die te delen, moet verdwijnen”, verduidelijkt Keith Jansa, Executive Director CIO Strategy Counsil in Canada. Zero-Copy Integration neemt de vorm aan van een reeks van zes principes die organisaties, ontwikkelaars, IT-beheerders en data-architecten moeten volgen om nodeloze kopieën te voorkomen.

  • Datacentriciteit krijgt prioriteit, samen met metadata, voor complexe code.
  • Modulariteit geniet de voorkeur boven monolithisch design.
  • Databeheer moet lopen via een gedeelde data-architectuur, niet over app-specifieke databases.
  • Universele toegangscontrole moet via de datalaag gebeuren.
  • Data governance loopt via de dataproducten en gefedereerde toegang, in de plaats van gecentraliseerde teams.
  • Data wordt gedeeld via samenwerking op basis van toegangsrechten, niet via kopieën.

Weg met de app-database

Dat verdient een beetje toelichting. Met datacentriciteit wil Zero-Copy Integration ervoor zorgen dat organisaties gegevens als hun voornaamste asset zien. De data zijn permanent, terwijl applicaties komen en gaan. De data-architectuur neemt zo voorrang op applicatieontwikkeling en staat er eigenlijk los van. Data zitten in een virtuele bibliotheek, applicaties komen ze daar inkijken.

Modulariteit bouwt daar op verder. Door een modulaire omgeving te ontwikkelen, is het eenvoudiger om met die centrale datasets te werken. Dat staat in contrast met rigide monolithische app-ontwikkeling, waarbij een eigen (gekopieerde) database moelijker te vermijden is.

Ook het derde punt is een extensie van dat principe. App-specifieke databases horen eigenlijk niet meer te bestaan wanneer toepassingen modulair zijn, en data een centrale primaire asset. Een database voor een app hoort niet te bestaan: alle data verdienen hun plaats in de centrale gegevensdatabank.

Gefedereerd beleid

Dat impliceert dat beveiliging en beleid op het niveau van de data moet plaatsvinden. Via de datalaag geef je toegang aan accounts en applicaties. Dat voorkomt dat een allegaartje aan applicaties met een veelvoud aan accounts voor verschillende toegangsrechten zorgt voor wat vaak dezelfde (gekopieerde) data is. Door alle gegevens centraal van rechten te voorzien, behoud je als organisatie overzicht en controle.

In die structuur is het mogelijk om controle over databeleid te plaatsen bij de experts die er kennis over hebben. Dat kan door beleid uit te werken waarin individuele teams binnen de marges van hun eigen toegangsrechten aan de slag kunnen, bijvoorbeeld met de uitrol van een applicatie. De aanpak staat in contrast met gecentraliseerd toegangsbeheer uitgevoerd door één data-team, dat ultieme en finale zeggenschap heeft over alle details. Uiteraard draagt iemand eindverantwoordelijkheid, maar een gefedereerd systeem zorgt er voor dat teams lager op de rechten-ladder nog wel binnen bepaalde lijntjes kunnen kleuren zoals ze willen.

Tot slot bepaalt de Zero-Copy-standaard dat alle toegang tot data via beleid en toegangsrechten moet gebeuren. Er is geen geldige reden meer om interne of externe rechthebbenden van een datakopie te voorzien, die zo zijn eigen leven kan gaan leiden. De eigenaar van de data behoudt zo te allen tijde de finale controle.

Cloud first?

Dat impliceert zeker wat externe toegang betreft dat Zero-Copy Integration uitgaat van een cloud first-aanpak. Enkel zo is het immers eenvoudig om externe partijen performante toegang te geven tot data. Applicaties die vertrouwen op de centrale database, verwachten responsiviteit. Is het file om data in te kijken of aan te passen in het centrale repositorium, dan lonkt opnieuw de verleiding om snel even een kopietje te maken voor een appspecifieke database en valt het hele plan voor Zero-Copy Integration in duigen.

Zero-Copy Integration heeft tal van voordelen. Data neemt geen nodeloze HDD- of SSD-ruimte in met extra kopietjes, er bestaan geen conflicterende versies meer van gegevens, toegangscontrole is eenvoudig, het overzicht blijft bewaard en audits voor compliance worden mogelijk.

De Canadezen bekijken de standaard als interessant voor zowel bedrijven als de overheid en burgers. Voor bedrijven biedt de moderne data-architectuur een flexibele manier om met digitale transformatie om te gaan. Door data en applicaties op een doordachte manier van elkaar los te trekken, wordt het eenvoudiger om nieuwe applicaties te bouwen en oude af te voeren. Wanneer Zero-Copy Integration breed wordt omarmt, ontstaat er bovendien een architectuur die waarmee data veilig en gecontroleerd gedeeld kan worden met externe partijen. Opnieuw denken we aan de ambities van Snowflake, dat met zijn Data Cloud toelaat dat bedrijven externe datasets met hun eigen gegevens combineren, of omgekeerd: ze kunnen hun data zelf ter beschikking stellen voor derden.

Solid

Kijken we naar individuele gebruikers, dan zien we met Zero-Copy een standaard die aansluit op het Solid-verhaal van Tim Berners-Lee. Solid is een data-architectuur die vertrouwt op datakluizen. Die kluizen vormen een centraal repositories van gegevens dat onder de controle blijft van de data-eigenaar. Volgens het Zero-Copy-principe kunnen (externe) applicaties de gegevens wel gebruiken, maar blijft de kluis de centrale opslagplek ervan.

De Vlaamse overheid loopt wat dat betreft niet achter op de Canadese. In Canada ontstaat met Zero-Copy Integration een standaard die zeker daar brede ondersteuning heeft van de IT-wereld, maar bij ons lopen volop experimenten met Solid. Beide initiatieven proberen een oplossing aan te reiken voor verschillende facetten van hetzelfde probleem.

nieuwsbrief

Abonneer je gratis op ITdaily !

  • This field is for validation purposes and should be left unchanged.