Weet je nog de laatste keer dat je ging verhuizen? Je moest waarschijnlijk te veel spullen inpakken, in een vrachtwagen vervoeren en op de nieuwe locatie uitpakken, in de hoop dat alles de reis overleefde. Stel je voor dat je je meubels en0 bezittingen gewoon kon teleporteren naar je nieuwe huis. In de fysieke wereld is het (nog) niet mogelijk, maar met zerocopy-integratie is dat wel een manier om je klantdata te verwerken.
Dankzij zero-copy of zero ETL (extract-transform-load) is het mogelijk om gegevens te delen tussen twee of meer archieven zonder deze daadwerkelijk te verplaatsen. Dit is goed nieuws voor bedrijven die data opslaan in een cloud-datawarehouse zoals Snowflake of Google BigQuery. Sommigen van hen zijn terughoudend om gebruik te maken van een customer data platform (CDP) omdat ze geen data willen dupliceren.
En dat hoeft ook niet. Met behulp van zero-copy-integratie kunnen gebruikers profiteren van een CDP, zoals dataharmonisatie, identiteitsbeheer, ingebouwde analyse en activering, zonder de nadelen van fysieke dataverplaatsing.
Het volgende komt aan bod:
- Wat is zero-copy-integratie?
- Wat is een datawarehouse?
- Hoe het werkt: van CDP tot datawarehouse
- Hoe het werkt: van datawarehouse tot CDP
- Hoe Buyers Edge zero-copy-technologie gebruikt
Wat is zero-copy-integratie?
Met zero-copy-integratie kun je toegang krijgen tot data die tegelijkertijd in meerdere verschillende databases staan, zonder iets te hoeven verplaatsen, kopiëren of opnieuw te formatteren. Het maakt de toegang niet alleen sneller en gemakkelijker, het vermindert ook de kosten en het risico op fouten die altijd ontstaan wanneer data moeten worden verplaatst of gewijzigd.
Het kopiëren van data van de ene database naar de andere komt vaak voor. Vaak is er bij dit proces sprake van een vorm van datatransformatie die extract-transform-load (ETL) wordt genoemd. Dit kan een nuttige en zelfs noodzakelijke stap zijn bij het beheren van bedrijfsdata.
Maar het heeft ook zijn uitdagingen. Dit zijn een aantal verschillen tussen traditionele (kopieer)methoden en de zero-copy-aanpak:
| Traditioneel | Zero-copy | |
|---|---|---|
| Replicatie | Brondata gekopieerd van de oorspronkelijke locatie naar het doel | Data blijft op de oorspronkelijke locatie |
| Updates | Data is alleen nauwkeurig vanaf het laatste synchronisatiepunt | Data is in realtime toegankelijk |
| Kosten | De gebruiker betaalt de kosten voor het verplaatsen en synchroniseren van data | Geen kosten voor dataverplaatsing |
| Voorschriften | Moeilijker om te voldoen aan de regelgeving vanwege complexer beheer | Gebruiker alleen verantwoordelijk voor brondata |
| Fouten | Elke dataverplaatsing brengt het risico op fouten of vergissingen met zich mee | Geen fouten door verplaatsing |
| Onderhoud | Kopiëren en synchroniseren zorgt voor meer complexiteit | Eenvoudiger te beheren |
Doorgaans brengt het fysiek kopiëren van data kosten met zich mee voor datatransport en een risico op fouten, bemoeilijkt het databeheer en -governance en zorgt het voor vertragingen bij het synchroniseren van gegevens.
Hoe gaat zero-copy-integratie in zijn werk? Het feitelijke mechanisme verschilt van platform tot platform en het is een verschil of je toegang hebt tot data van het CDP naar het datawarehouse of vice versa.
In de volgende voorbeelden gebruiken we Salesforce Data Cloud als het CDP en onze partner Snowflake als het datawarehouse. Deze kunnen worden vervangen door andere leveranciers met nagenoeg dezelfde uitleg.
Meer informatie
Wat is een datawarehouse?
Een datawarehouse is niet meer dan een betrouwbare plek voor opslag van en toegang tot data die belangrijk is voor het bedrijf.
Traditionele datawarehouses werken met zeer gestructureerde data in opgemaakte tabellen, en ze zijn vaak vrij traag en ingewikkeld. Aan de andere kant kunnen moderne datawarehouses zoals Snowflake bijna elk type data aan, verwerken ze snel en zijn ze gemakkelijker in het gebruik. Omdat ze zijn gebouwd op cloudplatforms zoals Amazon en Google, zijn ze gemakkelijker te koppelen aan andere systemen zoals CDP’s die dezelfde platforms gebruiken.
Hoe het werkt: van CDP tot datawarehouse
In dit geval bevinden we ons in ons datawarehouse en willen we toegang tot data die zich in het CDP bevinden. Met andere woorden, informatie gaat vanuit het CDP naar het datawarehouse. Dit proces wordt ook wel datasharing genoemd.
De gebruikelijke stappen zijn:
- Vaststellen van de objecten (of stukjes data) in het CDP die je wilt delen. In het geval van Salesforce Data Cloud worden dit data-lake-objecten (opgeschoonde data), datamodel-objecten (gestructureerd door de CDP-gebruiker voor hem of haar businesscases) en berekende inzicht-objecten (voor formules zoals lifetime value) genoemd.
- Koppel deze objecten met behulp van point-and-click aan het doel, in dit geval Snowflake.
- In Snowflake kan de gebruiker tegelijkertijd query’s uitvoeren op gegevens in Snowflake en op de objecten die via de datashare zijn gekoppeld.
Achter de schermen maakt het proces ‘virtuele tabellen’ die de data in Data Cloud aan Snowflake beschrijven. Een virtuele tabel lijkt op een kijkje in data in een database, maar in plaats van daadwerkelijke data te kopiëren en op te slaan, bevat een virtuele tabel alleen de structuur van de data. Het is een blauwdruk of pointer naar de juiste plaats in het CDP om de data op te halen, maar de data zelf blijven in het CDP.
“Het is mogelijk om live data op te vragen in Salesforce vanuit Snowflake en ervoor te zorgen dat wijzigingen in de Salesforce-objecten worden weerspiegeld in Snowflake”, legt Salesforce Data Cloud product manager Sriram Sethuraman uit. “Hierdoor kunnen ontwikkelaars en datawetenschappers machine learning-modellen en AI-gestuurde apps bovenop het Snowflake-platform bouwen door Salesforce- en Snowflake-data samen te voegen.”
Hoe het werkt: van datawarehouse tot CDP
Als we in ons CDP zitten, willen we toegang krijgen tot data die zich in ons datawarehouse bevinden. Dit proces wordt ook wel datafederatie genoemd.
Er zijn tal van goede redenen om dit te doen. Datawarehouses zoals Snowflake en Google BigQuery bevatten meestal een enorme hoeveelheid data, waaronder transactiedata zoals aankopen en productdata. Hoewel dit geen typische ‘klantdata’ zijn, kan dergelijke informatie zeer nuttig zijn bij het berekenen van de loyaliteitsstatus van een klant of het maken van een aanbeveling op basis van producten die ze kopen.
Dit is bijvoorbeeld hoe je toegang kunt krijgen tot data in een datawarehouse in Salesforce Data Cloud:
- Salesforce Data Cloud ‘mount’ tabellen uit het datawarehouse als externe data-lake-objecten. (‘Mounting’ is het proces waarbij een virtuele datablauwdruk wordt gemaakt, zoals hierboven beschreven.)
- Data Cloud voert zijn gebruikelijke functies uit, zoals ID-beheer, analyse, segmentatie, enz.
- Het CDP heeft toegang tot gegevens uit het datawarehouse door federatieve (of gecombineerde) query’s uit te voeren die gegevens bevatten in Data Cloud en de objecten die door het datawarehouse worden geleverd.
Hoe Buyers Edge zero-copy-technologie gebruikt
Het succes van cloud-native datawarehouses zoals Snowflake, Databricks, Google BigQuery en Amazon Redshift is heel logisch. We hebben gezien dat veel klanten er op zijn minst mee experimenteren en velen gebruiken ze als een integraal onderdeel van hun data-architecturen. Maar geen enkel datawarehouse vervult alle functies van een CDP, zoals identiteitsbeheer en gebruiksvriendelijke analyses.
Buyers Edge, een toonaangevend bedrijf voor inkoopoptimalisatie in de foodservice, wilde een uniform klantprofiel opbouwen in een CDP, en tegelijkertijd toegang krijgen tot inkoopdata die zijn opgeslagen in een datawarehouse. Hun belangrijkste doel is om hun sales- en marketingteams te voorzien van betere klantinzichten.
Door gebruik te maken van de zero-copy-connectie tussen Data Cloud en hun warehouse, krijgt Buyers Edge toegang tot de aankoopdata die ze nodig hebben om prognosemodellen te bouwen, waardoor sales- en marketingteams hun prospects en klanten betere aanbiedingen, berichten en ervaringen kunnen bieden.
“Met zero-copy-technologie krijg je moeiteloos toegang tot klantdata die zijn opgeslagen in Salesforce, waardoor dataverplaatsing, duplicatie of opnieuw formatteren niet meer nodig is”, zegt Sean Donahue, chief of staff voor het Buyers Edge Platform. “Dit bespaart tijd en resources en elimineert datasilo’s, het harmoniseert data voor inzichten en analyses, en het geeft bedrijven een realtime, holistisch beeld van onze klanten.”
En naarmate bedrijven als Buyers Edge zich ontwikkelen, zullen hun eisen veranderen. Daarom kan een technologie als zero-copy hen en anderen helpen een flexibelere strategie voor databeheer op te bouwen.
Grotere bedrijven hebben immers gemiddeld 976 verschillende applicaties die hun bedrijf draaiende houden, en de hoeveelheid data die wordt gemaakt, vastgelegd, gekopieerd en verbruikt, zal naar verwachting van IDC tegen 2026 meer dan verdubbeld zijn. Dankzij de kracht van het delen van zero-copy datasharing, zal de dreigende data-explosie een stuk gemakkelijker te benutten zijn.
Wees een zero-copy-held
In dit gratis webinar zie je hoe bedrijven zero-copy-technologie gebruiken met Data Cloud en Snowflake om zaken minder ingewikkeld te maken en een betere klantervaring te bieden.
