Cosa si intende per data integration? Definizione e concetti chiave

Data integration significa letteralmente “integrazione di dati” e indica il processo che unifica i dati provenienti da diverse fonti affinché un’azienda possa sfruttare le informazioni in modo più proficuo. La data integration è strettamente correlata ai big data.
La provenienza dei dati da fonti così eterogenee, tra le quali possiamo citare sistemi di supporto alle vendite, sistemi CRM aziendali, sistemi di marketing, richiede vari processi per completarne l’analisi e per consegnare all’azienda un quadro completo.
Quando si deve gestire, catalogare ed elaborare una quantità complessa di dati, è necessario stabilire le relazioni che intercorrono tra le sorgenti, quindi è indispensabile ricorrere a tecnologie all’avanguardia.

La presenza sempre più incisiva della tecnologia nella quotidianità, soprattutto professionale, ha reso consapevoli le aziende della necessità di dotarsi di sistemi all’avanguardia per far fronte all’immensa quantità di dati in ingresso. Ma dove nasce l’esigenza di ricercare dati e successivamente analizzarli?
La complessità del mercato richiede alle aziende la consapevolezza di quali siano i loro punti di forza e i loro punti deboli al fine di mantenere o consolidare la competitività. Un processo produttivo snello e privo di intoppi, la capacità di prevenire eventuali battute d’arresto, un’assistenza alla clientela disponibile 24/7, una catena distributiva organizzata e fluida, la collaborazione fra i vari reparti sono solo alcuni esempi degli aspetti che si possono controllare e migliorare nell’ambiente aziendale.
Ma per concretizzare questi aspetti occorre raccogliere una vasta quantità di dati, filtrarli, classificarli e analizzarli. L’eterogeneità dei dati e delle fonti da cui provengono (fonti interne o esterne all’azienda, come i diversi reparti che comprende o le informazioni giunte da social media) richiedono un’elevata capacità di interoperabilità, possibile solo grazie a sofisticati sistemi di data integration e alla conservazione nel cloud.
L’organizzazione dei dati è quindi cruciale, ma non esistono soluzioni uniche; ogni azienda troverà il sistema che meglio si adatta alle proprie esigenze e applicherà le strategie che riterrà più adeguate.
Accanto alla data integration si trova spesso il concetto di data enrichment: i due processi non vanno confusi, non sono intercambiabili. Il data enrichment agisce sulle banche di dati già esistenti, poiché è il processo deputato ad aggiornare e arricchire le informazioni già filtrate e presenti. È noto anche come data cleansing o data tagging. È un ottimo ausilio anche al miglioramento dei dati, poiché in grado anche di individuare e correggere la presenza di errori.

Il processo di integrazione dei dati si articola nelle seguenti fasi:

• assimilazione:
• pulizia;
• mappatura;
• trasformazione;
• elaborazione.

L’assimilazione è la fase di ricerca ed estrazione dei dati dalle fonti, cui segue la conservazione in una piattaforma accessibile. Successivamente, il server che ha individuato i dati, ne individua la qualità e li “pulisce” per conformarli al modello richiesto. I dati vanno poi semplificati, per facilitarne l’elaborazione, e ne vanno evidenziate le connessioni. Con la trasformazione, i dati vengono riuniti in un unico formato, conforme a quello predefinito dal sistema. I dati sono così pronti per la fase finale, l’elaborazione, che genera le informazioni utilizzabili concretamente dall’azienda.

Nella fase di ricerca, le aziende si imbattono in diverse tipologie di dati, che richiedono diverse strategie di trattamento.
I dati possono essere classificati secondo le seguenti categorie:

• dati machine to machine (M2M), generati da dispositivi elettronici;
• dati people to machine: come suggerisce il nome, sono il risultato dell’interazione tra dispositivi elettronici e uomo;
• dati people to people, generati dall’interazione tra persone, ad esempio i commenti sui social media;
• public admin data: noti anche come open data, sono reperibili nelle banche dati di pubblico dominio, accessibili a chiunque abbia la necessità di consultarli, senza censura;
• enterprise data, dati contenuti nelle banche dati aziendali.

La data integration può essere eseguita secondo varie modalità, basicamente relazionate alla natura dell’azienda e alla tipologia di problemi da risolvere o alle esigenze dell’utenza.
Le modalità più comuni sono:

• l’integrazione manuale, ideale solo per le aziende più piccole che devono gestire una mole esigua di dati, che vengono raccolti manualmente dalle diverse fonti e riassunti in un data warehouse;
• l’integrazione mediante middleware, che permette la classificazione dei dati grazie a un’applicazione che riveste la funzione di mediatore;
• l’integrazione mediante applicazioni; come suggerisce la denominazione, l’applicazione si occupa di integrare i dati recuperati da diverse fonti dopo averli resi intercompatibili;
• l’integrazione con accesso uniforme; anche in questo caso si tratta di rendere omogenei i dati provenienti da fonti eterogenee, senza però rimuoverli dalla sorgente originale;
• l’integrazione in un sistema di storage comune che, a differenza dell’integrazione con accesso uniforme, esegue una copia dei dati e li immagazzina in un sistema integrato.

I dati raccolti vanno opportunamente conservati. Di seguito vengono descritti gli approcci più comuni per il processo di immagazzinamento.
I silos conservano i dati in ambienti isolati, che di norma corrispondono ai reparti dell’azienda. I dati strutturati, risultato di quelli provenienti da fonti esterne e interne all’azienda, sono immagazzinati nel data warehouse. Il data lake, al contrario, è custode dei dati grezzi, non strutturati e non ancora unificati nel formato. Le potenzialità del data warehouse e del data lake convogliano nel modello integrato.

L’azienda è un organo complesso, fatto di diversi reparti, ognuno custode di informazioni che devono essere facilmente accessibili in ogni istante anche agli altri, non solo in caso di progetti condivisi ma anche individuali. La data integration è la scienza che permette questa collaborazione all’interno dell’azienda.
Se la data integration viene realizzata correttamente, consente un notevole risparmio di tempo che può essere sfruttato per un’analisi più approfondita dei dati raccolti. Sarà più immediato eseguire un report, senza doverlo rielaborare per inserire modifiche.
Anche la qualità dei dati beneficia di miglioramenti grazie alla data integration, poiché la presenza di un sistema centralizzato permette la rapida identificazione delle anomalie e garantisce accuratezza.

Per i colossi (basti pensare ai più comuni social media) che ogni giorno si trovano a gestire una mole continua e incalcolabile di informazioni, integrare i dati è l’unica strategia applicabile per elaborare i data lake.
Anche la creazione di data warehouse sfrutta la data integration e permette di generare una mole di informazioni omogenee, utili per l’esecuzione di query e report.
Tutto questo rende più snelli i processi di business intelligence, filtrando i dati e diminuendo così la quantità di informazioni superflue.
Tra le altre applicazioni della data integration va citato il processo ETL (acronimo dell’inglese extract – transform – load, vale a dire estrazione, trasformazione, caricamento), che si occupa di immagazzinare le informazioni proveniente da diverse fonti in un data warehouse.

Lo scopo della data integration è l’unificazione dei dati. Ogni dato e le informazioni che derivano dalla sua elaborazione hanno un valore incalcolabile per un’azienda, ma è la fruibilità che li rende irrinunciabili per il business. Un dato grezzo non apporta alcuna informazione aggiuntiva ed è privo di valore semantico se non è relazionato alle informazioni di altri dati. È questo che fa la differenza, che permette alle aziende di avere una visione a 360° delle proprie criticità, delle aree di miglioramento, delle richieste dell’utenza e della propria posizione sul mercato.
La mancata condivisione tra i vari reparti delle informazioni che derivano dall’analisi dei dati è controproducente. L’integrazione dei dati agevola i processi di comunicazione poiché rende accessibili a tutti nozioni di vitale importanza per il successo dell’azienda, per il miglioramento di servizi e prodotti e per implementare l’esperienza utente.
È fondamentale che ogni realtà individui il sistema più adatto per l’integrazione dei dati, non solo a scopo di elaborazione ma anche a protezione dei dati in suo possesso.