Costruzione di un data lake, quali architetture e vendor scegliere

Quali sono le caratteristiche principali di questo strumento di archiviazione dei dati, che sta diventando sempre più strategico per le imprese che puntano sugli analytics per identificare opportunità di business. Le migliori offerte sul mercato, tra soluzioni Open Source e prodotti su licenza

Perché nell’ambito dei sistemi di archiviazione e gestione delle informazioni a supporto delle attività di business si sente sempre più spesso parlare di costruzione di un Data Lake? Il motivo è semplice. Si tratta di uno strumento che consente alle organizzazioni che puntano sugli analytics per identificare opportunità e minacce di agire più velocemente, grazie alla possibilità di prendere decisioni informate a partire da grandi volumi di input.

Un vantaggio enorme soprattutto quando l’obiettivo è quello di operare in real time e in ottica omnichannel: dal settore del retail a quello del manufacturing, le imprese possono infatti essere più vicine ai clienti e aumentare la produttività dei processi in funzione delle variabili di scenario, adottando modelli proattivi nel go-to-market e abilitando logiche predittive rispetto alla manutenzione dei macchinari.

Riuscendo a far convergere i dati provenienti da diverse fonti, a partire dai file di log, dai flussi multimediali, dai social media e dai dispositivi connessi a Internet, i data lake quindi rivoluzionano il modo in cui le imprese riescono a sfruttare il proprio patrimonio informativo

Indice degli argomenti

Che cos’è e come funziona un Data Lake

Ma esattamente cos’è un Data Lake? È un sistema di storage che conserva una grande quantità di dati grezzi nel loro formato nativo fino a quando non sono necessari per le applicazioni di analisi. Mentre un Data Warehouse tradizionale archivia i dati in tabelle e dimensioni gerarchiche, un Data Lake utilizza un’architettura orizzontale per salvare e conservare gli input, principalmente in file o oggetti.

In generale, questo approccio offre agli utenti una maggiore flessibilità nella gestione, nell’archiviazione e nell’utilizzo degli input, in una combinazione di dati strutturati, non strutturati e semistrutturati.

Parliamo di ambienti non adatti ai database relazionali, su cui si basa la maggior parte dei Data Warehouse: richiedendo uno schema rigido, sono in genere limitati all’archiviazione dei dati strutturati delle transazioni. I Data Lake supportano, invece, diversi schemi e non richiedono la definizione di alcuno schema a priori. Ciò consente di gestire diversi tipologie di dati in formati separati.

Di conseguenza, i Data Lake sono una componente chiave per abilitare diversi casi d’uso, sempre più importanti nella gestione di business digitali e omnicanale. Le aziende più innovative, infatti, li adottano e li utilizzano principalmente come piattaforma per l’analisi dei Big Data e per altre applicazioni di data science, che richiedono grandi volumi di informazioni e che prevedono tecniche di analisi avanzate, come il data mining, la modellazione predittiva e l’apprendimento automatico.

L’architettura per la costruzione di un Data Lake

I Data Lake sono spesso associati ai sistemi Hadoop. Nelle implementazioni basate sul framework di elaborazione distribuita, i dati sono caricati nell’Hadoop Distributed File System (HDFS) e risiedono sui diversi nodi di computer di un cluster Hadoop. Sempre più spesso, però, i Data Lake vengono costruiti su servizi di Cloud Object Storage invece che su Hadoop. Anche alcuni database NoSQL sono utilizzati come piattaforme di Data Lake.

Per dare vita a un “lago di dati” si possono utilizzare diverse tecnologie, combinabili in modi differenti. Ciò significa che l’architettura varia spesso da organizzazione a organizzazione.

Bisogna inoltre precisare che non tutti i Data Lake memorizzano solo dati grezzi: alcuni set di dati possono essere filtrati ed elaborati per l’analisi quando vengono ingeriti. In tal caso, l’architettura scelta deve consentire questa operazione e includere una capacità di archiviazione sufficiente per i dati preparati. Molti di essi integrano pure sandbox di analisi, spazi di archiviazione dedicati che i singoli data scientist possono utilizzare per lavorare con i vari oggetti.

I principi architettonici che distinguono i Data Lake dagli archivi di dati tradizionali

A prescindere dalle considerazioni appena fatte, esiste una serie di principi architettonici che distinguono i Data Lake dagli archivi di dati tradizionali. Innanzitutto, nessun dato deve essere eliminato. Tutto ciò che i sistemi di origine raccolgono può essere caricato e conservato in un “lago” se lo si desidera.

I dati, come detto, possono essere archiviati così come sono stati ricevuti dal sistema di origine e poi trasformati e inseriti in uno schema in base ai requisiti specifici di analisi, un approccio noto come schema-on-read.

Qualunque sia la tecnologia da utilizzare per l’implementazione di un Data Lake, è necessario includere altri elementi per garantire che la soluzione sia funzionale e che i dati in esso non vadano sprecati.

Occorrono una struttura di cartelle comune che preveda una serie di convenzioni rispetto alla denominazione; un catalogo di dati ricercabili per aiutare gli utenti a trovare e comprendere gli input; una tassonomia di classificazione per identificare i dati sensibili, con informazioni riguardanti la tipologia di informazioni, il contenuto, gli scenari di utilizzo e i gruppi di possibili utenti. Servono anche strumenti di profilazione dei dati, per fornire approfondimenti sulla loro classificazione e sull’identificazione dei problemi di qualità, e processi di accesso standardizzati per controllare e tenere traccia di chi li utilizza.

Proteggere in modo passivo le informazioni, mascherandole, crittografandole e abilitando sistemi di monitoraggio automatico dell’accesso non basta: bisogna anche stimolare continuamente la cultura aziendale, in modo da aumentare la consapevolezza sul corretto utilizzo dello strumento.