Che cosa sono i Big Data? Cos’è la Big Data analytics? Sono domande che oggi si sentono sempre più spesso, soprattutto in Italia, dove da poco i big data sono diventati un must per tutte le aziende italiane che puntano a trasformarsi in una data-driven company, per prendere decisioni consapevoli basate su dati pertinenti. Vediamo quindi nel dettaglio di dare una definizione e una spiegazione semplice al concetto di Big Data.
I big data (grandi dati) sono una quantità crescente di informazioni che la trasformazione digitale del business sta creando e facendo circolare dentro alle aziende e fuori alle aziende. I Big Data, ad esempio, vengono dai sensori integrati in migliaia di oggetti che, collegati alla Rete, oggi chiamiamo Internet of Things.
Secondo il McKinsey Global Institute oggi sono già più di 30 milioni, collegati in rete e utilizzati nel settore automobilistico, industriale, nei servizi pubblici, o nella vendita al dettaglio e il numero ogni anno lievita del 30%.
Al di là dei flussi di dati prodotti dai sistemi informatici e dalle infrastrutture a supporto della produzione, della distribuzione e dell’erogazione dei servizi, i Big Data sono un fenomeno associato a un’evoluzione massiva degli usi e delle abitudini della gente. Ogni volta che usiamo un computer, accendiamo lo smartphone o apriamo una app sul tablet, sempre e comunque lasciamo una nostra impronta digitale fatta di dati.
Nel 2001, Doug Laney (oggi vice president and distinguished analyst del Gartner Chief Data Officer Research and Advisory Team) descrisse in un report il Modello che descrive in modo sintetico i Big Data con 3V: Volume, Velocità e Varietà. Un modello semplice per definire i nuovi dati generati dell’aumento delle fonti informative e più in generale dall’evoluzione delle tecnologie. Oggi il paradigma di Laney è stato arricchito dalle variabili di Veridicità e Variabilità e per questo si parla di 5V.
Big Data Analytics: dai browser ai social qual è il significato
I Big Data, infatti, vengono anche dalla multimedialità sempre più spinta che ha origine dal proliferare di dispositivi fissi e mobili che usiamo per vivere e per lavorare.
La familiarità con il videosharing e una cultura dell’immagine che porta le persone a condividere ogni tipo di scatto fotografico aiuterà chi saprà gestire questa mole di dati a capire ancora meglio gusti e tendenze, orientando meglio le decisioni.
I Big Data vengono anche dai social media, e da tutto il traffico di informazioni che transita dai vari sistemi di CRM, dalla cassa di un supermercato che striscia una carta fedeltà a una telefonata che arriva a un call center.
A differenza di molte mode tecnologiche, infatti, i Big Data non sono un trend ma una necessità gestionale. E lo sono per qualsiasi tipo di organizzazione. Quei data set crescenti che sembrano far esplodere i database aziendali saranno le chiavi della competitività, della crescita del business e dell’innovazione. In che modo?
- Aiutando a capire le reazioni dei mercati e la percezione che questi hanno dei brand
- Identificando i fattori chiave che muovono le persone ad acquistare un certo servizio o un determinato prodotto
- Segmentando la popolazione per personalizzare quanto più possibile le strategie d’azione
- Abilitando nuove sperimentazioni consentite dalla disponibilità di dati inediti
- Guadagnando in predittività, grazie a uno storico di informazioni talmente ad ampio raggio e puntuale da consentire simulazioni molto più che verosimili
- Abilitando nuovi modelli di business
Il mercato dei Big Data in Italia
La spesa delle aziende italiane in infrastrutture, software e servizi per la gestione e analisi dei dati cresce del 20%, arrivando al valore stimato di 3,42 miliardi di euro (rispetto ai 2,85 miliardi di euro del 2023). Di questi, l’75% è imputabile alle grandi imprese e solo il 6% dalla Pubblica Amministrazione, una quota ancora bassa, che cresce del 25% in un anno. A dirlo è l’ultimo report dell’Osservatorio Big Data & Innovation Business Analytics della School of Management del Politecnico di Milano.
A trainare la crescita è, in particolare, il forte interesse per la Generative AI, in cui, dopo un anno di sperimentazioni, si inizia a vedere l’implementazione delle prime iniziative a livello internazionale. Dal punto di vista tecnologico, per le grandi aziende, questo si traduce in un’attenzione crescente verso componenti tecnologiche abilitanti. Ciò comporta un utilizzo sempre maggiore di risorse hardware ad alte prestazioni e l’integrazione di componenti software innovative, come i database vettoriali (Vector DB), i database a grafo (Graph DB) e strumenti di Data Observability.
«Se il 2023 è stato l’anno della fascinazione per la Generative AI, il 2024 è l’anno dell’implementazione delle prime iniziative a livello internazionale. Questo ha avuto una ricaduta diretta sulle scelte d’investimento anche in Italia, sia in termini di tecnologie per la gestione dei dati, che nella volontà di sperimentare nuove applicazioni», ha affermato Carlo Vercellis, Responsabile Scientifico dell’Osservatorio Big
Data & Business Analytics.
Il 73% delle grandi organizzazioni ha avviato almeno una sperimentazione in ambito Advanced Analytics, con tre realtà su quattro che dichiarano di averne incrementato il numero nell’ultimo anno. Contemporaneamente, l’adozione di strumenti di Business Intelligence è ormai consolidata nelle grandi organizzazioni (93%).
Come ha spiegato Alessandro Piva, Responsabile della Ricerca dell’Osservatorio
Big Data & Business Analytics: «Nonostante il difficile contesto geopolitico, le aziende non rinunciano ad investire in tecnologie e servizi di Data Management & Analytics. Questo non riguarda soltanto le realtà più mature, ma anche aziende medio-grandi che stanno finalmente accelerando nel percorso. Gli elementi su cui lavorare sono tre: una buona gestione e usabilità dei dati, capacità d’innovazione e di implementazione di progettualità di analisi avanzata e un’evoluzione culturale per la realizzazione di una Data & AI Literacy sempre più diffusa».
Un Data Strategy Index per indicare la maturità del settore
Il Data Strategy Index è un indice di maturità complessivo del mercato che sintetizza tre ambiti di analisi. Data Management & Architecture ovvero strumenti, competenze e processi per la gestione tecnologica, integrazione dei dati e governo del patrimonio informativo. Business Intelligence e Descriptive Analytics, dunque tool e competenze di base per una Business Intelligence pervasiva. Infine, Data Science ossia le attività che contemplano analisi predittive e di ottimizzazione a partire dall’analisi dei dati.
Quest’anno, secondo le evidenze dell’ultimo report, si assiste a un miglioramento complessivo della maturità delle grandi aziende nell’ambito della valorizzazione dei dati. Secondo il Data Strategy Index, il 23% delle grandi organizzazioni si trova ad un livello avanzato nella capacità di valorizzare i dati (era il 20% nel 2023). Solo l’11% delle grandi aziende si può invece definire immaturo, -5% rispetto al 2023.
L’implementazione di una Data Strategy nelle PMI
Il 79% delle piccole e medie imprese (PMI) italiane si dedica all’analisi dei dati, almeno a livello descrittivo, registrando una crescita lenta ma costante negli ultimi tre anni. Tuttavia, l’integrazione dei dati rappresenta una sfida significativa: il 78% delle PMI non integra diverse fonti o lo fa solo manualmente, attraverso importazioni ed esportazioni.
Tra le aziende che effettuano analisi dati descrittive, tre su quattro stanno anche sperimentando analisi predittive, con un aumento di 7 punti percentuali rispetto al 2023. Le medie imprese stanno accelerando in queste attività, aumentando così il divario con le piccole imprese. Guardando al futuro, solo il 37% delle PMI ha stabilito priorità specifiche per valorizzare i dati nei prossimi 12 mesi: queste realtà si concentrano sulla formazione e sull’aggiornamento delle competenze del personale, riconoscendo l’importanza di sviluppare capacità interne per affrontare le sfide legate ai dati.
Le nuove professioni dei Big Data: le competenze necessarie per la “data revolution”
La questione con i Big Data non è tanto la loro quantità, quanto la capacità delle aziende di riuscire ad analizzare nel modo corretto i dati disponibili. La formula è di tipo conversazionale e si sviluppa in tre tempi: interrogazione, risposta e visione di dettaglio.
Algoritmi sempre più sofisticati consentono di intercettare e interpretare ogni flusso digitale. È questo il progresso tecnologico che sta rivoluzionando i modelli di business.
Data Scientist, Data Architect, Data Engineer e Business Translator
In generale, suggeriscono i dati dello studio, si consolidano i team di Data Science che offrono supporto trasversale all’organizzazione: si è passati dal 21% nel 2021 al 36% nel 2024.Tuttavia, non sempre è facile reperire figure richieste. Il report di McKinsey, “The age of analytics”, identifica quattro tipologie di profili che saranno sempre più richiesti dalle aziende:
- Business Translator, figure bimodali che dispongono di conoscenze tecniche e di competenze relative al business;
- Data Architect, cioè coloro che progettano i sistemi di dati e i relativi workflow;
- Data Engineer, in grado di identificare le soluzioni basate sui dati e di sviluppare prodotti di scouting e di analisi mirati;
- Data Scientist, che analizzano i dati grazie ad algoritmi sempre più sofisticati.
Esempi e stato dell’arte dei Big Data
La maggior parte delle persone ha solo una vaga idea di quanto Google abbia una conoscenza profonda di tutto quello che cerchiamo on line, oppure di quanto Facebook conosca (di tutto e di più) su amici, sentimenti, preferenze, sogni e bisogni della sua grande community?
Anche se non glielo abbiamo mai detto, Google sa riconoscere le nostre generalità, profilandoci in base alle nostre modalità di navigazione per proporci pubblicità assolutamente mirate da rasentare la personalizzazione su misura. Per tutta quella metà del cielo che ha scelto Android, MountainView sa sempre dove siamo stati, dove abbiamo viaggiato, sostato, mangiato o pernottato.
Facebook, invece, con il suo miliardo di iscritti, sa persino quando una storia d’amore è arrivata a un punto critico. Sulla base degli aggiornamenti di stato delle bacheche (ogni minuto sono pubblicati 3,3 milioni di post), l’azienda può prevedere se un rapporto è destinato a durare, con una precisione inquietante.
Per non parlare di X (ex Twitter) che ogni 60 secondi movimenta 347mila tweet e che, come le altre Big Tech ha sviluppato una API (Application Program Interface) che consente a terze parti di accedere a ognuno di questi (per definizione tutti pubblici): si tratta di dati non strutturati, scandagliati da nuove tecniche di Sentiment Analysis che riescono a capire le emozioni contenute nelle informazioni testuali, aiutando i decisori (aziendali e politici) a capire dove va il vento dell’opinione pubblica.
Esempi nel mondo: il lato analitico delle Smart City
Passando all’ordine pubblico, le smart city stanno diventando un fulgido esempio di Big Data Management e dei Big Data Analyst. Grazie ai lampioni sensorizzati, la PA riesce a gestire meglio i picchi del traffico e a monitorare l’inquinamento.
La polizia può ricostruire i percorsi automobilistici sospetti analizzando le telecamere a circuito chiuso (CCTV) sempre più onnipresenti fuori dai locali e dalle banche. Per la raccolta differenziata si usano tag RFID che rendono cassonetti, mastelli e sacchetti connessi e comunicanti.
Secondo gli analisti di McKinsey, in Europa le amministrazioni pubbliche da una buona gestione dei Big Data possono ottenere risparmi nell’ordine di 100 miliardi di euro, incrementando l’efficienza operativa. Una cifra che potrebbe aumentare a dismisura se i Big Data fossero utilizzati anche per ridurre le frodi e gli errori, traguardando la trasparenza fiscale.
Esempi di Big Data in Italia: Big Data Analysis anche nel Retail
Sono molte le aziende che hanno avviato una strategia data driven, come ad esempio Leroy Merlin e Cattolica Assicurazioni.
Analizzando i comportamenti di acquisto, ovvero lo scontrino, associato alla carta fedeltà e alle varie interazioni con le promozioni, gli annunci, l’e-mail marketing, le eventuali newsletter che si ricevono periodicamente e periodicamente si aprono, il retail sta approfondendo la conoscenza dei clienti. Tutto questo rappresenta una montagna di informazioni da collezionare e da analizzare per definire un’offerta sempre più a misura di cliente. Dal punto di vista dei servizi associati alla geomarketing e geolocalizzazione (beacon, NFC, app, touch point interattivi), le opportunità sono significative.
Big Data Management significa andare oltre l’elaborazione degli ordini, implementando nuovi sistemi a supporto delle campagne di marketing arrivando a gestire meglio i programmi fedeltà attraverso un monitoraggio dei feed back registrati da ogni singola promozione, lancio di prodotto, iniziativa ma anche potendo gestire le richieste di garanzia o i reclami, arrivando a raggiungere una visione a 360 gradi dei clienti, dei prodotti e di qualsiasi operazione commerciale.
I trend tecnologici
I ricercatori del Politecnico hanno individuato le tendenze che stanno trasformando lo scenario dell’analisi dei dati nelle organizzazioni. Ecco i trend da conoscere.
È ora dei Real Time Analytics
La velocità emerge oggi come una delle principali fonti di vantaggio competitivo. Svolgere analisi in tempo reale permette di avere visibilità interna dei processi e azioni automatizzate e permette lo sviluppo di nuovi prodotti e servizi, dai wearable devices alle auto a guida autonoma.
Oltre Hadoop
Hadoop, piattaforma software open source per l’elaborazione di elevate moli di dati in modalità parallela, si è affermato negli ultimi anni come standard tecnologico. Oggi però l’ecosistema open source si è arricchito di tecnologie e complessità, al fine di gestire al meglio analisi in tempo reale e Machine Learning. Si affermano così nuovi standard tecnologici, come Apache Spark (motore di elaborazione nel cluster Hadoop) e Apache Kafka (sistema di stream processing). Competenze di questo tipo sono ancora rare nelle grandi aziende italiane.
Hybrid Cloud
Il Cloud ibrido, ovvero la possibilità di connettere il proprio ambiente privato con uno o più sistemi di Public Cloud, crea una flessibilità maggiore, limita i movimenti dei dati e consente l’esecuzione degli Analytics dove i dati sono memorizzati. Ne derivano numerosi benefici: riduzione dei costi, d maggiore agilità e migliore gestione dei requisiti legali in termini di privacy e confidenzialità dei dati.
Inoltre assume crescente interesse il tema dell’Edge Computing, ovvero un’architettura con risorse distribuite che avvicina specifiche elaborazioni ed analisi al luogo dove le informazioni vengono effettivamente raccolte, in particolare dai sensori.
La rivoluzione del Machine Learning
Sviluppare algoritmi di Machine Learning significa sia estrarre valore dai dati sia utilizzare fonti tradizionali in un modo nuovo. Ad esempio, Utilizzare il Machine Learning può portare ad anticipare il comportamento dei clienti, aumentare l’efficacia del sistema di prevenzione delle frodi; analizzare in maniera intelligente immagini o video.
Queste soluzioni grazie ai Big del web svolgono già un ruolo di primo piano nella nostra vita quotidiana, ma sono agli albori nelle organizzazioni.
Monetizzare i dati
Dataset Search è un motore di ricerca creato da Google per aggregare e indicizzare le banche dati presenti sul web. La mossa riflette la volontà di mettere a disposizione i dati a pagamento, fornendo così la materia prima necessaria per sviluppare e addestrare gli algoritmi più innovativi.
Si parla quindi di Data as a Service, e di una nuova figura emergente nel mercato, gli Information Provider.
Data Literacy
Data Literacy, o information literacy, significa saper interpretare correttamente i dati e raccontare un fenomeno attraverso di essi.
L’importanza di questa competenza è sempre più chiara alle aziende, in particolar modo ai ruoli manageriali, ai quali viene richiesto di costruire un processo decisionale data-driven.
La diffusione della Data Literacy passa attraverso una maggiore diffusione delle figure professionali legate ai dati e dei corsi di studio per formarli. Si diffondono anche strumenti che permettono all’utente di business di gestire in autonomia il processo d’interrogazione dei dati (Self-Service Data Analytics).
L’impatto dell’IA Generativa su Big Data e Analytics
La crescita esponenziale dei Big Data e di tutte le relative analisi associate oggi ha una nuova leva applicativa, grazie allo sviluppo dell’AI Generativa. Tecnologia dirompente rispetto alla gestione dei dati che abbiamo conosciuto fino ad ora, l’IA Generativa al suo progressivo consolidarsi, guiderà la domanda di strumenti e piattaforme di business intelligence e di nuovi algoritmi potenziati.
Le nuove scoperte nell’Intelligenza Artificiale Generativa (come ChatGTP o Dall-E) stanno già manifestando il loro potenziale nel dare un boost ai contenuti legacy aziendali, trasformando il settore del Marketing e dei media.
Nel caso dell’analisi dei dati di impresa, l’IA Generativa ha il potere di superare i principali colli di bottiglia che limitano ciò che una persona o un team può realizzare mentre lavora su un problema entro un periodo di tempo limitato.
Obiettivamente parlando, nessuna persona ha la capacità di leggere, comprendere e analizzare in maniera simultanea migliaia di informazioni ogni giorno. Inoltre, le domande che poniamo sono influenzate dalla nostra esperienza e conoscenza, o anche dal nostro umore.
Quando si esplorano modelli utili nei dati e nella conoscenza, un Data Scientist, un ricercatore o un analista ha solo il tempo di concepire, progettare e valutare un numero limitato di ipotesi distinte, lasciando molte aree inesplorate.
L’AI Generativa aiuta a colmare queste lacune, aggirando i nostri pregiudizi e offrendo modi alternativi per sfruttare i dati al fine di esplorare, reagire e modellare le nostre realtà aziendali.
Come funziona l’AI Generativa applicata ai Big Data: prompt(i) via!
La tecnologia può integrare dati da vari sistemi, come database, fogli di calcolo e archiviazione dati basata su cloud, e analizzarli insieme. Ciò consente alle aziende di ottenere una visione più completa dei propri dati e identificare modelli e connessioni che verrebbero persi se queste informazioni venissero analizzate isolatamente.
Oltre ad analizzare più fonti, la macchina può ingerire più dimensioni di dati, come testi, immagini, dati geo-specifici e di serie temporali, scansionando grandi quantità e identificando schemi e connessioni che sarebbero difficili o impossibili per gli esseri umani trovare autonomamente.
I Big Data e le analisi, che continuano a svolgere un ruolo fondamentale nella strategia e nell’automazione aziendale, grazie al contributo dell’IA Generativa incorporata nel processo di creazione di senso dell’impresa, permettono di trasformare in tempo reale i Big Data in informazioni pertinenti immediatamente fruibili, sbloccando tutto un nuovo potenziale a supporto dei sistemi decisionali.
In sintesi, da qui ai prossimi anni la produttività sarà sempre più definita dalla capacità di porre le domande giuste (prompt) per ottenere le risposte appropriate dai propri modelli.
Smart Data: i player che si stanno muovendo
Sfruttare l’Intelligenza Artificiale Generativa per gestire i Big Data e le analisi significa che la macchina elaborativa crea e testa ipotesi basate su tutte le fonti disponibili, non solo generando approfondimenti aziendali specifici insieme a report generali, ma aggiornandoli nel tempo, man mano che cambiano le informazioni.
Il tutto con un’ulteriore marcia in più: l’AI Generativa, infatti, può colmare le lacune nei dati stessi, creando nuove fonti di dati, raccogliendo quelli strutturati per generare insight che risultano fondamentali per il business.
«I fattori chiave dello sviluppo sono fortemente condizionati dall’emergere dell’IA Generativa – conferma Veronika Paal, Senior Research Analyst di IDC European Software Data & Analytics -. Non a caso, tutti i più grandi player di questo mercato hanno già annunciato l’aggiunta di varie soluzioni di Intelligenza Artificiale Generativa nel loro portafoglio di analisi e Big Data, tra cui AWS Sagemaker, Salesforce Einstein, Azure Open AI Service e Oracle Data Safe».
Direttrici di sviluppo del mercato europeo dei software Big Data e Analytics (IDC, 2023)
Tuttavia, l’IA generativa è solo uno dei fattori che influenzano il mercato. Secondo i ricercatori di IDC, i fornitori cercheranno sempre più di migliorare i propri processi di analisi dei dati, in particolare nell’area ESG, dove le normative europee in evoluzione e gli imminenti standard di rendicontazione sulla sostenibilità, come l’ESRS, spingono le aziende a utilizzare nuove metriche finalizzate a migliorare le loro prestazioni.
Come saranno le aziende data driven nel 2025
Facendo un salto di qualche anno verso il prossimo futuro, McKinsey individua alcuni elementi che caratterizzeranno le aziende data driven nel 2025; tra tre anni, infatti, sostengono i ricercatori, flussi di lavoro intelligenti e interazioni continue tra uomo e macchina saranno probabilmente lo standard e la maggior parte dei dipendenti utilizzerà i Big Data per ottimizzare quasi ogni aspetto del proprio lavoro.
La nuova azienda data driven avrà alcune caratteristiche ben precise, prevede McKinsey.
I Big Data verranno incorporati in ogni decisione e processo, con le organizzazioni che saranno in grado di prendere decisioni migliori, nonché di automatizzare le attività quotidiane lasciando i dipendenti liberi di concentrarsi su attività dove l’aspetto umano genera maggiore valore come innovare, collaborare, comunicare.
I dati saranno elaborati e consegnati in tempo reale, con nuove e più diffuse tecnologie che trasformeranno il modo in cui i Big Data vengono generati, elaborati, analizzati e visualizzati per gli utenti finali.
Il ruolo del Chief Data Officer (CDO) sarà ampliato per generare valore. Da centro di costo responsabile dello sviluppo e del monitoraggio della conformità a policy, standard e procedure per gestire i dati e garantirne la qualità, il CDO e il suo team funzioneranno come un’unità aziendale con responsabilità di profitti e perdite e saranno responsabili dell’ideazione di nuovi modi di utilizzare i Big Data e dello sviluppo di una strategia olistica che li governi.
