Big Data Analytics: una mole di dati enorme a disposizione
In questi ultimi anni abbiamo assistito e siamo stati protagonisti di una crescita esponenziale dei dati disponibili. I dati arrivano e sono prodotti ovunque, sia nelle realtà aziendali dove prestiamo la nostra attività lavorativa, sia nel nostro vivere quotidiano.
La diffusione di mezzi tecnologici sempre più performanti e disponibili al consumo di massa, in una realtà che ci vede sempre interconnessi nel mondo 24 ore su 24, ha contribuito al diffondersi dei cosiddetti social generando l’esplosione di contenuti condivisi tra i diversi utenti di tutto il mondo. Esistono sensori che acquisiscono dati metereologici o informazioni sulla nostra macchina, quotidianamente vengono archiviate registrazioni che si accumulano nei database bancari, assicurativi e telefonici, impianti di sicurezza. Tutor autostradali rilevano ed archiviano immagini e video, ci scambiamo anche senza saperlo segnali Gps.
Big Data Analytics: l’esperienza di smeup
Nella nostra esperienza come smeup, ad esempio, sempre più aziende produttive si dotano di sensori da apporre sulle macchine che registrano una gamma di indicatori inerenti il processo. Ci richiedono quindi di analizzare questi dati per aiutarli a capire come le diverse variabili incidano sul prodotto finale o sui guasti dei dispositivi meccanici, in modo da prendere migliori decisioni di business. Questi sono solo alcuni esempi per aiutarci a capire le dimensioni di questo fenomeno inarrestabile; basti pensare che i dati prodotti dal genere umano nel 2015 superano tutti i dati prodotti nel corso dell’intera storia della civiltà umana.
Questa mole immensa di materiale può dare una conoscenza molto profonda dei comportamenti umani, tuttavia si tratta in massima parte di archivi di dati grezzi, non trattati, tipicamente conservati così come prodotti dalle rispettive sorgenti e oggi conosciuti con il termine Big Data.
Gli archivi di dati
Questi archivi sono caratterizzati da alcuni elementi:
- Volume – Le organizzazioni raccolgono dati da una grande varietà di sorgenti, incluse transazioni finanziarie, social media, sensori o machine-to-machine. In passato lo storage sarebbe stato un problema, ma le nuove tecnologie (quali Hadoop) ci facilitano il compito;
- Velocità – I dati fluiscono ad una velocità senza precedenti e vanno perciò gestiti in maniera tempestiva. L’uso sempre più comune di Tag RFID (identificazioni a radiofrequenza), sensori e “smart metering” (sistemi di telelettura di contatori), stanno aumentando la necessità di gestire fiumi di dati in tempo reale o quasi;
- Varietà – I dati arrivano in qualsiasi tipo di formato – da dati strutturati e numerici in database tradizionali a non strutturati come: documenti di testo, email, video, audio, dati ticker e transazioni finanziarie;
- Variabilità – L’aumento esponenziale della velocità e della varietà dei dati va unito al fatto che i flussi possono essere altamente inconsistenti e con picchi periodici;
- Complessità – I dati arrivano da molteplici fonti, il che rende difficile collegare, abbinare, ripulire e trasformare i dati trasversali. Tuttavia, è necessario connettere e correlare le relazioni, le gerarchie e i collegamenti se non si vuole che i dati sfuggano di mano.
Il Data Scientist
L’esigenza di gestire un insieme così grande e complesso di dati richiede la definizione di nuovi strumenti e metodologie per estrapolare, gestire e processare informazioni entro un tempo ragionevole. Motivo per cui diventa sempre più una necessità condivisa, l’intervento di un professionista specifico, che in molti chiamano Data Scientist. Questa figura professionale racchiude tra le sue competenze molte esperienze e specializzazioni, ha una formazione necessariamente trasversale per poter riuscire a dare un senso ai Big Data.
Non perderti le parti 2 e 3 sul Data Scientist!
Il Data Scientist: una nuova figura professionale – parte 2
Il Data Scientist/Data Analyst nelle diverse realtà aziendali – parte 3
Sara Pea
Specialista Business Intelligence – smeup
My LinkedIn Profile
Naviga per categoria:
Seleziona una categoria d’interesse dal nostro magazine
