Guida ai Big Data con Spark 2. 0 e R

What you'll learn

L'obiettivo finale è riuscire ad analizzare i Big Data tramite SparkR
Capire la nascita e l'evoluzione dei Big Data, a partire da Hadoop
Avere un panorama completo dei framework per i Big Data e della loro evoluzione
Capire l'evoluzione del framework Spark e dei suoi moduli
Impostare un ambiente di lavoro in locale e su Databricks
Importare e analizzare i dati tramite SparkR
Manipolazione dati e machine learning con SparkR
Cenni di database SQL e NoSQL
Manipolazione dati e machine learning con sparklyr
Cenni di Spark Streaming

Course content
10 sections • 66 lectures • 8h 27m total length

Requirements

Conoscere le basi di R e dell'analisi dati

Description

Se l’analisi di grossi quantitativi di dati sta diventando sempre di più una necessità, non solo nel campo del marketing, ma anche di settori come la medicina e la diagnostica, da alcuni anni ci si sta ponendo il problema di quali siano le metodologie migliori per trarre quanta più informazione utile possibile dai grandi dataset che possono essere reperiti in vari modi su internet (ad esempio nel caso di analisi di social media) o fanno parte del patrimonio di un’azienda.

Viviamo infatti nell’era dei cosiddetti “Big Data”. Questo termine, coniato attorno al 2001, nasce per indicare enormi dataset che possono essere analizzati per estrarre informazione finora difficilmente accessibile e difficilmente processabile da un solo computer, per quanto potente, ma per analizzare i quali è necessario utilizzare più computer connessi in qualche modo tra loro in maniera coordinata.

Di conseguenza, anche dal lato dell'organizzazione dei dati sono nati dei framework particolari per la gestione di queste grosse quantità di dati, il più recente dei quali è Spark.

Spark, come vedremo, può essere utilizzato con molti linguaggi di programmazione, dei quali R è il più recente. Per questa ragione non tutte le possibili analisi dati possono venire implementate tramite i due pacchetti per la gestione di Spark in linguaggio R, che sono SparkR e sparklyr.

Dopo una parte introduttiva sui Big Data e sui framework che sono stati nel corso degli ultimi anni per gestirli, ci occuperemo quindi di vari argomenti e implementazione di esempi di codice per ognuna di queste due librerie. In particolare vedremo come implementare i più comuni algoritmi di machine learning: regressione, Support Vector Machines, Alberi di decisione, metodi Ensemble e Kmeans, oltre alla manipolazione dati e al calcolo delle statistiche di base

Who this course is for:

Chi ha già conoscenze pregresse di analisi dati con R e si trova ad analizzare dataset più grandi
Chi ha qualche conoscenza delle basi del machine learning