Analisi dei Big Data: Hive, Spark SQL, DataFrames e GraphFrames

Descrizione

Non c'è dubbio che lavorare con enormi volumi di dati è difficile, ma per spostare una montagna devi affrontare molte piccole pietre. Ma perché sforzarti? Usando Mapreduce e Spark affronti parzialmente il problema, lasciando così spazio per strumenti di alto livello. Smetti di lottare per rendere il tuo flusso di lavoro di big data produttivo ed efficiente, usa gli strumenti che ti offriamo.

Questo corso ti insegnerà come:
- Archivia i tuoi dati in modo efficiente utilizzando Hive, Spark SQL e Spark DataFframe.
- Lavora con grafici di grandi dimensioni, come grafici o reti sociali.
- Ottimizza le tue applicazioni Spark per le massime prestazioni.

Precisamente, acquisirai le tue conoscenze in:
- Scrittura ed esecuzione di query SQL Hive & Spark;
- Ragionare su come le query vengono tradotte in vere primitive di esecuzione (che si tratti di lavori MapReduce o trasformazioni Spark);
- Organizzazione dei dati in Hive per ottimizzare l'utilizzo dello spazio su disco ei tempi di esecuzione;
- Costruire Spark DataFrame e utilizzarli per scrivere facilmente lavori analitici ad-hoc;
- Elaborazione di grafici di grandi dimensioni con Spark GraphFrames;
- Debug, profilazione e ottimizzazione delle prestazioni delle applicazioni Spark.

Ancora in dubbio? Controllalo. Diventa un ninja dei dati seguendo questo corso!

Ringraziamenti speciali a:
- Prof. Mikhail Roytberg, APT dept., MIPT, che è stato il revisore iniziale del progetto, il supervisore e mentore di metà del team di BigData. È stato lui che ha contribuito a portare questo spettacolo sulla strada.
- Oleg Sukhoroslov (PhD, Senior Researcher presso IITP RAS), che insegna MapReduce, Hadoop e amici dal 2008. Ora è a capo del team delle infrastrutture.
- Oleg Ivchenko (PhD student APT dept., MIPT), Pavel Akhtyamov (MSc. Student at APT dept., MIPT) e Vladimir Kuznetsov (Assistant at PG Demidov Yaroslavl State University), supercervelli che hanno sviluppato e ora mantengono l'infrastruttura utilizzata per compiti pratici in questo corso.
- Asya Roitberg, Eugene Baulin, Marina Sudarikova. Queste persone non dormono mai per fare da babysitter a questo corso giorno e notte, per rendere la tua esperienza di apprendimento produttiva, fluida ed emozionante.