Università dell'Illinois a Urbana-Champaign Formazione online gratuita

Applicazioni di cloud computing, parte 2: Big Data e applicazioni nel cloud

Descrizione

Benvenuto al corso Cloud Computing Applications, la seconda parte di una serie di due corsi pensata per darti una visione completa del mondo del Cloud Computing e dei Big Data!

In questo secondo corso continuiamo le applicazioni di cloud computing esplorando come il cloud apre all'analisi dei dati di enormi volumi di dati che sono statici o trasmessi in streaming ad alta velocità e rappresentano un'enorme varietà di informazioni. Le applicazioni cloud e l'analisi dei dati rappresentano un cambiamento dirompente nel modo in cui la società viene informata e utilizza le informazioni. Iniziamo la prima settimana con l'introduzione di alcuni dei principali sistemi per l'analisi dei dati, tra cui Spark e i principali framework e distribuzioni di applicazioni di analisi tra cui Hortonworks, Cloudera e MapR. Entro la metà della prima settimana introduciamo il robusto file system distribuito HDFS che viene utilizzato in molte applicazioni come Hadoop e finiamo la prima settimana esplorando il potente modello di programmazione MapReduce e come i sistemi operativi distribuiti come YARN e Mesos supportano un ambiente flessibile e scalabile per Analisi dei Big Data. Nella seconda settimana, il nostro corso introduce l'archiviazione di dati su larga scala e le difficoltà e problemi di consenso in enormi magazzini che utilizzano quantità di processori, memorie e dischi. Discutiamo l'eventuale consistenza, ACID e BASE e gli algoritmi di consenso utilizzati nei data center tra cui Paxos e Zookeeper. Il nostro corso presenta archivi di valori-chiave distribuiti e database di memoria come Redis utilizzati nei data center per le prestazioni. Successivamente presentiamo i database NOSQL. Visitiamo HBase, il database scalabile a bassa latenza che supporta le operazioni di database nelle applicazioni che utilizzano Hadoop. Poi di nuovo mostriamo come Spark SQL può programmare query SQL su dati enormi. Concludiamo la seconda settimana con una presentazione sui sistemi di pubblicazione / sottoscrizione distribuiti utilizzando Kafka, un sistema di messaggistica di log distribuito che sta trovando ampio impiego nel connettere insieme Big Data e applicazioni di streaming per formare sistemi complessi. La terza settimana passa allo streaming veloce dei dati in tempo reale e introduce la tecnologia Storm ampiamente utilizzata in settori come Yahoo. Continuiamo con le architetture Spark Streaming, Lambda e Kappa e una presentazione dell'ecosistema di streaming. La quarta settimana si concentra su elaborazione di grafici, machine learning e deep learning. Introduciamo le idee dell'elaborazione dei grafici e presentiamo Pregel, Giraph e Spark GraphX. Quindi passiamo al machine learning con esempi di Mahout e Spark. Kmeans, Naive Bayes e fpm sono forniti come esempi. Spark ML e Mllib continuano il tema della programmabilità e della costruzione dell'applicazione. L'ultimo argomento trattato nella quarta settimana introduce le tecnologie di Deep Learning tra cui Theano, Tensor Flow, CNTK, MXnet e Caffe on Spark.

Prezzo: Iscriviti gratuitamente!

Lingua: Inglese

Sottotitoli: Inglese, coreano

Applicazioni di cloud computing, parte 2: Big Data e applicazioni nel cloud - Università dell'Illinois a Urbana-Champaign