Cours de Big Data

5ème année ingénieur de Polytech Paris-Sud

Stéphane Vialle, CentraleSupélec & LISN, Stephane.Vialle@centralesupelec.fr 

Gianluca Quercini, CentraleSupélec & LISN, Gianluca.Quercini@centralesupelec.fr

Ce cours à comme objectif principal d'appréhender l'algorithmique et la programmation dans des paradigmes BigData (diverses variantes de Map-Reduce, l'analyse de documents structurés dans des Bases de Données NoSQL...), mais aussi de connaître les principes  techniques sous-jacents des environnements de Big Data (systèmes de fichiers distribués, tolérance aux pannes et résistance à la charge par redondance...). Une présentation quantifiée du concept de Passage à l'Echelle termine le cours, et des TP sur les environnements Spark et MongoDB illustreront les concepts vus en cours.
    1a - Map-Reduce & Spark
    1 slides par page 4 slides par page 6 slides par page
    1b - Spark optimizations
    2 slides par page 3 slides par page 6 slides par page
    1c - Spark deployment
    2 slides par page 3 slides par page 6 slides par page
    2 - Technologies d'Hadoop (avec HDFS)
    2 slides par page 3 slides par page 6 slides par page
    3 - Performance, efficiency and scalability metrics
    2 slides par page 3 slides par page 6 slides par page
    4a - Emergence et principes des BdD NoSQL
    2 slides par page 3 slides par page 6 slides par page
    4b - Distributed and  NoSQL databases
    1 slide par page
    2 slides par page 6 slides par page
    4c - Spark-SQL Cours / Exemple interactif de Spark-SQL
    4d - MongoDB : syntaxe et exemples (TP2)
    1slide par page 2 slides par page 6 slides par page
    TD 1 : Conception d'algorithmes Map-Reduce
    Enoncé
    TD 2 : Analyse de performances
    Enoncé
    TP 1 Part-1 : MapReduce en Spark : accès au cluster Spark du DCE
    TP 1 Part-2 : MapReduce en Spark : algorithmique et programmation distribuées en Spark
    TP 1 Part-2 exo4 : Graphiques de performance
    Enoncé
    Enoncé
    Excel file
    TP 2 Part-1a : Connexion au DCE
    TP2 Part-1b : Syntaxe et exemples de MongoDB
    TP 2 Part-2 : Interrogation de données en MongoDB (énoncé)
    Enoncé
    Enoncé
    Enoncé
     
    Spark
    Exercice S1
    Exercice S2


    MongoDB
    Exercice M1




    07/10/2022 Cours-1
    Bât 620
    Salle A205
    07/10/2022 Cours-1
    Bât 620
    Salle A205
    11/10/2022
    Cours
    Bât 620
    Salle A200
    11/10/2022
    TD-1
    Bât 620
    Salle A200 & A201
    12/09/2021
    Cours-1
    Bât 620
    Salle A205
    12/09/2021
    Cours-2
    Bât 620
    Salle A205
    25/10/2022
    TP-1
    Bât 620
    Salle B007 & B014
    07/11/2022
    Cours-1
    Bât 620
    Salle A202
    07/11/2022
    Cours-2
    Bât 620
    Salle A202
    08/11/2022
    Cours-1
    Bât 620
    Salle A205
    08/11/2022
    Cours-2
    Bât 620
    Salle A205
    15/11/2022
    TD-2
    Bât 620
    Salle A200
    15/11/2022
    TP-2
    Bât 620
    Salle B007 & B014




    21/11/2022
    EE
    Bât 620
    Salle A202

    BdD NoSQL :
    Hadoop & Map-Reduce :
    Spark :