Cours de Big Data

5ème année ingénieur de Polytech Paris-Sud

Stéphane Vialle, CentraleSupélec & LISN, Stephane.Vialle@centralesupelec.fr 

Gianluca Quercini, CentraleSupélec & LISN, Gianluca.Quercini@centralesupelec.fr

Ce cours à comme objectif principal d'appréhender l'algorithmique et la programmation dans des paradigmes BigData (diverses variantes de Map-Reduce, l'analyse de documents structurés dans des Bases de Données NoSQL...), mais aussi de connaître les principes  techniques sous-jacents des environnements de Big Data (systèmes de fichiers distribués, tolérance aux pannes et résistance à la charge par redondance...). Une présentation quantifiée du concept de Passage à l'Echelle termine le cours, et des TP sur les environnements Spark et MongoDB illustreront les concepts vus en cours.
    1a - Map-Reduce & Spark
    1 slides par page 4 slides par page 6 slides par page
    1b - Spark optimisée & déploiement
    2 slides par page 3 slides par page 6 slides par page
    2 - Technologies internes d'Hadoop (avec HDFS)
    2 slides par page 3 slides par page 6 slides par page
    3 - Métriques de passage à l'échelle
    2 slides par page 3 slides par page 6 slides par page
    4a - Emergence et principes du NoSQL
    2 slides par page 3 slides par page 6 slides par page
    4b - SQL et NoSQL
    2 slide par page
    2 slides par page 6 slides par page
    4c - Spark-SQL Cours / Exemple interactif de Spark-SQL
    4d - MongoDB : syntaxe et exemples (TP2)
    1slide par page 2 slides par page 6 slides par page
    TD 1 : Conception d'algorithmes Map-Reduce
    Enoncé
    TD 2 : Analyse de performances
    Enoncé
    TP 1 Part-1 : MapReduce en Spark : accès au cluster Spark du DCE
    TP 1 Part-2 : MapReduce en Spark : algorithmique et programmation distribuées en Spark
    TP 1 Part-2 exo4 : Graphiques de performance
    Enoncé
    Enoncé
    Excel file
    TP 2 Part-1 : Connexion au DCE et syntaxe de MongoDB
    TP 2 Part-2 : Interrogation de données en MongoDB
    Enoncé
    Enoncé
     
    Spark
    Exercice S1
    Exercice S2


    MongoDB
    Exercice M1




    08/09/2021 Cours
    Bât 640
    Salle E103
    15/09/2021
    TD
    Bât 640
    Salle E108 (Gr1) et E113 (Gr2)
    15/09/2021
    Cours
    Bât 620
    Amphi
    22/09/2021
    TP
    Bât 620
    Salle B009 (Gr1) et B007 (Gr2)
    29/09/2021
    Cours
    Bât 640
    Salle E103
    06/10/2021
    Cours-1
    Bât 640
    Salle E103
    06/10/2021
    Cours-2
    Bât 640
    Salle E102
    13/10/2021
    TP
    Bât 620
    Salle B009 (Gr1) et B007 (Gr2)
    20/10/2021
    TD
    Bât 640
    Salle E101




    20/10/2021
    EE
    Bât 620
    Salle B120

    BdD NoSQL :
    Hadoop & Map-Reduce :
    Spark :