Cours de Big Data

5ème année ingénieur de Polytech Paris-Sud

Stéphane Vialle, CentraleSupélec & LRI, Stephane.Vialle@centralesupelec.fr 

Gianluca Quercini, CentraleSupélec & LRI, Gianluca.Quercini@centralesupelec.fr


Remise des rapports de TP :

En résumé : montrez nous dans vos CR que vous avez compris ce que vous avez fait ! 
Ce cours à comme objectif principal d'appréhender l'algorithmique et la programmation dans des paradigmes BigData (diverses variantes de Map-Reduce, l'analyse de documents structurés dans des Bases de Données NoSQL...), mais aussi de connaître les principes  techniques sous-jacents des environnements de Big Data (systèmes de fichiers distribués, tolérance aux pannes et résistance à la charge par redondance...). Une présentation quantifiée du concept de Passage à l'Echelle termine le cours, et des TP sur les environnements Spark et MongoDB illustreront les concepts vus en cours.
    1a - MapReduce & Spark
    2 slides par page

    6 slides par page
    1b - Programmation Spark optimisée
    2 slides par page 3 slides par page 6 slides par page
    2 - Métriques et analyse de performances
    2 slides par page 3 slides par page 6 slides par page
    3 - Technologies du Big Data
    2 slides par page 3 slides par page 6 slides par page
    4a - Emergence et principes du NoSQL
    2 slides par page 3 slides par page 6 slides par page
    4b - SQL vs NoSQL
    1 slide par page




    4c - MongoDB : syntaxe et exemples
    2 slides par page 3 slides par page 6 slides par page
    4d - SparkSQL
    document pdf




    TD 1 : Conception d'algorithmes Map-Reduce
    Enoncé
    TD 2 : Introduction à un cluster Spark-HDFS du Data Center d'Enseignement
    Enoncé
    TD 3 : Analyse de performances
    Enoncé
    TP 1 : Algorithmique et programmation distribuée en Spark
    Enoncé
    TP 2 : Interrogation de données en MongoDB
    Enoncé
     
    02/10/2019
    Cours
    Bât 620
    Salle A205
    08/10/2019
    TD
    Bât 640
    Salle E110
    08/10/2019
    Cours
    Bât 640
    Salle E110
    23/10/2019
    TD
    Bât 620
    Salle B016
    23/10/2019
    TP
    Bât 620
    Salle B016
    06/11/2019
    Cours
    Bât 620 Salle A201
    12/11/2019
    TP
    Bât 640 Salle A212
    13/11/2019
    Cours
    Bât 620
    Salle A101
    20/11/2019
    Cours
    Bât 620
    Salle A200
    26/11/2019
    Cours
    Bât 620
    Salle A202
    26/11/2019
    TD
    Bât 620
    Salle A202





    BdD NoSQL :
    Hadoop & Map-Reduce :
    Spark :