Cours de Big Data
5ème année ingénieur de Polytech Paris-Sud
Stéphane Vialle, CentraleSupélec & LISN, Stephane.Vialle@centralesupelec.fr
Gianluca Quercini, CentraleSupélec & LISN, Gianluca.Quercini@centralesupelec.fr
-
Thème et objectifs du cours :
Ce
cours à comme objectif principal d'appréhender l'algorithmique et la
programmation dans des paradigmes BigData (diverses variantes de
Map-Reduce, l'analyse de documents structurés dans des Bases de Données
NoSQL...), mais aussi de connaître les principes techniques
sous-jacents des environnements de Big Data (systèmes de fichiers
distribués, tolérance aux pannes et résistance à la charge par
redondance...). Une présentation quantifiée du concept de Passage à
l'Echelle termine le cours, et des TP sur les environnements Spark et
MongoDB illustreront les concepts vus en cours.
-
Contenu du cours :
- Paradigmes de programmation Map‐Reduce et mise en oeuvre avec Spark
- Introduction aux technologies (internes) des environnements Big Data
- Problématique du Passage à l’Echelle
- BdD SQL et NoSQL à large échelle et mise en oeuvre en MongoDB
- Supports de cours :
1a - Map-Reduce & Spark
|
 | 1 slides par page |
|
4 slides par page |
| 6 slides par page |
1b - Spark optimizations
|
|
2 slides par page |
|
3 slides par page |
|
6 slides par page |
1c - Spark deployment
|
|
2 slides par page |
|
3 slides par page |
|
6 slides par page |
2 - Technologies d'Hadoop (avec HDFS)
|
| 2 slides par page |
| 3 slides par page |
| 6 slides par page |
3 - Performance, efficiency and scalability metrics
|
| 2 slides par page |
| 3 slides par page |
| 6 slides par page |
4a - Emergence et principes des BdD NoSQL
|
|
2 slides par page |
|
3 slides par page |
|
6 slides par page |
4b - Distributed and NoSQL databases
|
|
1 slide par page
|
|
2 slides par page
|
|
6 slides par page
|
| 4c - Spark-SQL |
Cours / Exemple interactif de Spark-SQL
|
4d - MongoDB : syntaxe et exemples (TP2)
|
| 1slide par page |
| 2 slides par page |
| 6 slides par page |
TD 1 : Conception d'algorithmes Map-Reduce
|
Enoncé
|
TD 2 : Analyse de performances
|
Enoncé
|
TP 1 Part-1 : MapReduce en Spark : accès au cluster Spark du DCE
TP 1 Part-2 : MapReduce en Spark : algorithmique et programmation distribuées en Spark
TP 1 Part-2 exo4 : Graphiques de performance
|
Enoncé
Enoncé
Excel file
|
TP 2 Part-1a : Connexion au DCE
TP2 Part-1b : Syntaxe et exemples de MongoDB
TP 2 Part-2 : Interrogation de données en MongoDB (énoncé)
|
Enoncé
Enoncé
Enoncé
|
| 07/10/2022
|
Cours-1
|
Bât 620
|
Salle A205
|
| 07/10/2022
| Cours-1
| Bât 620
| Salle A205
|
11/10/2022
|
Cours
|
Bât 620
|
Salle A200
|
11/10/2022
|
TD-1
|
Bât 620
|
Salle A200 & A201
|
12/09/2021
|
Cours-1
|
Bât 620
|
Salle A205
|
12/09/2021
| Cours-2
| Bât 620
| Salle A205
|
25/10/2022
|
TP-1
|
Bât 620
|
Salle B007 & B014
|
07/11/2022
|
Cours-1
|
Bât 620
|
Salle A202
|
07/11/2022
| Cours-2
| Bât 620
| Salle A202
|
08/11/2022
| Cours-1
| Bât 620
| Salle A205
|
08/11/2022
| Cours-2
| Bât 620
| Salle A205
|
15/11/2022
| TD-2
| Bât 620
| Salle A200
|
15/11/2022
| TP-2
| Bât 620
| Salle B007 & B014
|
|
|
|
|
21/11/2022
|
EE
|
Bât 620
|
Salle A202
|
BdD NoSQL :
- Kristina Chorodorw. MongoDB. The Definitive Guide. 2nd edition. O'Reilly. 2013.
- Rudi Bruchez. Les bases de données NoSQL et le Big Data. 2ème édition. Eyrolles. 2016.
Hadoop & Map-Reduce :
- Tom White. Hadoop. The definitive Guide. 3rd edition. O'Reilly. 2013.
- Donald Miner and Adam Shook. MapReduce Design Patterns. O'Reilly. 2013.
Spark :
- M. Zaharia, M. Chowdhury, T. Das, A. Dave, J. Ma, M. McCauley,
M.J. Franklin, S. Shenker, and I. Stoica. Resilient Distributed
Datasets : A Fault-tolerant Abstraction for In-memory Cluster
Computing. In Proceedings of the 9th USENIX Conference on Networked
Systems Design and Implementation, NSDI’12, 2012.
- H. Karau, A. Konwinski, P.Wendell, and M.Zaharia. Learning Spark. O’Reilly, 1st edition, 2015.
- H. Karau and R. Warren. High Performance Spark. O’Reilly, 1st edition, 2017.