Calcul haute performance

High Performance Computing

Cours Electif 2EL1550 de SG6

Stéphane Vialle & Frédéric Magoules
 

Présentation / Description: 

Contenu du cours / Syllabus:

• Architecture des calculateurs (architectures parallèles et distribuées, hiérarchie mémoire, unités vectorielles) et optimisations de codes mono-coeur.
• Modèle de programmation parallèle par multithreading et introduction à OpenMP
• Modèle de programmation distribué et introduction à MPI (algorithmique par échange de messages, déploiement de code MPI)
• Algorithmes parallèles et distribués pour le calcul scientifique
• Métriques et Analyse de performances (accélération, efficacité, loi d'Amdhal et loi de Gustafson, passage à l'échelle)
• Algorithmes distribués sur tores et hypercubes, et recouvrement calculs-communications
• Méthodes directes et factorisations parallèles (factorisation par blocs, arbre d’élimination et dépendances)
• Méthodes itératives parallèles (produit matrice-vecteur et produit scalaire parallèles)
• Méthodes de décomposition de domaine (méthode du complément de Schur, méthode de Schwarz, méthode FETI)

• Computer architecture (parallel and distributed architectures, memory hierarchy, vector units) and optimisation of mono-core codes
• Parallel programming model with multithreading and introduction to OpenMP
• Distributed programming model and introduction to MPI (message passing algorithmics, MPI code deployment)
• Parallel and distributed algorithms for scientific computing
• Performance metrics and analysis (speedup, efficiency, Amdhal’s law and Gustafson’s law, scalability criteria)
• Distributed algorithms on torus and hypercubes, computation and communication overlap
• Direct methods and parallel factorization (block factorization, elimination three, dependancies)
• Parallel iteratives methods (matrix-vector product, scalar product)
• Domain decomposition methods (Schur complement method, Schwarz method, FETI method)
  

Supports de cours / Course material (Stephane Vialle part):

Introduction to HPC hardware

2 slides par page

3 slides par page

6 slides par page

Site web du "Top 500" des superordinateurs	http://www.top500.org/
Site web "SPEC" : Standard Performance Evaluation Corporation	http://www.spec.org/

Serial optimizations and vectorization		2 slides par page		3 slides par page		6 slides par page
CBLAS dgemm		2 slides par page		3 slides par page		6 slides par page

Introduction to multithreading with OpenMP

2 slides par page

3 slides par page

6 slides par page

Message Passing principles and MPI programming		2 slides par page		3 slides par page		6 slides par page
Distributed application deployment with MPI		2 slides par page		3 slides par page		6 slides par page

Distributed algorithms on multi-dimensional topologies

2 slides par page

3 slides par page

6 slides par page

Performance metrics, measure and analysis

2 slides par page

3 slides par page

6 slides par page

• Mise en oeuvre - TDs sur machines parallèles :
  

TD-1 : Algorithmique et programmation parallèles multithreads sur un noeud de calcul	énoncé	accès au DCE
TD-2-3 : Algorithmique, programmation et déploiement d'applications distribuées	overview
TD-2-3 Part-1: Déploiement d'une application distribuée (avec MPI) sur un cluster de PC	énoncé	utilisation des clusters
TD-2-3 Part-2: Développement et déploiement sur cluster d'une appli distribuée (avec MPI4PY)
TD-3 :

Bibliographie :

• Frédéric Magoulès, François-Xavier Roux, Guillaume Houzeaux. Parallel Scientific Computing. Wiley & Sons, Inc., 2015. 354 pages (in English). This course support is available in other languages: in French (Dunod, 2017), in Spanish (CIMNE, 2014), inJapanese (Morikita Publishing Co Ltd, 2015), in Hungarian (Pollack Press, 2018).

• Slides of the lectures:
• Numerical Methods
  
• Parallel and Distributed Computing
  

• Autres livres suggérés :
• W. Gropp, E. Lusk, A. Skjellum. "Using MPI". MIT Press. 1999.
• R. Chandra, R. Menon, L. Dagum, D. Kohr, D. Maydan, J. McDonald. "Parallel Programming in OpenMP". Morgan Kaufmann Publishers. 2000.
• B. Chapman, G. Jost, R. Van Der Pas.. "Using OpenMP". MIT Press. 2007.