Il programma del corso coprirà i seguenti argomenti:

• Architetture HPC e modelli di programmazione parallela
  Fondamenti del calcolo ad alte prestazioni (High Performance Computing). Panoramica dell’hardware HPC, inclusi CPU, GPU, gerarchie di memoria e tecnologie di interconnessione che abilitano il rapido trasferimento dei dati e il calcolo.
  Programmazione a memoria condivisa con OpenMP e programmazione a memoria distribuita con MPI. Compromessi tra overhead di comunicazione, sincronizzazione e località dei dati nelle applicazioni parallele.
  Esercitazione: scrittura di semplici programmi OpenMP e MPI.

• Scalabilità delle applicazioni
  Scalabilità delle applicazioni su più nodi di un cluster HPC, affrontando temi come il bilanciamento del carico e la pianificazione dei task. Fondamenti di I/O parallelo e dei file system paralleli. Principi di gestione dei dati. Strategie di checkpointing.
  Esercitazione: esecuzione di job paralleli su un cluster HPC.

• Ottimizzazione delle prestazioni
  Profilazione e benchmarking di applicazioni HPC. Ottimizzazione della memoria ed efficienza della cache. Vettorizzazione e parallelismo a livello di istruzioni. Panoramica su tecniche di scheduling consapevoli del consumo energetico e hardware ad alta efficienza energetica.
  Esercitazione: benchmarking dello scaling debole e forte di un’applicazione.

• Introduzione all’AI in ambito HPC
  Perché l’AI ha bisogno dell’HPC: sfide computazionali del deep learning. Panoramica sui carichi di lavoro AI: training vs. inferenza. Esempi di framework AI e loro integrazione con l’HPC.
  Esercitazione: esecuzione di un modello AI di base su un sistema HPC.

• Scalabilità dei carichi di lavoro AI
  Tecniche di containerizzazione e riproducibilità in ambito HPC. Parallelismo sui dati, parallelismo sul modello e altre strategie per il deep learning distribuito. Tecniche di ottimizzazione. Checkpointing dei carichi di lavoro AI.
  Esercitazione: training di modelli AI su più nodi HPC.