Course Syllabus
Titolo
Metodi per la valutazione delle performance e data-centric AI
Lingua
Inglese
Breve descrizione
Obiettivi
Il corso si propone di introdurre:
- approcci per la valutazione delle prestazioni dei modelli di machine learning e la validazione dei risultati;
- tecniche di ottimizzazione e di regolazione degli iperparametri per migliorare le prestazioni;
- principi, metodologie e applicazioni della Data-Centric AI;
- strategie per progettare, sviluppare e ottimizzare sistemi di intelligenza artificiale che pongano i dati al centro del ciclo di sviluppo.
Prerequisiti
- Conoscenza dei metodi e delle applicazioni del machine learning
- Conoscenza dei metodi algoritmici per l’analisi dei dati
- Conoscenze di base di statistica
Contenuti
-
Metodi e metriche per la valutazione delle prestazioni (Metriche di valutazione specifiche per: classificazione, regressione, clustering; Valutazione del compromesso bias-varianza; Stima dell’incertezza: aleatoria, epistemica, conformal prediction) (3 ore) Graudenzi
-
Tecniche di validazione dei modelli (K-fold cross-validation stratificata/non stratificata, leave-one-out, bi-cross validation, nested cross-validation; Metodi di ricampionamento: bootstrap, jackknife) (2 ore) Graudenzi
-
Ottimizzazione e raffinamento dei modelli (Ottimizzazione degli iperparametri: grid search, random search, ottimizzazione bayesiana, gradient descent, algoritmi genetici, MCMC, ecc.; Tecniche di ensemble: bagging, boosting, stacking, ecc.; Introduzione ad AutoML e automazione della fase di tuning) (3 ore) Graudenzi
-
Introduzione alla Data-Centric Artificial Intelligence (DCAI) (2 ore) Maurino
-
Comprensione e etichettatura dei dati (2 ore) Maurino
-
Rilevanza e selezione delle feature (2 ore) Maurino
-
MLOPS (Machine Learning Operations) (2 ore) Maurino
Esame
Presentazione e discussione di un progetto individuale da parte degli studenti, nel quale alcune delle tecniche trattate durante il corso vengono applicate al proprio progetto di ricerca di dottorato.
Materiale didattico
Fornito dai docenti
CFU / Ore
2 CFU
16 ore (lezioni frontali)
Periodo di erogazione
16 febbraio - 6 marzo 2026
Sustainable Development Goals
Title
Performance Evaluation and Data Centric AI
Language
English
Short description
Objectives
The course aims at introducing:
- approaches for evaluating machine learning model performance and validating results;
- optimization and hyperparameter tuning techniques to enhance performance;
- principles, methodologies, and applications of Data-Centric AI;
- strategies to design, develop, and optimize AI systems that place data at the center of the development cycle.
Prerequisites
- Knowledge of machine learning methods and applications
- Knowledge of algorithmic methods for data analysis
- Basic knowledge of statistics
Content
-
Methods and Metrics for Performance Evaluation (Performance evaluation metrics specific to: classification, regression, clustering; Bias-variance trade-off evaluation; Uncertainty estimation: aleatoric, epistemic, conformal prediction) (3 hours) Graudenzi
-
Model Validation Techniques (K-fold stratified/non-stratified cross-validation, leave-one-out, bi-cross validation, nested cross-validation; Resampling methods: bootstrap, jackknife) (2 hours) Graudenzi
-
Model Tuning and Refinement (Hyperparameter tuning: grid Search, random Search, Bayesian optimization, gradient Descent, genetic algorithms, MCMC, etc.; Ensembling techniques: bagging, boosting, stacking, etc.; Introduction to AutoML and tuning automation) (3 hours) Graudenzi
-
Introduction to Data-Centric Artificial Intelligence (DCAI) (2 hours) Maurino
-
Data understanding and Data labeling (2 hours) Maurino
-
Feature relevance and Feature selection (2 hours) Maurino
-
MLOPS (Machine Learning Operations) (2 hours) Maurino
Exam
Presentation and discussion of an individual project by the students, in which some of the techniques covered during the course are applied to their specific doctoral research project.
Course Materials
Provided by the professors
CFU / Hours
2 CFUs
16 hours (lectures)
Teaching period
16 February - 6 March 2026
