Course Syllabus
Obiettivi
Questo corso mira a sviluppare le conoscenze, le abilità e le competenze degli studenti sui metodi di reinforcement learning (RL), preparando gli studenti per attività di ricerca avanzata e applicazioni nel processo decisionale basato sui dati. Al termine del corso, gli studenti saranno in grado di:
- Acquisire una comprensione approfondita delle teorie e degli algoritmi del RL (DdD 1)
- Applicare metodi di RL per modellare e risolvere problemi decisionali sequenziali (DdD 2)
- Sviluppare capacità di giudizio critico nella valutazione degli approcci RL e della loro adeguatezza (DdD 3)
- Comunicare chiaramente concetti tecnici e risultati in forma orale e scritta (DdD 4)
- Promuovere l’apprendimento autonomo per rimanere aggiornati sulle ricerche e applicazioni in evoluzione nel campo del RL (DdD 5)
Contenuti sintetici
Contenuti:
Fondamenti di Reinforcement Learning e Processi Decisionali di Markov (MDP)
- Tecniche di programmazione dinamica
- Metodi Monte Carlo e apprendimento per differenza temporale (Temporal Difference)
- Metodi model-free: Q-learning e SARSA
- Trade-off tra esplorazione e sfruttamento
- Approcci Policy Gradient (introduzione)
- Approssimazione di funzioni e introduzione al deep reinforcement learning
- Applicazioni pratiche del RL nel Data Science
Programma esteso
Introduzione al Reinforcement Learning e ai Processi Decisionali di Markov (MDP)
Programmazione Dinamica
Metodi Monte Carlo
Apprendimento per Differenza Temporale (Temporal Difference)
Q-learning e SARSA
Trade-off tra Esplorazione e Sfruttamento
Metodi Policy Gradient (Introduzione)
Approssimazione di Funzioni
Panoramica sul Deep Reinforcement Learning (lezione ospite e video)
Applicazioni del RL nel Data Science (presentazioni delle proposte di progetto)
Prerequisiti
Prerequisiti
- Fondamenti di probabilità e statistica (DdD 1)
- Nozioni di base di machine learning (DdD 1)
- Programmazione in Python, con familiarità con librerie scientifiche (DdD 2)
- Conoscenze di calcolo e algebra lineare (DdD 1)
Modalità didattica
Forma di insegnamento
- Lezioni frontali (concentrate su conoscenza e comprensione – DdD 1): 21ore (doi cui 18 DE e 3 DI)
- Laboratori di programmazione ed esercitazioni (applicazione della conoscenza – DdD 2): 27 ore (di cui 18 EE e 9 EI)
- Discussioni di gruppo e analisi di casi di studio (sviluppo del giudizio critico – DdD 3)
- Presentazioni di progetto (abilità comunicative – DdD 4)
- Promozione dello studio autonomo tramite revisione di articoli scientifici e progetti individuali (capacità di apprendere in autonomia – DdD 5)
Materiale didattico
Testo di riferimento e risorse didattiche
- Testo principale: Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2ª edizione). Disponibile online: http://incompleteideas.net/book/the-book-2nd.html (DdD 1, DdD 5)
- Articoli scientifici supplementari e tutorial online (DdD 5)
- Notebook Jupyter e ambienti di programmazione (DdD 2)
Periodo di erogazione dell'insegnamento
I semestre
Modalità di verifica del profitto e valutazione
Esame finale (scritto/orale) su teoria e applicazioni (70%) – valuta la conoscenza, il giudizio critico e la capacità comunicativa (DdD 1, 3, 4).
L'esame consiste in esercizi per valutare la capacità di applicare i concetti a problemi specifici, e in domande aperte per verificare la conoscenza e la capacità argomentativa sul tema.
Progetto di gruppo e relazione finale (30%) – sviluppa le competenze comunicative e di apprendimento autonomo (DdD 4, 5).
Non sono previstte prrove intermedie.
Orario di ricevimento
Su appuntamento
Sustainable Development Goals
Aims
This course aims to develop students’ knowledge, skills, and competences in reinforcement learning (RL), preparing them for advanced research and applications in data-driven decision-making. Upon completion, students will:
- Acquire a deep understanding of RL theories and algorithms (DdD 1)
- Apply RL methods to model and solve sequential decision problems (DdD 2)
- Develop critical judgment in evaluating RL approaches and their suitability (DdD 3)
- Communicate technical concepts and findings clearly in oral and written form (DdD 4)
- Foster autonomous learning to stay current with evolving RL research and applications (DdD 5)
Contents
- Contents:
- Fundamentals of Reinforcement Learning and Markov Decision Processes (MDPs)
- Dynamic programming techniques
- Monte Carlo methods and Temporal Difference learning
- Model-free methods: Q-learning and SARSA
- Exploration vs exploitation trade-offs
- Policy Gradient approaches (introduction)
- Function approximation and an introduction to deep reinforcement learning
- Practical RL applications in Data Science
Detailed program
Introduction to RL and MDPs
Dynamic Programming
Monte Carlo Methods
Temporal Difference Learning
Q-learning and SARSA
Exploration vs Exploitation
Policy Gradient Methods (Intro)
Function Approximation
Deep RL Overview (Guest lecture and videos)
RL Applications in Data Science (Project proposal presentations)
Prerequisites
Prerequisites
- Probability and statistics fundamentals (DdD 1)
- Machine learning basics (DdD 1)
- Programming in Python, including familiarity with scientific libraries (DdD 2)
- Calculus and linear algebra knowledge (DdD 1)
Teaching form
Teaching Form
Lectures (focus on knowledge and understanding - DdD 1): 21 hours (18 lectture based, 3 interactive mode)
Coding labs and exercises (applying knowledge - DdD 2): 27 hours (18 lectture based, 9 interactive mode)
Up to 6 hours can be online if needed.
Group discussions and case studies (developing judgment - DdD 3)
Project presentations (communication skills - DdD 4)
Encouragement of autonomous study through research paper reviews and self-directed projects (learning skills - DdD 5)
Textbook and teaching resource
Textbook and Teaching Resources
- Main textbook: Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd Edition). Available online: http://incompleteideas.net/book/the-book-2nd.html (DdD 1, DdD 5)
- Supplementary academic papers and online tutorials (DdD 5)
- Jupyter notebooks and coding environments (DdD 2)
Semester
I semester
Assessment method
Final exam (written/oral) on theory and applications (70%) – evaluates knowledge, judgment, and communication (DdD 1, 3, 4)
the exam consist of exercices to evaluate the ability in applying the concept on specific problems and open questions to evaluate knowledge and argumentaton ability on the subject.
Group project and final report (30%) – develops communication and autonomous learning skills (DdD 4, 5)
No partial exams will be held.
Office hours
By appointment
Sustainable Development Goals
Staff
-
Vincenzina Messina
