Course Syllabus
Obiettivi
Il corso fornirà i principali concetti e strumenti operativi, basati su metodi probabilistici e computazionali, per rappresentare l’incertezza, aggiornare credenze a partire da dati incompleti o rumorosi, modellare l’evoluzione di sistemi dinamici e supportare decisioni razionali in condizioni di incertezza. Gli studenti acquisiranno abilità nell’utilizzare i concetti e i metodi appresi per risolvere problemi di inferenza, previsione e decisione. In particolare, gli studenti acquisiranno competenze nella costruzione e valutazione di modelli probabilistici, nell’uso di tecniche di simulazione e campionamento, nell’analisi di processi markoviani e modelli temporali, e nella formulazione di problemi decisionali sequenziali.
**Conoscenza e capacità di comprensione **(DdD 1)
Al termine del corso, lo studente sarà in grado di:
• Conoscere e comprendere i principali concetti, teorie e metodi relativi al ragionamento probabilistico in condizioni di incertezza.
• Conoscere modelli probabilistici temporali, catene di Markov, Hidden Markov Models, filtri bayesiani e modelli decisionali sequenziali.
• Comprendere il ruolo di inferenza, previsione, simulazione e decisione nei sistemi intelligenti e nelle applicazioni informatiche.
• Riconoscere le connessioni tra probabilità, intelligenza artificiale, machine learning, analisi di sequenze e reinforcement learning.
Conoscenza e capacità di comprensione applicate (DdD 2)
Lo studente sarà in grado di:
• Applicare le conoscenze teoriche acquisite per risolvere problemi specifici o casi di studio relativi a modelli probabilistici e decisionali.
• Utilizzare strumenti e tecniche di analisi per progettare soluzioni concrete in presenza di incertezza.
• Condurre esperimenti, attività pratiche o simulazioni.
• Implementare semplici procedure di inferenza, campionamento, filtraggio e decisione sequenziale.
Autonomia di giudizio (DdD 3)
Attraverso attività di laboratorio, esercitazioni e discussioni guidate, lo studente svilupperà:
• Capacità critica nell’interpretazione dei dati, delle evidenze e delle informazioni raccolte.
• Abilità di valutare diverse strategie modellistiche e decisionali, ponderando vantaggi, limiti e assunzioni.
• Capacità di formulare giudizi motivati e argomentati in modo autonomo rispetto alla scelta e all’uso di modelli probabilistici.
Abilità comunicative (DdD 4)
Durante il corso, lo studente sarà stimolato a:
• Comunicare efficacemente i risultati delle proprie analisi sia in forma scritta, attraverso assignments ed esercitazioni, sia in forma orale, attraverso discussioni e presentazioni.
• Utilizzare un linguaggio tecnico adeguato e chiaro.
• Argomentare le scelte modellistiche e interpretare criticamente i risultati ottenuti.
Capacità di apprendere (DdD 5)
Al termine del corso, lo studente sarà in grado di:
• Organizzare e pianificare in modo autonomo il proprio percorso di approfondimento e aggiornamento professionale.
• Utilizzare risorse bibliografiche, digitali e strumenti di autoapprendimento per continuare lo studio in modo efficace.
• Sviluppare un approccio critico e riflessivo verso nuove conoscenze e tecnologie relative a modelli probabilistici, sistemi decisionali e intelligenza artificiale.
Contenuti sintetici
Rappresentazione dell’incertezza nei problemi di decisione.
Inferenza probabilistica e regola di Bayes.
Simulazione probabilistica, numeri pseudo-casuali e metodi Monte Carlo.
Catene di Markov e processi stocastici a tempo discreto.
Ragionamento probabilistico nel tempo e Hidden Markov Models.
Filtraggio bayesiano, filtri di Kalman e particle filtering.
Decisioni sotto incertezza, utilità attesa e valore dell’informazione.
Decisioni sequenziali, Markov Decision Processes, Bellman equation e collegamenti con il reinforcement learning.
Programma esteso
1. Rappresentazione dell’incertezza nei problemi decisionali.
Azione in condizioni di incertezza. Nozioni di base di probabilità. Distribuzioni congiunte e condizionate. Inferenza tramite distribuzione congiunta completa. Indipendenza e indipendenza condizionale. Regola di Bayes e applicazioni.
Riferimento: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th ed., Chapter 12, Sections 12.1–12.5 (3ª ed. it.: Capitolo 13, sezioni 13.1–13.5).
2. Simulazione probabilistica e generazione di variabili casuali.
Numeri casuali e pseudo-casuali. Numeri pseudo-casuali, seed, periodo, riproducibilità e proprietà statistiche delle sequenze generate. Generazione da distribuzione uniforme, trasformazione inversa, generazione da distribuzioni discrete e metodo acceptance-rejection. Introduzione alla simulazione Monte Carlo per la stima di probabilità e valori attesi.
Riferimento: materiale fornito dal docente; Rubinstein & Kroese, Simulation and the Monte Carlo Method, 3rd ed., Chapter 2, Sections 2.2–2.4; Chapter 4, Sections 4.2–4.3.
3. Catene di Markov.
Processi stocastici a tempo discreto. Proprietà markoviana. Spazio degli stati, distribuzione iniziale e matrice di transizione. Probabilità a più passi ed evoluzione della distribuzione di stato. Classificazione degli stati, stati assorbenti, ricorrenza e transienza. Distribuzioni stazionarie e comportamento asintotico. Random walk e applicazioni.
Riferimento: materiale fornito dal docente; Norris, Markov Chains, Chapter 1.
4. Hidden Markov Models e inferenza sequenziale.
Estensione delle catene di Markov al caso di stati non direttamente osservabili. Stati nascosti e osservazioni rumorose. Definizione di Hidden Markov Model tramite distribuzione iniziale, modello di transizione e modello di emissione. Ipotesi di Markov, ipotesi di osservazione locale e fattorizzazione della distribuzione congiunta lungo la sequenza. Filtering, prediction, smoothing e likelihood di una sequenza di osservazioni. Algoritmo forward, algoritmo forward-backward e algoritmo di Viterbi. Cenni all’apprendimento dei parametri tramite Baum-Welch/EM.
Riferimento: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th ed., Chapter 14, Sections 14.1–14.3 (3ª ed. it.: Capitolo 15, sezioni 15.1–15.3); Rabiner, “A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition”, limitatamente alla definizione degli HMM, ai tre problemi fondamentali, agli algoritmi forward, forward-backward, Viterbi e Baum-Welch. Per i cenni all’apprendimento dei parametri: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th Global ed., Chapter 21, Section 21.3 (3ª ed. it.: Capitolo 20, sezione 20.3).
5. Filtraggio bayesiano continuo.
Filtro di Bayes come schema generale di aggiornamento della belief. Stati continui e osservazioni rumorose. Modelli lineari gaussiani e filtro di Kalman. Predizione, aggiornamento, media, covarianza, innovazione e Kalman gain. Cenni a Extended Kalman Filter e Particle Filter per modelli non lineari, non gaussiani o multimodali.
Riferimento: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th ed., Chapter 14, Sections 14.1–14.2 and 14.4 (3ª ed. it.: Capitolo 15, sezioni 15.1–15.2 e 15.4); materiale fornito dal docente; Thrun, Burgard, Fox, Probabilistic Robotics.
6. Decisioni sequenziali e Markov Decision Processes.
Problemi decisionali sequenziali. Stati, azioni, transizioni probabilistiche, ricompense e politiche. Markov Decision Processes. Funzioni di valore. Bellman equation e principio di ottimalità. Value iteration e policy iteration. Cenni a Partially Observable Markov Decision Processes e collegamenti con il reinforcement learning.
Riferimento: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th Global ed., Chapter 16, Sections 16.1–16.2 and 16.4 (3ª ed. it.: Capitolo 17, sezioni 17.1–17.4). Per eventuali cenni agli algoritmi per POMDP: Russell & Norvig, Chapter 16, Section 16.5 (3ª ed. it.: Capitolo 17, sezione 17.4). Per il collegamento con il reinforcement learning: Sutton & Barto, Reinforcement Learning: An Introduction, 2nd ed., Chapter 3 and Chapter 4, Sections 4.1–4.4.
Prerequisiti
Nozioni di base di probabilità, statistica e algebra lineare. È utile una conoscenza di base della programmazione e degli algoritmi.
Modalità didattica
Lezioni, esercizi e laboratorio.
Il corso è erogato in lingua italiana.
Il corso prevede 54 ore complessive, articolate in lezioni teoriche, esercitazioni e attività di laboratorio in presenza, con eventuali attività interattive secondo le modalità previste dal calendario didattico.
Materiale didattico
S. Russell, P. Norvig, “Intelligenza Artificiale: Un Approccio Moderno”, Prentice Hall, III Edizione.
Materiale fornito dal docente: slides, esercizi, notebook e papers selezionati.
Riferimenti integrativi:
• J. R. Norris, Markov Chains.
• L. R. Rabiner, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition.
• S. Thrun, W. Burgard, D. Fox, Probabilistic Robotics.
• R. S. Sutton, A. G. Barto, Reinforcement Learning: An Introduction.
• K. P. Murphy, Machine Learning: A Probabilistic Perspective oppure Probabilistic Machine Learning: An Introduction.
Periodo di erogazione dell'insegnamento
Secondo Semestre
Modalità di verifica del profitto e valutazione
Esame Scritto + orale facoltativo
Orario di ricevimento
Su appuntamento
Sustainable Development Goals
Aims
The course will provide the main concepts and operational tools, based on probabilistic and computational methods, for representing uncertainty, updating beliefs from incomplete or noisy data, modelling the evolution of dynamic systems, and supporting decision-making under conditions of uncertainty. Students will acquire the ability to use the concepts and methods learned to solve problems of inference, prediction, and decision-making. In particular, students will develop skills in building and evaluating probabilistic models, using simulation and sampling techniques, analysing Markov processes and temporal models, and formulating sequential decision-making problems.
Knowledge and understanding (DdD 1)
By the end of the course, students will be able to:
• Know and understand the main concepts, theories, and methods related to probabilistic reasoning under uncertainty.
• Know temporal probabilistic models, Markov chains, Hidden Markov Models, Bayesian filters, and sequential decision-making models.
• Understand the role of inference, prediction, simulation, and decision-making in intelligent systems and computing applications.
• Recognize the connections among probability, artificial intelligence, machine learning, sequence analysis, and reinforcement learning.
Applying knowledge and understanding (DdD 2)
Students will be able to:
• Apply the theoretical knowledge acquired to solve specific problems or case studies involving probabilistic and decision models.
• Use analytical tools and techniques to design concrete solutions in the presence of uncertainty.
• Conduct experiments, practical activities, or simulations.
• Implement simple procedures for inference, sampling, filtering, and sequential decision-making.
Making judgements (DdD 3)
Through laboratory activities, exercises, and guided discussions, students will develop:
• Critical ability in interpreting data, evidence, and collected information.
• The ability to evaluate different modelling and decision-making strategies, weighing their advantages, limitations, and assumptions.
• The ability to formulate well-reasoned and well-argued judgements independently with respect to the choice and use of probabilistic models.
Communication skills (DdD 4)
During the course, students will be encouraged to:
• Communicate the results of their analyses effectively, both in written form, through assignments and exercises, and orally, through discussions and presentations.
• Use appropriate and clear technical language.
• Justify modelling choices and critically interpret the results obtained.
Learning skills (DdD 5)
By the end of the course, students will be able to:
• Independently organize and plan their own path of further study and professional development.
• Use bibliographic and digital resources, as well as self-learning tools, to continue studying effectively.
• Develop a critical and reflective approach to new knowledge and technologies related to probabilistic models, decision-making systems, and artificial intelligence.
Contents
Representation of uncertainty in decision-making problems.
Probabilistic inference and Bayes' rule.
Probabilistic simulation, pseudo-random numbers, and Monte Carlo methods.
Markov chains and discrete-time stochastic processes.
Probabilistic reasoning over time and Hidden Markov Models.
Bayesian filtering, Kalman filters, and particle filtering.
Sequential decisions, Markov Decision Processes, the Bellman equation, and links with reinforcement learning.
Detailed program
1. Representation of uncertainty in decision-making problems.
Action under uncertainty. Basic notions of probability. Joint and conditional distributions. Inference using the full joint distribution. Independence and conditional independence. Bayes' rule and applications.
Reference: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th ed., Chapter 12, Sections 12.1–12.5 (3ª ed. it.: Capitolo 13, sezioni 13.1–13.5).
2. Probabilistic simulation and generation of random variables.
Random and pseudo-random numbers. Pseudo-random numbers, seed, period, reproducibility, and statistical properties of the generated sequences. Generation from a uniform distribution, inverse transform sampling, generation from discrete distributions, and the acceptance-rejection method. Introduction to Monte Carlo simulation for estimating probabilities and expected values.
Reference: material provided by the instructor; Rubinstein & Kroese, Simulation and the Monte Carlo Method, 3rd ed., Chapter 2, Sections 2.2–2.4; Chapter 4, Sections 4.2–4.3.
3. Markov chains.
Discrete-time stochastic processes. Markov property. State space, initial distribution, and transition matrix. Multi-step probabilities and evolution of the state distribution. Classification of states, absorbing states, recurrence and transience. Stationary distributions and asymptotic behaviour. Random walks and applications.
Reference: material provided by the instructor; Norris, Markov Chains, Chapter 1.
4. Hidden Markov Models and sequential inference.
Extension of Markov chains to the case of states that are not directly observable. Hidden states and noisy observations. Definition of a Hidden Markov Model through an initial distribution, transition model, and emission model. Markov assumption, local observation assumption, and factorization of the joint distribution along the sequence. Filtering, prediction, smoothing, and likelihood of an observation sequence. Forward algorithm, forward-backward algorithm, and Viterbi algorithm. Notes on parameter learning via Baum-Welch/EM.
Reference: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th ed., Chapter 14, Sections 14.1–14.3 (3ª ed. it.: Capitolo 15, sezioni 15.1–15.3); Rabiner, “A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition”, limited to the definition of HMMs, the three fundamental problems, and the forward, forward-backward, Viterbi, and Baum-Welch algorithms. For notes on parameter learning: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th Global ed., Chapter 21, Section 21.3 (3ª ed. it.: Capitolo 20, sezione 20.3).
5. Continuous Bayesian filtering.
The Bayes filter as a general framework for belief updating. Continuous states and noisy observations. Linear Gaussian models and the Kalman filter. Prediction, update, mean, covariance, innovation, and Kalman gain. Notes on the Extended Kalman Filter and Particle Filter for nonlinear, non-Gaussian, or multimodal models.
Reference: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th ed., Chapter 14, Sections 14.1–14.2 and 14.4 (3ª ed. it.: Capitolo 15, sezioni 15.1–15.2 e 15.4); material provided by the instructor; Thrun, Burgard, Fox, Probabilistic Robotics.
6. Sequential decisions and Markov Decision Processes.
Sequential decision-making problems. States, actions, probabilistic transitions, rewards, and policies. Markov Decision Processes. Value functions. Bellman equation and principle of optimality. Value iteration and policy iteration. Notes on Partially Observable Markov Decision Processes and links with reinforcement learning.
Reference: Russell & Norvig, Artificial Intelligence: A Modern Approach, 4th Global ed., Chapter 16, Sections 16.1–16.2 and 16.4 (3ª ed. it.: Capitolo 17, sezioni 17.1–17.4). For possible notes on algorithms for POMDPs: Russell & Norvig, Chapter 16, Section 16.5 (3ª ed. it.: Capitolo 17, sezione 17.4). For the connection with reinforcement learning: Sutton & Barto, Reinforcement Learning: An Introduction, 2nd ed., Chapter 3 and Chapter 4, Sections 4.1–4.4.
Prerequisites
Basic notions of probability, statistics, and linear algebra. Basic knowledge of programming and algorithms is useful.
Teaching form
Lectures, exercises, and laboratory activities.
The course is delivered in Italian.
The course consists of 54 total hours, divided into theoretical lectures, exercises, and in-person laboratory activities, with possible interactive activities according to the arrangements set out in the academic calendar.
Textbook and teaching resource
S. Russell, P. Norvig, “Intelligenza Artificiale: Un Approccio Moderno”, Prentice Hall, III Edizione.
Material provided by the instructor: slides, exercises, notebooks, and selected papers.
Additional references:
• J. R. Norris, Markov Chains.
• L. R. Rabiner, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition.
• S. Thrun, W. Burgard, D. Fox, Probabilistic Robotics.
• R. S. Sutton, A. G. Barto, Reinforcement Learning: An Introduction.
• K. P. Murphy, Machine Learning: A Probabilistic Perspective or Probabilistic Machine Learning: An Introduction.
Semester
Second Semester
Assessment method
Written examination + optional oral examination.
Office hours
By appointment
Sustainable Development Goals
Staff
-
Giulia Rizzi
