Course Syllabus
Obiettivi
L'insegnamento ha lo scopo di fornire competenze teoriche e pratiche relative al trattamento di dati generati da sensori di acquisizione visivi e di distanza, per analizzare la scena osservata estraendo informazioni sulla sua geometria.
Contenuti sintetici
L'insegnamento presenta una introduzione alle tematiche di percezione della scena osservata e di ricostruzione della sua geometria (formazione dell'immagine, stereoscopia, analisi di sequenze di immagini, filtraggio Bayesiano e percezione per robotica mobile autonoma).
Programma esteso
- Formazione dell'immagine
- formazione dell'immagine - geometria: modelli geometrici della proiezione, cenno a visione model-based, necessità dell'ottica, lenti sottili, cerchi di sfuocamento e profondità di campo, parametri di proiezione interni ed esterni, FOV (campo di vista), calibrazione dei parametri di proiezione
- formazione dell'immagine - aspetti tecnologici: sensori limiti e considerazioni.
- Stereoscopia
- introduzione alla terminologia, approcci pixel-level e feature-based
- esempio di algoritmo di ricerca corrispondenze stereoscopiche pixel-level: stereo-matching a correlazione ed utilizzo della multi-risoluzione
- algoritmi di ricerca corrispondenze stereoscopiche basati su features, con cenno al rilevamento ed alla descrizione delle features
- geometria epipolare
- Analisi di sequenze di immagini
- i differenti problemi, al variare del moto nella scena e dell'osservatore
- campo di moto immagine e scena
- equazione di costanza della luminanza e problema della apertura
- metodi differenziali per la stima del flusso ottico con approccio LSE
- approcci basati su features
- problemi di data association e missing information, effetti degli outliers, livello di breakdown, Least Median of Squares, RANSAC
- Filtraggio Bayesiano
- sistemi dinamici e filtraggio Bayesiano
- Kalman filter (KF), extended Kalman filter (EKF) e utilizzo di misture di gaussiane
- unscented Kalman Filter (UKF)
- filtraggio non parametrico: cenni ad histogram filter, particle filter (PF)
- Percezione per robotica mobile autonoma
- rassegna di cinematiche di diverse basi mobili, Velocity Motion Model ed Odometry Motion Model
- breve rassegna di sensori di distanza e modello di misura per laser scanners
- la registrazione di point clouds ed il suo utilizzo in una varietà di problemi di visione robotica
- problema di localization, approcci EFK-based e PF-based
- SLAM PF-based (FASTSLAM) ed EKF-based
- Visual SLAM con approcci basati su inverse depth
Prerequisiti
- Conoscenze di base di geometria, algebra lineare e di programmazione.
Modalità didattica
La lingua di erogazione prevista è l'italiano. Tuttavia le attività didattiche potranno essere erogate in inglese se si verificasse almeno una delle seguenti condizioni:
- in aula c'è almeno uno studente straniero che preferisce si usi l'inglese;
- gli studenti richiedono che la didattica sia erogata in inglese.
Le attività previste sono: 40 ore di lezione in modalità erogativa e/o interattiva, 12 ore di laboratorio in modalità interattiva.
Le attività didattiche includeranno:
- lezioni pre-registrate;
- incontri interattivi periodici sugli argomenti trattati nelle lezioni pre-registrate;
- attività in laboratorio (pratica, non di programmazione);
- incontri interattivi su attività di laboratorio (programmazione);
- attività di insegnamento capovolto con preparazione di interventi da parte degli studenti su alcune parti del corso che verranno discusse in aula e commentate dai docenti.
Materiale didattico
Libri di testo
- A. Fusiello, "Visione Computazionale: tecniche di ricostruzione tridimensionale", Franco Angeli, 2013
- E. Trucco, A. Verri, "Introductory techniques for 3D Computer Vision", Prentice Hall, 1998
- S. Thrun, W. Burgard, D. Fox, "Probabilistic Robotics", Mit press, 2005
Altro materiale - Brevi video (audio e schermo di tablet usato come lavagna, estratti da lezioni di anni precedenti) per ciascun sotto-argomento
- Ulteriore materiale, disponibile sulla piattaforma elearning
- Video report e altri documenti disponibili pubblicamente e prodotti da esperti dell'argomento.
Periodo di erogazione dell'insegnamento
II° Anno, I° Semestre
Modalità di verifica del profitto e valutazione
Al termine dell'erogazione dell'insegnamento verrà svolto un incontro di persona durante il quale saranno valutate le diverse prove intermedie e verrà definito il voto finale.
Il voto finale sarà la media pesata di:
- voti sulle 2 verifiche scritte sulle parti teoriche (prima: formazione dell'immagine e stereoscopia, seconda: analisi di sequenze e visione robotica), peso 0.2 per verifica;
- voto sulla attività di laboratorio sul filtraggio Bayesiano: documenti sulle equazioni del sistema (stato e misura, peso 0.1 ciascuna), programmini matlab su KF e PF, peso 0.2 ciascuno.
- Un massimo di 3 punti bonus saranno attribuiti a consegne ragionevolemnte buone di una delle attività di laboratorio fisico.
Orario di ricevimento
Inviare email per concordare un appuntamento
Sustainable Development Goals
Aims
The course aims to provide theoretical and practical skills related to the processing of data generated by cameras and range sensors, to analyze the observed scene by extracting information about its geometry.
Contents
The course presents an introduction to the perception of the observed scene and recostruction of its geometry (image formation, stereoscopy, analysis of image sequences, bayesian filtering, and perception for mobile autonomous robotics).
Detailed program
- Image formation
- image formation - geometry: geometric models of projection, model-based vision (hint), the need for optics, thin lenses, blur circles and depth of view, external and intrinsic projection parameters, FOV (Field Of View), calibration of the projection parameters
- image formation - technological issues and considerations.
- Stereoscopy
- terminology, pixel-level and feature-based approaches
- example of pixel level stereo-matching algorithm: correlation-based stereo-matching, and usage of multi-resolution
- feature-based stereo-matching algorithms, hints about feature detection and description
- epipolar geometry
- Analysis of image sequences
- the different problems, according to the scene and the observer motion
- image and scene motion field
- brightness constancy equation and the aperture problem
- differential methods and estimation of the optical flow with an LSE approach
- feature-based approaches
- data association and missing information problems: effects of outliers, breakdown level, Least Median of Squares, RANSAC
- Bayesian filtering
- dynamical systems and Bayesian filtering
- Kalman filter (KF), extended Kalman filter (EKF), and usage of mixtures of gaussians
- unscented Kalman Filter (UKF)
- non-parametric filters: hints on histogram filter, particle filter (PF)
- Perception for mobile autonomous robotics
- Review of kinematics of different mobile bases, Velocity Motion Model and Odometry Motion Model
- short review of sensors for range sensing and measurement model of laser scanners
- the point clouds registration and its usage in a variety of robot vision problems
- localization problem, EFK-based and PF-based approaches
- SLAM PF-based (FASTSLAM) and EKF-based
- Visual SLAM with inverse depth
Prerequisites
- Basic knowledge of geometry, linear algebra, and programming.
Teaching form
Teaching is expected to take place in italian. Nevertheless, the course will be given in english should one of the following conditions become true:
- at least one foreign student prefers to use english;
- students ask to have classes and practicals given in english.
The scheduled activities are: 40 hours of lessons in dispensing mode and/or in interactive mode, 12 hours of laboratory in interactive mode.
The teaching activities will include:
- classes: pre-recorded classes;
- periodic interactive meetings about the topics covered via the pre-recorded classes;
- laboratory events (practice, no programming);
- interactive meetings about laboratory programming activities;
- activities with preparation of talks by students on some parts of the course that will be discussed in the classroom and commented by the professors.
Textbook and teaching resource
Textbooks
- A. Fusiello, "Visione Computazionale: tecniche di ricostruzione tridimensionale", Franco Angeli, 2013
- E. Trucco, A. Verri, "Introductory techniques for 3D Computer Vision", Prentice Hall, 1998
- S. Thrun, W. Burgard, D. Fox, "Probabilistic Robotics", Mit press, 2005
Other learning material
- Short videos (audio and tablet screen used as blackboard, taken from the videos of classes from previous years) for each subtopic
- Extra material, available on the elearning platform
- Videos, reports and other documents publicly available and produced by experts of the field.
Semester
II° Year, I° Semester
Assessment method
Afeter the end of the course, an in person meeting with each student will take place, during which all assignments will be evaluated, and the final score will be determined.
The final mark will be the weighted average of:
- marks obtained in the 2 written exams about theory (first: image formation and stereoscopy, second image sequences and robot vision), weight 0.2 each;
- marks on the laboratory activity about Bayesian filtering: documents on the the system equations (state and measurement, weigh 0.1 each), short matlab programs on KF and PF, weight 0.2 each.
- A maximum of 3 bonus points will be awarded to reasonably good implementations of one of the physical laboratory activities.
Office hours
Send email to arrange an appointment
Sustainable Development Goals
Staff
-
Simone Melzi
-
Domenico Giorgio Sorrenti
-
Alessandro Riva
