Course Syllabus
Obiettivi
L'insegnamento ha lo scopo di fornire fondamenti teorici ed abilità pratiche relative al trattamento di dati generati da sensori visivi e di distanza, per analizzare la scena osservata; in particolare la sua geometria.
Contenuti sintetici
L'insegnamento presenta una introduzione alle tematiche di percezione delle macchine, in particolare alla percezione della geometria della scena osservata, sia con tecniche di visione artificiale che di robotica mobile.
Programma esteso
- Formazione dell'immagine
- formazione dell'immagine - geometria: modelli geometrici della proiezione, cenno a visione model-based, necessità dell'ottica, lenti sottili, cerchi di sfuocamento e profondità di campo, parametri di proiezione interni ed esterni, FOV (campo di vista), calibrazione dei parametri di proiezione
- formazione dell'immagine - aspetti tecnologici: sensori a stato solido (CCD, CMOS), efficienza quantica, smearing / blooming, sfuocamento da movimento, vignetting, etc., 3D cameras, visori notturni, camere a colori (3-sensori, Bayer pattern, stacked sensors)
- Stereoscopia
- introduzione alla terminologia, approcci pixel-level e feature-based
- esempio di algoritmo di ricerca corrispondenze stereoscopiche pixel-level: stereo-matching a correlazione ed utilizzo della multi-risoluzione
- algoritmi di ricerca corrispondenze stereoscopiche basati su features, con cenno al rilevamento ed alla descrizione delle features
- geometria epipolare
- Analisi di sequenze di immagini
- i differenti problemi, al variare del moto nella scena e dell'osservatore
- campo di moto immagine e scena
- equazione di costanza della luminanza e problema della apertura
- metodi differenziali per la stima del flusso ottico con approccio LSE
- approcci basati su features
- problemi di data association e missing information, effetti degli outliers, livello di breakdown, Least Median of Squares, RANSAC
- Filtraggio Bayesiano
- sistemi dinamici e filtraggio Bayesiano
- Kalman filter, extended Kalman filter e utilizzo di misture di gaussiane
- unscented Kalman Filter
- filtraggio non parametrico: cenni ad histogram filter, particle filter
- Percezione per robotica mobile autonoma
- rassegna di cinematiche di diverse basi mobili, Velocity Motion Model ed Odometry Motion Model
- breve rassegna di sensori di distanza e modello di misura per laser scanners
- problema di localization, approcci EFK-based e PF-based
- SLAM PF-based (FASTSLAM) ed EKF-based
- Visual SLAM con approcci basati su inverse depth
Modalità didattica
La lingua di erogazione prevista è l'italiano. Tuttavia lezioni ed esercitazioni potranno essere erogate in inglese se si verificasse almeno una delle seguenti condizioni:
- in aula c'è almeno uno studente straniero che preferisce si usi l'inglese;
- gli studenti richiedano che lezioni ed esercitazioni siano erogate in inglese.
Le attività didattiche includeranno:
- lezioni pre-registrate;
- incontri interattivi periodici sugli argomenti trattati nelle lezioni pre-registrate;
- attività in laboratorio (pratica, non di programmazione);
- incontri interattivi su attività di laboratorio (programmazione, matlab);
Materiale didattico
- Libri di testo
- A. Fusiello, "Visione Computazionale: tecniche di ricostruzione tridimensionale", Franco Angeli, 2013
- E. Trucco, A. Verri, "Introductory techniques for 3D Computer Vision", Prentice Hall, 1998
- S. Thrun, W. Burgard, D. Fox, "Probabilistic Robotics", Mit press, 2005
- Altro materiale
- Brevi video (audio e schermo di tablet usato come lavagna, estratto da video di lezioni di anni precedenti) per ciascun sotto-argomento
- Ulteriore materiale, disponibile sulla piattaforma elearning
Periodo di erogazione dell'insegnamento
Primo semestre
Modalità di verifica del profitto e valutazione
Verifiche scritte sulle parti teoriche (formazione dell'immagine, stereoscopia, analisi di sequenze, percezione per robotica mobile) più valutazione dei programmini matlab sviluppato durante la attività di laboratorio (filtraggio Bayesiano). Lo sviluppo, facoltativo, di piccole applicazioni sotto la guida dell'addetto alle esercitazioni, dà luogo ad un incremento del voto finale.
Orario di ricevimento
Inviare email per concordare un appuntamento
Aims
The objective of the course is to give both theoretical foundations and practical abilities about the processing of data generated by cameras and range sensors, in order to understand the observed scene; in particular its geometry.
Contents
The course presents an introduction to machine perception topics, in particular to the perception of the geometry of the observed scene, both with computer vision and mobile robotics techniques.
Detailed program
- Image formation
- image formation - geometry: geometric models of projection, model-based vision (hint), the need for optics, thin lenses, blur circles and depth of view, external and intrinsic projection parameters, FOV (Field Of View), calibration of the projection parameters
- image formation - technological issues: solid state sensors (CCD, CMOS), quantum efficiency, smearing / blooming, motion blur, vignetting, etc, 3D cameras, night visors, colour cameras (3-sensors, Bayer pattern, stacked sensors)
- Stereoscopy
- terminology, pixel-level and feature-based approaches
- example of pixel level stereo-matching algorithm: correlation-based stereo-matching, and usage of multi-resolution
- feature-based stereo-matching algorithms, hints about feature detection and description
- epipolar geometry
- Analysis of image sequences
- the different problems, according to the scene and the observer motion
- image and scene motion field
- brightness constancy equation and the aperture problem
- differential methods and estimation of the optical flow with an LSE approach
- feature-based approaches
- data association and missing information problems: effects of outliers, breakdown level, Least Median of Squares, RANSAC
- Bayesian filtering
- dynamical systems and Bayesian filtering
- Kalman filter, extended Kalman filter, and usage of mixtures of gaussians
- unscented Kalman Filter
- non-parametric filters: hints on histogram filter, particle filter
- Perception for mobile autonomous robotics
- Review of kinematics of different mobile bases, Velocity Motion Model and Odometry Motion Model
- short review of sensors for range sensing and measurement model of laser scanners
- localization problem, EFK-based and PF-based approaches
- SLAM PF-based (FASTSLAM) and EKF-based
- Visual SLAM with inverse depth
Teaching form
Teaching is expected to take place in italian. Nevertheless, classes and practicals will be given in english should one of the following conditions become true:
- at least one foreign student prefers to use english;
- students ask to have classes and practicals given in english.
The teaching activities will include:
- classes: pre-recorded classes;
- periodic interactive meetings about the topics covered via the pre-recorded classes;
- laboratory events (practicals, no programming);
- interactive meetings about laboratory programming practicals (matlab).
Textbook and teaching resource
- Textbooks
- A. Fusiello, "Visione Computazionale: tecniche di ricostruzione tridimensionale", Franco Angeli, 2013
- E. Trucco, A. Verri, "Introductory techniques for 3D Computer Vision", Prentice Hall, 1998
- S. Thrun, W. Burgard, D. Fox, "Probabilistic Robotics", Mit press, 2005
- Other learning material
- Short videos (audio and tablet screen used as blackboard, taken from the videos of classes from previous years) for each subtopic
- Extra material, available on the elearning platform
Semester
First semester
Assessment method
Written verifications about the theoretical parts (image formation, stereoscopy, analysis of sequence, perception for mobile robotics) plus evaluation of matlab programs developed during the practicals (Bayesian filtering). The optional development of small applications under the guidance of the teaching assistant, results into an additive bonus on the final mark.
Office hours
Send email to arrange an appointment
Staff
-
Simone Fontana
-
Domenico Giorgio Sorrenti
-
Matteo Vaghi