Insegnamento
Course full name
Computer and Robot Vision (blended)
Course ID number
2223-2-F1801Q149
Course Syllabus
Obiettivi
L'insegnamento ha lo scopo di fornire fondamenti teorici ed abilità pratiche relative al trattamento di dati generati da sensori visivi e di distanza, per analizzare la scena osservata; in particolare la sua geometria.
Contenuti sintetici
L'insegnamento presenta una introduzione alle tematiche di percezione delle macchine, in particolare alla percezione della geometria della scena osservata.
Programma esteso
- Formazione dell'immagine
- formazione dell'immagine - geometria: modelli geometrici della proiezione, cenno a visione model-based, necessità dell'ottica, lenti sottili, cerchi di sfuocamento e profondità di campo, parametri di proiezione interni ed esterni, FOV (campo di vista), calibrazione dei parametri di proiezione
- formazione dell'immagine - aspetti tecnologici: sensori a stato solido (CCD, CMOS), efficienza quantica, smearing / blooming, sfuocamento da movimento, vignetting, etc., 3D cameras, visori notturni, camere a colori (3-sensori, Bayer pattern, stacked sensors)
- Stereoscopia
- introduzione alla terminologia, approcci pixel-level e feature-based
- esempio di algoritmo di ricerca corrispondenze stereoscopiche pixel-level: stereo-matching a correlazione ed utilizzo della multi-risoluzione
- algoritmi di ricerca corrispondenze stereoscopiche basati su features, con cenno al rilevamento ed alla descrizione delle features
- geometria epipolare
- Analisi di sequenze di immagini
- i differenti problemi, al variare del moto nella scena e dell'osservatore
- campo di moto immagine e scena
- equazione di costanza della luminanza e problema della apertura
- metodi differenziali per la stima del flusso ottico con approccio LSE
- approcci basati su features
- problemi di data association e missing information, effetti degli outliers, livello di breakdown, Least Median of Squares, RANSAC
- Filtraggio Bayesiano
- sistemi dinamici e filtraggio Bayesiano
- Kalman filter, extended Kalman filter e utilizzo di misture di gaussiane
- unscented Kalman Filter
- filtraggio non parametrico: cenni ad histogram filter, particle filter
- Percezione per robotica mobile autonoma
- rassegna di cinematiche di diverse basi mobili, Velocity Motion Model ed Odometry Motion Model
- breve rassegna di sensori di distanza e modello di misura per laser scanners
- problema di localization, approcci EFK-based e PF-based
- SLAM PF-based (FASTSLAM) ed EKF-based
- Visual SLAM con approcci basati su inverse depth
Modalità didattica
La lingua di erogazione prevista è l'italiano. Tuttavia lezioni ed esercitazioni potranno essere erogate in inglese se si verificasse almeno una delle seguenti condizioni:
- in aula c'è almeno uno studente straniero che preferisce si usi l'inglese;
- gli studenti richiedano che lezioni ed esercitazioni siano erogate in inglese.
Le attività didattiche includeranno:
- lezioni pre-registrate;
- incontri interattivi periodici sugli argomenti trattati nelle lezioni pre-registrate;
- attività in laboratorio (pratica, non di programmazione);
- incontri interattivi su attività di laboratorio (programmazione, in matlab);
Materiale didattico
Libri di testo
- A. Fusiello, "Visione Computazionale: tecniche di ricostruzione tridimensionale", Franco Angeli, 2013
- E. Trucco, A. Verri, "Introductory techniques for 3D Computer Vision", Prentice Hall, 1998
- S. Thrun, W. Burgard, D. Fox, "Probabilistic Robotics", Mit press, 2005
Altro materiale - Brevi video (audio e schermo di tablet usato come lavagna, estratti da lezioni di anni precedenti) per ciascun sotto-argomento
- Ulteriore materiale, disponibile sulla piattaforma elearning
Periodo di erogazione dell'insegnamento
Primo semestre
Modalità di verifica del profitto e valutazione
Il voto finale sarà la media pesata di:
- voto complessivo ottenuto nelle 2 verifiche scritte sulle parti teoriche (prima su formazione dell'immagine e stereoscopia, seconda su analisi di sequenze e percezione per robotica mobile), peso 0.4;
- voto sui 2 programmini matlab sviluppati durante la attività di laboratorio sul filtraggio Bayesiano, peso 0.6.
Orario di ricevimento
Inviare email per concordare un appuntamento
Sustainable Development Goals
CITTÀ E COMUNITÀ SOSTENIBILI
Aims
The objective of the course is to give both theoretical foundations and practical abilities about the processing of data generated by cameras and range sensors, in order to understand the observed scene; in particular its geometry.
Contents
The course presents an introduction to machine perception topics, in particular to the perception of the geometry of the observed scene.
Detailed program
- Image formation
- image formation - geometry: geometric models of projection, model-based vision (hint), the need for optics, thin lenses, blur circles and depth of view, external and intrinsic projection parameters, FOV (Field Of View), calibration of the projection parameters
- image formation - technological issues: solid state sensors (CCD, CMOS), quantum efficiency, smearing / blooming, motion blur, vignetting, etc, 3D cameras, night visors, colour cameras (3-sensors, Bayer pattern, stacked sensors)
- Stereoscopy
- terminology, pixel-level and feature-based approaches
- example of pixel level stereo-matching algorithm: correlation-based stereo-matching, and usage of multi-resolution
- feature-based stereo-matching algorithms, hints about feature detection and description
- epipolar geometry
- Analysis of image sequences
- the different problems, according to the scene and the observer motion
- image and scene motion field
- brightness constancy equation and the aperture problem
- differential methods and estimation of the optical flow with an LSE approach
- feature-based approaches
- data association and missing information problems: effects of outliers, breakdown level, Least Median of Squares, RANSAC
- Bayesian filtering
- dynamical systems and Bayesian filtering
- Kalman filter, extended Kalman filter, and usage of mixtures of gaussians
- unscented Kalman Filter
- non-parametric filters: hints on histogram filter, particle filter
- Perception for mobile autonomous robotics
- Review of kinematics of different mobile bases, Velocity Motion Model and Odometry Motion Model
- short review of sensors for range sensing and measurement model of laser scanners
- localization problem, EFK-based and PF-based approaches
- SLAM PF-based (FASTSLAM) and EKF-based
- Visual SLAM with inverse depth
Teaching form
Teaching is expected to take place in italian. Nevertheless, classes and practicals will be given in english should one of the following conditions become true:
- at least one foreign student prefers to use english;
- students ask to have classes and practicals given in english.
The teaching activities will include:
- classes: pre-recorded classes;
- periodic interactive meetings about the topics covered via the pre-recorded classes;
- laboratory events (practice, no programming);
- interactive meetings about laboratory programming activities (in matlab).
Textbook and teaching resource
Textbooks
- A. Fusiello, "Visione Computazionale: tecniche di ricostruzione tridimensionale", Franco Angeli, 2013
- E. Trucco, A. Verri, "Introductory techniques for 3D Computer Vision", Prentice Hall, 1998
- S. Thrun, W. Burgard, D. Fox, "Probabilistic Robotics", Mit press, 2005
Other learning material
- Short videos (audio and tablet screen used as blackboard, taken from the videos of classes from previous years) for each subtopic
- Extra material, available on the elearning platform
Semester
First semester
Assessment method
The final mark will be the weighted average of:
- overall mark obtained in 2 written exams about theory (first: image formation and stereoscopy, second image sequences and perception for mobile robotics), weight = 0.4l
- marks on 2 short matlab programs developed during the laboratory activity about Bayesian filtering, weight 0.6.
Office hours
Send email to arrange an appointment
Sustainable Development Goals
SUSTAINABLE CITIES AND COMMUNITIES
Staff
-
Simone Melzi
-
Domenico Giorgio Sorrenti
