Course Syllabus
Obiettivi
Lo studente acquisirà le competenze necessarie per acquisire fedelmente, elaborare ed interpretare i media pittorici anche con tecniche basate su Deep Learning. Acquisirà inoltre le competenze per integrare sistemi di ricerca basati sul contenuto delle immagini e video in apps e sistemi informativi multimediali.
Contenuti sintetici
Il corso fornisce i fondamenti teorici e pratici per:
• acquisizione di immagini e la loro riproduzione (le competenze acquisite saranno utili nell’ambito dei beni culturali, moda e design, analisi immagini mediche e telemedicina, realtà virtuale ed aumentata, …)
• post elaborazione delle immagini (ad esempio aumento della leggibilita’, rimozione della nebbia, rimozione degli artefatti di compressione…)
• segmentazione semantica (ad esempio in ambito automotive: pedone, macchina, strada, marciapiede, … in ambito medico: tessuto sano vs tessuto tumorale)
• localizzazione, descrizione, e riconoscimento automatico di oggetti anche in scene complesse
• annotazione automatica di immagini e video con parole chiave (tagging)
• browsing e ricerca per similarità di immagini e video in archivi multimediali
Programma esteso
• Percezione e misura oggettiva dei colori, colorimetria, modelli di apparenza colore
• Principi di base per la riproduzione delle immagini nei dispositivi grafici, quali le camere digitali, monitor e video proiettori, e stampanti
• Catena di acquisizione ed elaborazione delle immagini nelle camere digitali (con recap dei fondamenti dell’elaborazione delle immagini)
• Algoritmi adattativi per post elaborazione delle immagini (modifica del contrasto, riduzione del rumore, localizzazione rimozione degli artefatti, composizione di immagini, ...)
• Metodi soggettivi e oggettivi per la valutazione della qualità delle immagini
• Riconoscimento e classificazione di oggetti ed immagini con tecniche di apprendimento tradizionali basate su caratteristiche pittoriche e visuali
• Localizzazione, riconoscimento e classificazione di oggetti ed immagini con tecniche basate su deep learning
• Metodi per l’indicizzazione ed il reperimento di dati pittorici nei sistemi informativi multimediali
Le esercitazioni saranno svolte in laboratorio, in linguaggio MATLAB, e comprendono una serie di esercizi quali ad esempio image color transfer, image panorama creation, consumer photo classification, object detection,…
Prerequisiti
Nessuno. L’avere frequentato un corso di elaborazione delle immagini o di segnali non è un prerequisito obbligatorio. Il corso è autocontenuto.
Modalità didattica
Lezioni frontali in presenza con modalita' erogativa ed interattiva. Esercitazioni/ lab (MATLAB) con discussione di studi di caso, in presenza con modalita' interattiva ed erogativa
Materiale didattico
Articoli e dispense fornite dal docente.
I docenti forniscono a chi lo desidera materiale aggiuntivo (dispense e video) inerenti alla elaborazione delle immagini.
Periodo di erogazione dell'insegnamento
primo semestre
Modalità di verifica del profitto e valutazione
Discussione di un progetto che è possibile fare in gruppo al massimo di tre persone, con valutazione individuale.
Orario di ricevimento
Subito dopo le lezioni o su appuntamento
Aims
The student will acquire the skills to faithfully capture, process and interpret pictorial media including with Deep Learning based techniques. He/she will also acquire the skills to integrate image and video content-based search systems into apps and multimedia information systems.
Contents
The course provides the theoretical and practical fundamentals for:
- image acquisition and reproduction (the skills acquired will be useful in the areas of cultural heritage, fashion and design, medical image analysis and telemedicine, virtual and augmented reality, ...)
- image post-processing (e.g. increased readability, fog removal, removal of compression artifacts, ...)
- semantic segmentation (e.g. in automotive: pedestrian, car, road, sidewalk, ... in medical: healthy tissue vs. tumor tissue)
- automatic localization, description, and recognition of objects even in complex scenes
- automatic annotation of images and videos with keywords (tagging)
- browsing and similarity search of images and videos in multimedia archives
Detailed program
Objective color perception and measurement, colorimetry, color appearance models
- Basic principles of image reproduction in graphic devices, such as digital cameras, monitors and video projectors, and printers
- Image acquisition and processing chain in digital cameras (with recap of image processing fundamentals)
- Adaptive algorithms for image post processing (contrast modification, noise reduction, localization artifact removal, image composition, ...)
- Subjective and objective methods for image quality assessment
- Recognition and classification of objects and images using traditional learning techniques based on pictorial and visual features
- Localization, recognition and classification of objects and images with techniques based on deep learning
- Methods for indexing and retrieval of pictorial data in multimedia information systems
The exercises will be conducted in the laboratory, in MATLAB language, and include a series of exercises such as image color transfer, image panorama creation, consumer photo classification, object detection,...
Prerequisites
None. Having taken an image or signal processing course is not a mandatory prerequisite. The course is self-contained.
Teaching form
Lectures (48) in presence with delivery and interactive mode. Exercises/lab (MATLAB) with discussion of case studies, in-presence with interactive and delivery mode
Textbook and teaching resource
Articles and Notes given by the Professor.
The lecturers provide additional materials (handouts and videos) pertaining to image processing to those who wish.
Semester
first semester
Assessment method
Discussion of a project that can be done in a group of up to three people, with individual evaluation.
Office hours
just after the lessons or by request