- Trattamento e Codifica di Dati Multimediali
- Introduzione
Syllabus del corso
Obiettivi
Lo studente dal punto di vista teorico imparerà le nozioni fondamentali per il passaggio da segnale analogico a digitale (campionamento, quantizzazione e codifica) e le vedrà applicate principalmente al caso di segnali multimediali (audio , immagini e video), ma verranno considerati anche altri segnali in particolare acquisiti con dispositivi indossabili (segnali fisiologici ed elettrofisiologici quali battito cardiaco, conduttanza cutanea, respirazione, elettromiografia, elettroencefalogramma). Dal punto di vista pratico, durante le esercitazioni frontali e il laboratorio imparerà a gestire e processare i segnali digitali, attraverso sistemi lineari tempo invarianti, e analizzando il segnale anche dal punto di vista delle frequenze.
Contenuti sintetici
Il corso offre un’introduzione ai segnali multimediali, immagini, video ed audio, e ai principali segnali digitali acquisiti attraverso dispositivi indossabili, illustrandone le principali modalità di digitalizzazione e codifica.
La struttura del corso prevede una suddivisione in due parti: nella prima parte si analizza il passaggio da segnale analogico a digitale, introducendo in particolare i concetti di campionamento e quantizzazione, e l’elaborazione numerica dei segnali attraverso sistemi lineari tempo invarianti.
Nella seconda parte vengono approfonditi alcuni aspetti specifici dei segnali considerati: l'utilizzo di segnali fisici e fisiologici per sistemi di interazione uomo macchina e sistemi intelligenti, e i principali metodi di compressione con e senza perdita applicati ai diversi segnali digitali.
Programma esteso
- Definizione di segnale, monodimensionale, bidimensionale, N -dimensionale
- Segnale analogico
- Segnale digitale
- Media, varianza, energia e potenza
- Rumore
- Segnale nel dominio trasformato: Trasformata di Fourier - Serie di Fourier per segnali periodici
- Trasformata di Fourier per segnali continui
- Trasformata di Fourier per segnali tempo discreti
- Trasformata discreta di Fourier per segnali tempo discreti
- Teorema della convoluzione
- Conversione analogico – digitale- Teorema del campionamento
- Filtraggio anti-aliasing
- Quantizzazione
- SNR di quantizzazione
- Sistemi lineari tempo invarianti (LTI)- Definizioni
- Relazione input/output
- Risposta all’impulso
- Equazione alle differenze
- Trasformata zeta- Convergenza e regione di convergenza.
- Relazione con la trasformata di Fourier.
- Analisi sistemi LTI con trasformata zeta
- Diagramma poli zeri, stabilità e realizzabilità fisica di un sistema LTI.
- Progettazione sistemi FIR e IIR tramite posizionamento di poli e zeri
- Segnali audio, immagini e video: campionamento e quantizzazione, SNR quantizzazione7. Analisi multirisoluzione
- Banchi di Filtri
- Trasformata Wavelet
- Segnali fisiologici e fisici imiegati in applicazioni di interazione uomo- macchina, ed in sistemi intelligenti (affective computing, ambient assisted living, biometria).
- fotopletismografia
- elettroencefalogramma,
- respirazione
- conduttanza cutanea
- elettromiografia
- Compressione
- Principali algoritmi di compressione con e senza perdita
- Compressione audio
- Compressione immagini (in particolare JPEG)
- Compressione Video (in particolare MPEG)
- Principali Formati immagine e loro impiego
- Analisi qualità dei segnali
Prerequisiti
Nessun prerequisito essenziale. E' utile la conoscenza di alcuni concetti base trattati negli insegnamenti di Programmazione 1 e Analisi Matematica.
Modalità didattica
Il corso è costituito da 48 ore di lezioni frontali e da 24 ore di attività di laboratorio dove le nozioni teoriche verranno tradotte in esercitazioni pratiche.
Delle 48 ore frontali, 36 ore saranno di didattica erogativa e 12 ore di didattica interattiva, con esercizi, esempi e casi studio discussi insieme agli studenti.
Le 24 ore di laboratorio saranno tutte di didattica interattiva. Durante le attività di laboratorio verranno presentati e svolti assieme agli studenti alcuni esercizi utilizzando matlab. Sono previste delle consegne di esercizi spiegati e guidati durante le lezioni in laboratorio.
Le lezioni e le esercitazioni sono tenute in italiano ed in presenza.
Materiale didattico
Testi di riferimento:
- R.Gonzalez, R. Woods, Digital Image Processing, Pearson International Edition
- Fabrizio Argenti, Lorenzo Mucchi, Enrico Del Re, Elaborazione numerica dei segnali.
Teoria, esercizi ed esempi al calcolatore, McGraw-Hill Education.
Materiale di approfondimento:
- Proakis & Manolakis, Digital Signal Processing.
- Video Processing and Communications, Yao Wang, Jorn Ostermann, Ya-QuinZhang.
- Introduction to Data Compression, K.Sayood
Lucidi delle lezioni
Esempi di temi d'esame degli anni passati ed esercizi svolti in classe
Periodo di erogazione dell'insegnamento
secondo semestre
Modalità di verifica del profitto e valutazione
Tipo esame:
Scritto ed orale + consegne di laboratorio:
Tipo valutazione: Voto finale in trentesimi
Prova scritta
La prima parte (scritta) richiede la risoluzione di esercizi riguardanti l'analisi del segnale. Si tratta per lo più di soluzione di esercizi standard come quelli discussi durante le lezioni.
Prova orale
La seconda parte (orale) consta di domande aperte su digitalizzazione e compressione di segnali multimediali, su applicazioni di segnali fisici e fisiologici. In queste domande prevalentemente vengono richieste le nozioni spiegate a lezione e reperibili sui testi indicati, con in genere una domanda rivolta alla verifica della comprensione di quanto studiato, riferito ad un caso concreto.
Il voto massimo cumulativo delle due prove è 30/30
Consegne
Sono previste consegne a cadenza regolare durante l'attività di laboratorio. Sono obbligatorie almeno 4 consegne per poter verbalizzare il voto. Le consegne possono poi fornire fino a 2 punti aggiuntivi nella valutazione dell'esame finale. I punti di laboratorio rimangono validi per tutti gli appelli dell'anno accademico in cui è erogato l'insegnamento.
Sono previste due prove in itinere, (compitini).
La prima prova richiede lo svolgimento di esercizi riguardanti l'analisi del segnale, ed ha una valutazione massima di 30/30
La seconda prova (orale) invece consta di domande aperte su digitalizzazione e compressione di segnali multimediali, ed ha una valutazione massima di 30/30.
La singola prova si considera superata se ha ricevuto un punteggio >=15.
Il voto finale della prova scritta è la media dei voti quando entrambi i compitini sono stati superati (entrambi >=15) e l'esame è superato se la media è >=18.
Il voto finale è la somma del voto ottenuto dalla media di parte scritta e orale più gli eventuali punti delle prove in laboratorio.
Se uno dei due compitini non viene svolto (studente assente o ritirato) o è insufficiente (
Orario di ricevimento
Venerdì dalle 11.00 alle 12.00.
Sustainable Development Goals
Aims
From the theoretical point of view, the student will learn the basics of the transition from analog to digital signal (sampling, quantization and coding ) applied in the case of multimedia signals (audio, image and video) as well as in the case of signals acquired using wearable devices (physiological and electrophysiological signals, such as PPG, skin conductance, elctromyography, electroencephalography). From the practical point of view, during the practical activities the student will learn to manage and process the digital signals by means of linear time invariant systems and using frequency analysis.
Contents
The course offers an introduction to multimedia signals (images, video and audio), and signals coming from wearable devices, presenting the main methods of acquisition, digitizing and encoding. The course is divided into two parts: the first part analyzes the analog to digital conversion in particular by introducing the concepts of sampling and quantization, and presents digital signal processing through linear time invariant systems.
The second part focuses on specific aspects: the use of physical and physiological signals coming from werable devices in human machine interaction applications, and intelligent systems, and describes the main methods of lossy and lossless compression, applied in particular to audio, image and video signals.
Detailed program
- Definition of one-dimensional signals, tw-dimensional signals, N-dimensional signals
-
Analog signal
-
Digital signal
-
Media, variance, energy and power
-
Noise
- Signal in the transformed domain: Fourier Transform
- Fourier series for periodic signals
- Fourier transform for continuous signals
- Fourier transform for discrete time signals
- Discrete Fourier transform for discrete time signals
- Convolution theorem
- Analog to digital conversion
- sampling theorem
- Filter Anti-Aliasing
- Quantization
- SNR quantization
4 Linear time invariant Systems (LTI)
- Definitions
- input / output equation
- Impulse response
- Equation differences
- z-transform
- Convergence and convergence region.
- Relationship with the Fourier transform.
- Analysis of LTI systems with z-transform
- diagram poles-zeros, stability and physical feasibility of a LTI system.
- Design FIR and IIR systems through placement of poles and zeros
-
Audio signals, images and video: sampling and quantization, quantization SNR
-
multiresolution analysis
- Filter bank
- Wavelet Transform
- Physical and physiological signals applied in human machine interaction and intelligent system applications (affective computing, ambient assisted living, biometrics).
- photopletismography
- electroencefalography,
- respiration
- skin conductance
- elettromyography
- Compression
- Main compression loss-less and lossy algorithms
- Audio Compression
- Image Compression (particularly JPEG)
- Video Compression (in particular MPEG)
- Main image Formats
- Analysis of signal quality
Prerequisites
No prerequisite. The knowledge of some basic concepts of Mathematical Analysis and Programming 1 is useful.
Teaching form
The course consists of 48 hours of lectures and 24 hours of laboratory activities where theoretical concepts will be translated into practical exercises.
Of the 48 face-to-face hours, 36 hours will be of didactic teaching and 12 hours of interactive teaching, with exercises, examples and case studies discussed with the students.
The 24 laboratory hours will all be interactive teaching. During the laboratory activities, some exercises using matlab will be presented and carried out together with the students. Assignments, explained and guided during the laboratory lectures, will be scheduled duringthe course.
Lectures and exercises are given in Italian and in presence.
Textbook and teaching resource
Textbooks:
- R.Gonzalez, R. Woods, Digital Image Processing, Pearson International Edition
- Fabrizio Argenti, Lorenzo Mucchi, Enrico Del Re, Elaborazione numerica dei segnali.
Teoria, esercizi ed esempi al calcolatore, McGraw-Hill Education.
Deeping texts:
- Proakis & Manolakis, Digital Signal Processing.
- Video Processing and Communications, Yao Wang, Jorn Ostermann, Ya-QuinZhang.
- Introduction to Data Compression, K.Sayood
Slides projected during the lectures.
Text of exams and exercises
Semester
second semester
Assessment method
Examination:
Written and oral exam + practical activities
Evaluation Type:
Final mark out of thirty
Written and oral exam:
The exam consists of two parts. The first part is a written exam. It consists of exercises on digital signal processing, similar to those explained during the course.
The second part (oral) consists of open questions about digitalization and compression of multimedia signals and applications of phisical and physiological signals. This part verifies the competencies acquired and it is based on what taught during the lessons, available on the slides and on the indicated text books.
Maximum mark is 30/30.
The assignments carried out during the practical activities will provide further 2 points for the final exam. These points remain valid for the academic year in which the teaching is delivered. Four assignments are mandatory.
Two partial tests are scheduled
The first partial test is scheduled at about half of the lessons, the second at the end of the course.
The first test is about exercises on digital signal processing and it has a maximum mark of 30/30
The second one is oral, and it consists of open questions about digitalization and compression of multimedia signals, and applications of physiological and physical signals and it has a maximum mark of 30/30.
The single test is considered passed if it has received a score >=15. The final mark is the average of the two parts ( both of them >=15). This part of the exam is passed if this average is >=18.
The final mark is the average of the marks of the written and oral exam plus the eventual extra points for the practical activities.
If one of the two parts is not carried out (absent or withdrawn student) or if it is not sufficient (
Office hours
Friday from 11.00 to 12.00.