Insegnamento
Course full name
Processing and Coding of Multimedia Data
Course ID number
2021-3-E3101Q126
Course Syllabus
Obiettivi
Lo studente dal punto di vista teorico imparerà le nozioni fondamentali per il passaggio da segnale analogico e digitale (campionamento, quantizzazione e codifica) e le vedrà applicate al caso di segnali audio , immagine e video. Dal punto di vista pratico, durante le esercitazioni frontali e il laboratorio imparerà a gestire e processare i segnali digitali, attraverso sistemi lineari tempo invarianti, e analizzando il segnale anche dal punto di vista delle frequenze.
Contenuti sintetici
Il corso offre un’introduzione ai segnali multimediali, immagini, video ed audio, illustrandone le principali modalità di digitalizzazione e codifica. La struttura del corso prevede una suddivisione in due parti: nella prima parte si analizza il
passaggio da segnale analogico a digitale, introducendo in partico lare i concetti di campionamento e quantizzazione, e l’elaborazione numerica dei segnali attraverso sistemi lineari tempo invarianti.
Nella seconda parte vengono illustrati i principali metodi di compressione con e senza perdita applicati ai diversi segnali audio, immagine e video.
Programma esteso
1. Definizione di segnale, monodimensionale, bidimensionale, N -dimensionale
- Segnale analogico
- Segnale digitale
- Media, varianza, energia e potenza
- Rumore
- Serie di Fourier per segnali periodici
- Trasformata di Fourier per segnali continui
- Trasformata di Fourier per segnali tempo discreti
- Trasformata discreta di Fourier per segnali tempo discreti
- Teorema della convoluzione
- Teorema del campionamento
- Filtraggio anti-aliasing
- Quantizzazione
- SNR di quantizzazione
- Definizioni
- Relazione input/output
- Risposta all’impulso
- Equazione alle differenze
- Convergenza e regione di convergenza.
- Relazione con la trasformata di Fourier.
- Analisi sistemi LTI con trasformata zeta
- Diagramma poli zeri, stabilità e realizzabilità fisica di un sistema LTI.
- Progettazione sistemi FIR e IIR tramite posizionamento di poli e zeri
7. Analisi multirisoluzione
- Banchi di Filtri
- Trasformata Wavelet
8. Compressione
- Principali algoritmi di compressione con e senza perdita
- Compressione audio
- Compressione immagini (in particolare JPEG)
- Compressione Video (in particolare MPEG)
- Principali Formati immagine e loro impiego
- Analisi qualità dei segnali
Prerequisiti
Nessun prerequisito essenziale. E' utile la conoscenza di alcuni concetti base trattati negli insegnamenti di Programmazione 1 e Analisi Matematica.
Modalità didattica
Il corso è costituito da lezioni frontali, e da un'attività di laboratorio dove le nozioni teoriche verranno tradotte in esercitazioni pratiche. Sono previste delle consegne di esercizi spiegati e guidati durante le lezioni in laboratorio.
Le lezioni e le esercitazioni sono tenute in italiano. Nel periodo di emergenza Covid-19 le lezioni e le esercitazioni si svolgeranno prevalentemente in videoconferenza in modalità da remoto sincrona, con eventuali contributi registrati in modalità asincrona. Il laboratorio si svolgerà invece in modalità da remoto asincrono con eventi in videoconferenza sincrona per chiarire eventuali dubbi.
Materiale didattico
Testi di riferimento:
- M. Laddomada, M. Mondin, Elaborazione numerica dei segnali, Pearson, Prentice hall
- R.Gonzalez, R. Woods, Digital Image Processing, Pearson International Edition
Materiale di approfondimento:
- Mark S. Drew, Foundamentals of Multimedia, Pearson
- Video Processing and Communications, Yao Wang, Jorn Ostermann, Ya-QuinZhang.
- Introduction to Data Compression, K.Sayood
Lucidi delle lezioni
Periodo di erogazione dell'insegnamento
secondo semestre
Modalità di verifica del profitto e valutazione
Tipo esame:
• Scritto ed orale + consegne di laboratorio:
Tipo valutazione:
• Voto finale in trentesimi
Prova scritta
La prova si compone di due parti:
La prima parte (scritta) richiede la risoluzione di esercizi riguardanti l'analisi del segnale. Si tratta per lo più di soluzione di esercizi standard come quelli discussi durante le lezioni.
La seconda parte (scritta o in caso di Emergenza Covid-19 orale) consta di domande aperte su digitalizzazione e compressione di segnali multimediali, in cui prevalentemente vengono richieste le nozioni spiegate a lezione e reperibili sui testi indicati, con in genere una domanda rivolta alla verifica della comprensione di quanto studiato, riferito ad un caso concreto.
A discrezione del docente è possibile una ulteriore verifica orale, successiva alla prova scritta.
Il voto massimo cumulativo delle due prove è 30/30
Sono previste consegne a scadenza regolare durante l'attività di laboratorio. Sono obbligatorie almeno 4 consegne per poter verbalizzare il voto. Le consegne possono poi fornire fino a 2 punti aggiuntivi nella valutazione dell'esame finale. I punti di laboratorio rimangono validi per tutti gli appelli dell'anno accademico in cui è erogato l'insegnamento.
Sono previste due prove in itinere, (compitini).
La prima prova richiede lo svolgimento di esercizi riguardanti l'analisi del segnale, ed ha una valutazione massima di 30/30
La seconda prova invece consta di domande aperte su digitalizzazione e compressione di segnali multimediali,
ed ha una valutazione massima di 30/30
La singola prova si considera superata se ha ricevuto un punteggio >15.
Il voto finale della prova scritta è la media dei voti quando entrambi i compitini sono stati superati (entrambi >15) e l'esame è superato se la media è >=18.
Il voto finale è la somma del voto della parte scritta più gli eventuali punti delle prove in laboratorio.
Se uno dei due compitini non viene svolto (studente assente o ritirato) o è insufficiente (<=15) può essere recuperato durante il solo primo appello.
Orario di ricevimento
Venerdì dalle 11.00 alle 12.00.
Aims
From the theoretical point of view, the student will learn the basics of the transition from analog and digital signal (sampling, quantization and coding ) applied in the case of audio, image and video signals. From the practical point of view, during the practical activities the student will learn to manage and process the digital signals by means of linear time invariant systems and using frequency analysis.
Contents
The course offers an introduction to multimedia signals:
images, video and audio, presenting the main methods of digitizing
and encoding. The course is divided into two parts: the first part
analyzes the analog to digital conversion in particular by
introducing the concepts of sampling and quantization, and
presents digital signal processing through linear time invariant
systems.
The second part
describes the main methods of lossy and lossless compression, applied
in particular to audio, image and video signals.
Detailed program
1. Definition of one-dimensional signals, tw-dimensional signals, N-dimensional signals
- Analog signal
- Digital signal
- Media, variance, energy and power
- Noise
2. Signal in the transformed domain: Fourier Transform
- Fourier series for periodic signals
- Fourier transform for continuous signals
- Fourier transform for discrete time signals
- Discrete Fourier transform for discrete time signals
- Convolution theorem
3. Analog to digital conversion
- sampling theorem
- Filter Anti-Aliasing
- Quantization
- SNR quantization
4 Linear time invariant Systems (LTI)
- Definitions
- input / output equation
- Impulse response
- Equation differences
5. z-transform
- Convergence and convergence region.
- Relationship with the Fourier transform.
- Analysis of LTI systems with z-transform
- diagram poles-zeros, stability and physical feasibility of a LTI system.
- Design FIR and IIR systems through placement of poles and zeros
6. Audio signals, images and video: sampling and quantization, quantization SNR
7. multiresolution analysis
- Filter bank
- Wavelet Transform
8 Compression
- Main compression loss-less and lossy algorithms
- Audio Compression
- Image Compression (particularly JPEG)
- Video Compression (in particular MPEG)
- Main image Formats
- Analysis of signals quality
Prerequisites
No prerequisite. The knowledge of some basic concepts of Mathematical Analysis and Programming 1 is useful.
Teaching form
The course consists of lectures, classroom exercises, and
practical activities. Several exercises will be carried out during
the practical activities to verify the new expertise acquired. The course is taught in Italian.
In the Covid-19 emergency period, lessons and exercises will take place mainly via videoconference in remote synchronous mode, with any contributions recorded asynchronously. The laboratory will instead take place in asynchronous remote mode with synchronous videoconferencing events to clarify any doubts.
Textbook and teaching resource
Textbooks:
- M. Laddomada, M. Mondin, Elaborazione numerica dei segnali, Pearson, Prentice hall
- R.Gonzalez, R. Woods, Digital Image Processing, Pearson International Edition
Deeping texts:
- Mark S. Drew, Foundamentals of Multimedia, Pearson
- Video Processing and Communications, Yao Wang, Jorn Ostermann, Ya-QuinZhang.
- Introduction to Data Compression, K.Sayood
Slides projected during the lectures.
Semester
second semester
Assessment method
Examination:
• Written and oral exam + practical activities:
Evaluation Type:
• Final mark out of thirty
Written and oral exam:
The written exam consists of two parts. The first part of the written exam consists of exercises on digital signal processing, similar to those explained during the course.
The second part (writen or oral in case of Covid-19 Emergency) consists of open questions about digitalization and compression of multimedia signals. This part verifies the competencies acquired and it is based on what taught during the lessons, available on the slides and on the indicated text books.
It is also possible an oral verification of the expertise acquired. Maximum mark is 30/30.
The assignments carried out during the practical activities will provide further 2 points for the final exam. These points remain valid for the academic year in which the teaching is delivered. Four assignments are mandatory.
Two partial tests are scheduled
one at about half of the lessons, the second at the end of the course.
The first test is about exercises on digital
signal processing and it has a maximum mark of 30/30
the second one consists of open questions about
digitalization and compression of multimedia signals, and it has a maximum mark of 30/30.
The single test is considered passed if it has received a score >15. The final mark of the written exam is the average of the two parts ( both of them >15). The exam is passed if this average is >=18.
The final mark is the sum of the mark of the written exam plus th eeventual extra point sfor the practical activities.
If one of the two parts is not carried out (absent or withdrawn student) or if it is not sufficient (<=15) it can be recovered during the first examination only.
Office hours
Friday from 11.00 to 12.00.
Staff
-
Simone Bianco
-
Francesca Gasparini