Course Syllabus
Obiettivi
Obiettivi
Il corso introduce i fondamenti teorici dell’affective computing, dei modelli emotivi e dei sistemi multimodali di riconoscimento delle emozioni, con applicazioni nell’interazione uomo-computer, nella sanità, nella neurotecnologia e nei sistemi intelligenti.
Conoscenza e capacità di comprensione
Lo studente apprenderà i fondamenti della conversione da analogico a digitale, acquisendo i concetti di campionamento, quantizzazione e rappresentazione digitale dei segnali, nonché i principali metodi di elaborazione dei segnali digitali, tra cui il filtraggio, la rimozione degli artefatti, l’estrazione delle caratteristiche, l’analisi tempo-frequenza e la caratterizzazione del segnale.
Lo studente comprenderà questi concetti prendendo in esame i segnali comunemente impiegati nell’informatica affettiva e nell’interazione uomo-macchina, con particolare enfasi sui segnali fisiologici ed elettrofisiologici, tra cui l’elettroencefalografia (EEG), l’attività elettrodermica (EDA/GSR), l’elettromiografia (EMG) e la fotopletismografia (PPG). Lo studente acquisirà inoltre conoscenze di base sull’elaborazione delle espressioni facciali e dei segnali vocali come modalità complementari per il riconoscimento multimodale delle emozioni.
Conoscenza e capacita di comprensione applicate
Attraverso lezioni frontali e attività di laboratorio, gli studenti impareranno come acquisire, pre-elaborare, analizzare e interpretare i segnali digitali.
Gli studenti implementeranno algoritmi per l’elaborazione dei segnali e l’estrazione di caratteristiche dai segnali digitali e svilupperanno semplici sistemi multimodali di riconoscimento delle emozioni.
Autonomia di giudizio
Attraverso attività di laboratorio e compiti assegnati, gli studenti impareranno a valutare criticamente diverse tecniche di elaborazione dei segnali e metodi di riconoscimento delle emozioni, selezionando approcci appropriati in base all’applicazione e alle caratteristiche dei segnali acquisiti.
Abilità comunicative
Gli studenti saranno incoraggiati a discutere le scelte metodologiche, i risultati sperimentali e le sfide pratiche incontrate durante le attività di laboratorio. Le capacità di comunicazione tecnica saranno valutate durante l’esame orale e la discussione dei compiti assegnati.
Capacità di apprendere
L’integrazione delle lezioni teoriche con le esperienze di laboratorio fornirà agli studenti le competenze pratiche necessarie per studiare in modo autonomo nuovi metodi di elaborazione dei segnali e applicazioni di affective computing.
Contenuti sintetici
Il corso fornisce le basi per la digitalizzazione e l'elaborazione dei segnali digitali utilizzati nell'affective computing.
Introduce le principali tecniche di pre-elaborazione, analisi ed estrazione di informazioni significative (ad esempio) dall'EEG e da altri biosegnali, insieme ad approcci complementari basati sull'analisi delle espressioni facciali e del parlato.
Il corso fornisce le basi metodologiche per lo sviluppo di sistemi multimodali di riconoscimento delle emozioni e le loro applicazioni nell'interazione uomo-computer.
Programma esteso
- Introduzione ai segnali digitali
- Segnali unidimensionali, bidimensionali e multidimensionali
- Segnali analogici e digitali
- Rappresentazione digitale dei segnali
- Conversione da analogico a digitale
- Teorema di campionamento
- Aliasing e filtri anti-aliasing
- Quantizzazione
- Risoluzione e gamma dinamica
- Elaborazione dei segnali digitali
- Analisi nel dominio del tempo
- Analisi nel dominio della frequenza
- Analisi tempo-frequenza
- Filtraggio
- Affective Computing e riconoscimento delle emozioni
- Introduzione all’Affective Computing
- Modelli delle emozioni
- Riconoscimento delle emozioni unimodale e multimodale
- Qualità del segnale e problematiche di acquisizione nei sistemi di Affective Computing
- Segnali fisiologici ed elettrofisiologici
- Panoramica sui segnali fisiologici
- Elettroencefalografia (EEG)
- Attività elettrodermica (EDA/GSR)
- Elettromiografia (EMG)
- Fotopletismografia (PPG)
- Modelli computazionali per il riconoscimento affettivo
- Intelligenza artificiale per l’informatica affettiva
- Applicazioni dell’informatica affettiva
Prerequisiti
Nessun prerequisito essenziale.
Modalità didattica
Il corso è costituito da lezioni frontali, per un totale di 28 ore, e da un'attività di laboratorio per un totale di 24 ore, durante la quale verranno svolti progetti di verifica delle nozioni acquisite, che è parte integrante dell'esame. Il corso è erogato in lingua inglese.
Le lezioni frontali saranno erogate secondo le seguenti modalità:
21 ore di ditattica erogativa, in presenza.
7 ore di didattica interattiva in presenza.
24 ore di laboratorio in modalità didattica interattiva in presence.
Materiale didattico
slide pubblicate sul sito di e-learning
testi e codici delle esercitazioni
Letture suggerite:
- Murugappan, M. (2023). Affective computing in healthcare : applications based on biosignals and artificial intelligence. IOP Publishing. https://doi.org/10.1088/978-0-7503-5182-9[1.1][1.2][1.3]
- Picard, R. W., Affective Computing, MIT Press.
- Una selezione di articoli scientifici recenti sull'elaborazione dei segnali fisiologici e sul riconoscimento delle emozioni.
Periodo di erogazione dell'insegnamento
secondo semestre
Modalità di verifica del profitto e valutazione
Tipo esame:
Orale + consegne di laboratorio (4 obbilgatorie)
Tipo valutazione: Voto finale in trentesimi
Esame orale
L’esame è orale e potrà essere in lingua inglese o in italiano secondo la richiesta dello studente.
L'esame consta di domande aperte sui contenuti spiegati a lezione e reperibili sui testi indicati, con in genere una domanda rivolta alla verifica della comprensione di quanto studiato, riferito ad un caso concreto.
Consegne
L'attività di laboratorio è parte integrante del corso.
Sono previste consegne a cadenza regolare durante lo svolgimento delle lezioni. Sono obbligatorie almeno 4 consegne per poter verbalizzare il voto e devono essere consegnate prima dell'orale.
Le consegne di laboratorio rimangono valide fino alla verbalizzazione dell'esame.
Orario di ricevimento
Venerdì dalle 11.00 alle 12.00.
Sustainable Development Goals
Aims
Aims
The course introduces theoretical foundations of affective computing, emotion models, and multimodal emotion recognition systems, with applications in human-computer interaction, healthcare, neurotechnology, and intelligent systems.
Knowledge and understanding
The student will learn the fundamentals of analog-to-digital conversion, introducing the concepts of sampling, quantization, and digital representation of signals and the main methods for processing digital signals, including filtering, artifact removal, feature extraction, time-frequency analysis, and signal characterization.
The student will understand these concepts by considering signals commonly employed in affective computing and human-machine interaction, with particular emphasis on physiological and electrophysiological signals, including electroencephalography (EEG), electrodermal activity (EDA/GSR), electromyography (EMG) , and photoplethysmography (PPG). The student will also acquire basic knowledge of facial expression, and speech signal processing as complementary modalities for multimodal affect recognition.
Applied knowledge and understanding
Through lectures and laboratory activities, students will learn how to acquire, preprocess, analyze, and interpret digital signals.
Students will implement algorithms for signal processing and feature extraction from digital signals, and will develop simple multimodal emotion recognition systems.
Making judgements
Through laboratory activities and assignments, students will learn to critically evaluate different signal processing techniques and affect recognition methods, selecting appropriate approaches according to the application and the characteristics of the acquired signals.
Communication skills
Students will be encouraged to discuss methodological choices, experimental results, and practical challenges encountered during laboratory activities. Technical communication skills will be assessed during the oral examination and assignment discussion.
Learning skills
The integration of theoretical lectures with laboratory experiences will provide students with practical skills for independently studying new signal processing methods and affective computing applications.
Contents
The course provides the foundations for digitizing and processing digital signals used in affective computing.
It introduces the principal techniques for preprocessing, analyzing, and extracting meaningful information (e.g.) from EEG and other biosignals, together with complementary approaches based on facial expressions and speech analysis.
The course provides the methodological basis for developing multimodal emotion recognition systems and their applications in human-computer interaction.
Detailed program
- Introduction to Digital Signals
- One-dimensional, two-dimensional and multidimensional signals
- Analog and digital signals
- Digital representation of signals
- Analog-to-Digital Conversion
- Sampling theorem
- Aliasing and anti-aliasing filters
- Quantization
- Resolution and dynamic range
- Digital Signal Processing
- Time-domain analysis
- Frequency-domain analysis
- Time-frequency analysis
- Filtering
- Affective Computing and Emotion Recognition
- Introduction to affective computing
- Emotion models
- Unimodal and multimodal emotion recognition
- Signal quality and acquisition issues in affective computing systems
- Physiological and Electrophysiological Signals
- Overview of physiological signals
- Electroencephalography (EEG)
- Electrodermal Activity (EDA/GSR)
- Electromyography (EMG)
- Photoplethysmography (PPG)
- Computational Models for Affective Recognitions
- Artificial Intelligence for affective computing
- Applications of affective computing
Prerequisites
No prerequisite
Teaching form
The course consists of lectures (28 hours), and practical activities (24 hours). Several exercises will be carried out during the practical activities to verify the new expertise acquired. The course is taught in English.
The lectures will be delivered as follows:
21 hours of didactics, in presence.
7 hours of interactive teaching mode in presence.
24 hours of laboratory in interactive teaching mode in presence.
Textbook and teaching resource
slides published on the web site of the course
Laboratory notebooks and programming exercises
Suggested readings:
Murugappan, M. (2023). Affective computing in healthcare : applications based on biosignals and artificial intelligence. IOP Publishing. https://doi.org/10.1088/978-0-7503-5182-9[1.1][1.2][1.3]
● Picard, R. W., Affective Computing, MIT Press.
● Selected recent scientific papers on physiological signal processing and emotion recognition
Semester
second semester
Assessment method
Examination:
Oral exam + practical activities (4 mandatory)
Evaluation Type:
Final mark out of thirty
Oral exam
The exam (oral) consists of open questions. This part verifies the competencies acquired during the course and it is based on what is taught during the lessons, on the shared slides, and on the indicated teaching resources.
Assignements
TThe practical activity is a fundamental part of the course. Periodic assignments are proposed during practical activities. Four assignments are mandatory to pass the exam and must be submitted before the oral examination. These assignments remain valid until the oral examination completion.
Office hours
Friday from 11.00 to 12.00.