Course Syllabus
Obiettivi
Conoscenza e capacità di comprensione
Lo studente comprenderà come modellare l'interazione uomo-macchina sfruttando dati originati da diverse sorgenti.
In particolare lo studente approfondirà la conoscenza di diversi tipi di segnali acquisiti con sensori di contatto, o sensori nell’ambiente, quali sensori che acquisiscono segnali fisiologici o elettrofisiologici, segnali fisici (parlato, volto, …) e di movimento.
Lo studente imparerà come integrare questi segnali in interfacce uomo macchina avanzate, quali ad esempio le interfacce macchina cervello.
***Conoscenza e capacita di comprensione applicate ***
Dal punto di vista pratico, durante le attività di laboratorio lo studente imparerà ad acquisire, processare ed interpretare i segnali acquisiti con l’impiego di diversi sensori a disposizione per le attività didattiche: sensori per la raccolta di dati fisiologici ed elettrofisiologici, sensori per il movimento, etc… e a creare semplici sistemi di interazione.
***Autonomia di giudizio ***
Gli studenti grazie alle attività di laboratorio e alle consegne in itinere richieste sarà in grado di valutare la propria preparazione e livello di comprensione degli aspetti teorici.
***Abilità comunicative ***
Gli studenti saranno stimolati alla discussione durante le attività frontali e di laboratorio. L’attenzione principale durante queste interazioni è volta a incrementare le capacità di comunicare in modo chiaro, consapevole e privo di ambiguità contenuti tecnici, idee, problemi. Queste abilità incentivate in itinere verranno valutata attraverso una prova d’esame orale.
Capacità di apprendere
La struttura dell’insegnamento in cui lezioni teoriche, esercitazioni pratiche e esperienze di laboratorio si alternano in parallelo, guidano nell’apprendimento di un metodo di studio e di apprendimento efficace.
Contenuti sintetici
I contenuti del corso sono:
- Affective Computing
- Segnali fisici, fisiologici ed elettrofisiologici
- Tecnologie di rilevamento
- Stima di posa e movimento
- Sistemi biometrici multimodali
- Brain Computer Interface
Programma esteso
Affective computing
- Storia e definizione di Affective computing
- Teorie delle emozioni, modelli emotivi e misura delle emozioni
- Riconoscimento delle emozioni e affectibve computing
- Progettazione di esperimenti
Segnali fisici, fisiologici ed elettrofisiologici
- Segnali esterni: voce, gesti, espressioni facciali, comportamento, movimento degli occhi
- Segnali interni: battito cardiaco, sudorazione, respirazione, attività muscolare e onde cerebrali
Panoramica delle tecnologie e dei sensori per la misura dei segnali fisici e fisiologici
sensori indossabili
Fondamenti per la stima della posa e del movimento
- Modellazione dei segmenti del corpo
- Modellazione delle articolazioni tra i segmenti del corpo
Stima della posa basata su telecamere
- Metodi basati su marcatori e metodi senza marcatori
- Estrazioni di caratteristiche e adattamento di un modello corporeo
Stima della posa basata su unità di misura inerziali (IMU)
- Fondamenti delle IMU
- Filtraggio e integrazione
Stima del movimento basata sull'elettromiografia (EMG)
- Fondamenti di EMG
- Filtraggio per stimare l'attività muscolare
Sistemi biometrici
- Segnali biometrici
- Sistemi 1 a N e 1 a 1
- Biometria comportamentale e autenticazione utente continua
Brain Computer Interface
- Segnali EEG
- BCI dai laboratori di ricerca alle applicazioni della vita reale
- BCI basato su EEG indossabile nella vita reale
Attività di laboratorio:
Raccolta dati utilizzando diversi dispositivi (Leap motion, telecamere 3D, EEG, GSR, PPG, EMG, ecc.);
pre-elaborazione ed estrazione delle caratteristiche;
riconoscimento delle emozioni e dei gesti.
Prerequisiti
nessun prerequisito
Modalità didattica
Il corso si compone di lezioni frontali (32 ore in modalità di didattica erogativa DE) ed esercitazioni pratiche (24 ore in modalità di didattica interattiva DI). Durante le attività pratiche verranno svolte esercitazioni per verificare le competenze acquisite. Le lezioni si terranno in presenza.
Materiale didattico
Slide e materiale caricato sulla piattaforma eLearning
Articoli sugli argomenti presentati
Articoli di riviste e convegni, rilevanti per lo stato dell'arte
Codici ed esercizi delle attività pratiche
Periodo di erogazione dell'insegnamento
secondo semestre
Modalità di verifica del profitto e valutazione
L'esame è composto da due parti, pesate ugualmente:
- Un esame orale per verificare tutti i contenuti del corso,
- La valutazione di consegne previste durante le attività di laboratorio, che implicano la raccolta e l'analisi dei dati. Per coloro che per impedimenti vari non fossero in grado di procedere con le consegne in itinere, è prevista una attività pratica da concordare con i docenti.
Orario di ricevimento
si prega di contattare i docenti via email per organizzare un incontro
Sustainable Development Goals
Aims
Knowledge and understanding
The student will understand how to model human-computer interaction by exploiting data originating from different sources.
In particular, the student will learn more about different types of signals acquired with contact sensors, or sensors in the environment, such as sensors that acquire physiological or electrophysiological signals, physical (speech, face, ...) and motion signals.
The student will learn how to integrate these signals into advanced human-machine interfaces, such as brain-computer interfaces.
Applied knowledge and understanding
Students will be stimulated for discussion during frontal and laboratory activities. The main focus during these interactions is to increase the ability to clearly, consciously and unambiguously communicate technical content, ideas, and problems. These skills fostered in itinere will be assessed through an oral examination.
Making judgements
Students through laboratory activities and required assignments will be able to assess their own preparation and level of understanding of theoretical aspects.
Communication skills
Students will be stimulated to discussion during frontal and laboratory activities. The main focus during these interactions is to increase the ability to clearly, knowledgeably and unambiguously communicate technical content, ideas, problems. These skills fostered in itinere will be assessed through an oral examination test.
Learning skills
The structure of teaching in which theoretical lectures, and laboratory experiences alternate in parallel, guides in learning an effective study and learning method.
Contents
The course contents are:
- Affective Computing
- Physical, Physiological and Electrophysiological Signals
- Sensing Technologies
- Pose and motion estimation
- Soft and hard multimodal biometric systems
- Brain Computer Interfaces
Detailed program
Affective Computing
- History and definition of affective computing
- Theories of Emotions, emotion models and Measurements
- Emotion recognition and affective computing
- Design of proper experiments
Physical, Physiological and Electrophysiological Signals
- External Signals: voice, gesture, face, behaviour, eye movement
- Internal signals: heart beat, perspiration, respiration, muscle activity and brain waves
Sensing Technologies:
- Overview of sensing technologies
- Wearable sensing
- Processing and analysis of sensing data
Basics of pose and motion estimation
- Modeling body segments
- Modelling joints across body segments
Pose estimations based on cameras
- Marker-based and markerless methods
- Feature extractions and fitting a body model
Pose estimation based on Inertial Measurement Units (IMUs)
- Basics of IMUs
- Filtering and integration
Motion estimation based on Electromyography (EMG)
- Basics of EMGs
- Filtering to estimate muscle activity
Biometric systems
- Biometric signals
- 1-to N and 1-to-1 systems
- Behavioral biometrics & continuous user authentication
Brain Computer Interfaces
- EEG signals
- BCIs from research labs to real life applications
- Real-Life Wearable EEG-Based BCI
Lab Activities:
Data collection using different devices (Leap motion, 3D cameras (both TOF and structured light), EEG, GSR, PPG, EMG, etc.);
pre-processing and feature-extraction;
emotion and gesture recognition.
Prerequisites
no prerequisites
Teaching form
The course consists of lectures (32 hours of didactic teaching DE), and practical activities (24 hours of interactive didactic DI).
Several exercises will be carried out during the practical activities to verify the new expertise acquired. Lectures and practical activities will be held in presence.
Textbook and teaching resource
Slides and material uploaded on the eLearning platform
Review papers on the presented topics
Journal and conference articles, relevant for the state of the art
Codes and exercises of the practical activities
Semester
Second semester
Assessment method
The exam is composed of two parts, equally weighted:
- An oral exam to verify the preparation on all contents of the course,
- The evaluation of assigments administered during the practical activities, Those who are not able to carry out the assigments, have to develop a practical activity, defined with the teachers.
Office hours
send email for arranging an appointment
Sustainable Development Goals
Staff
-
Cristiano Alessandro
-
Francesca Gasparini
