Course Syllabus
Obiettivi
L'obiettivo del corso è introdurre le tecnologie di rilevamento e insegnare approcci metodologici per sviluppare Human-System Interfaces
Questo obiettivo è raggiunto da:
● Imparare a modellare l'interazione uomo-macchina sfruttando i dati provenienti da diversi tipi di sensori.
● Concentrarsi su prospettive incentrate sull'uomo.
● Sviluppare esperienza con attività pratiche con sensori durante le attività di laboratorio.
Contenuti sintetici
I contenuti del corso sono:
- Affective Computing
- Segnali fisici, fisiologici ed elettrofisiologici
- Tecnologie di rilevamento
- Computer Vision per l'interazione uomo-macchina
- Sistemi biometrici multimodali
- Brain Computer Interface
- Protezione dei dati ed etica
Programma esteso
Affective computing
Storia e definizione di Affective computing
Teorie delle emozioni, modelli emotivi e misura delle emozioni
Riconoscimento delle emozioni e affectibve computing
Progettazione di esperimenti
Segnali fisici, fisiologici ed elettrofisiologici
Segnali esterni: voce, gesti, espressioni facciali, comportamento, movimento degli occhi
Segnali interni: battito cardiaco, sudorazione, respirazione, attività muscolare e onde cerebrali
Panoramica delle tecnologie e dei sensori per la misura dei segnali fisici e fisiologici
sensori indossabili
Elaborazione e analisi dei dati di rilevamento
Visione artificiale per l'interazione uomo-macchina
Ricostruzione 3D per rilevamento e riconoscimento dei gesti
Piattaforme open source per il riconoscimento delle emozioni (openface, opensmile, …)
Sistemi biometrici
Segnali biometrici
Sistemi 1 a N e 1 a 1
Biometria comportamentale e autenticazione utente continua
Brain Computer Interface
Segnali EEG
BCI dai laboratori di ricerca alle applicazioni della vita reale
BCI basato su EEG indossabile nella vita reale
Attività di laboratorio:
Raccolta dati utilizzando diversi dispositivi (Leap motion, telecamere 3D, EEG, GSR, PPG, EMG, respirazione, ecc.);
pre-elaborazione ed estrazione delle caratteristiche;
riconoscimento delle emozioni e dei gesti.
Protezione dei dati ed etica
Questioni aperte
Prerequisiti
nessun prerequisito
Modalità didattica
Il corso si compone di lezioni frontali ed esercitazioni pratiche. Durante le attività pratiche verranno svolte esercitazioni per verificare le competenze acquisite. Le lezioni si terranno in presenza, salvo ulteriori restrizioni legate al COVID-19.
Materiale didattico
Slide e materiale caricato sulla piattaforma eLearning
Articoli sugli argomenti presentati
Articoli di riviste e convegni, rilevanti per lo stato dell'arte
Codici ed esercizi delle attività pratiche
Periodo di erogazione dell'insegnamento
secondo semestre
Modalità di verifica del profitto e valutazione
L'esame è composto da due parti, pesate ugualmente:
- Un esame orale o scritto per verificare tutti i contenuti del corso,
- La valutazione di un progetto definito durante le attività di laboratorio, che implica la raccolta e l'analisi dei dati.
Orario di ricevimento
si prega di contattare i docenti via email per organizzare un incontro
Sustainable Development Goals
Aims
The aim of the course is to introduce sensing technologies and to teach methodological approaches to develop advanced human-system interfaces
This goal is achieved by:
● Learning how to model human-machine interaction leveraging data from different types of sensors.
● Focusing on human-centric perspectives.
● Building experience with hands-on activities with sensors during lab activities.
Contents
The course contents are:
- Affective Computing
- Physical, Physiological and Electrophysiological Signals
- Sensing Technologies
- Computer Vision for Human-machine interaction
- Soft and hard multimodal biometric systems
- Brain Computer Interfaces
- Data Protection and Ethics
Detailed program
Affective Computing
History and definition of affective computing
Theories of Emotions, emotion models and Measurements
Emotion recognition and affective computing
Design of proper experiments
Physical, Physiological and Electrophysiological Signals
External Signals: voice, gesture, face, behaviour, eye movement
Internal signals: heart beat, perspiration, respiration, muscle activity and brain waves
Sensing Technologies:
Overview of sensing technologies
Wearable sensing
Processing and analysis of sensing data
Computer Vision for Human-machine interaction
3D reconstruction for hand-body gesture detection and recognition
Open source platforms for emotion recognition (openface, opensmile, …)
Biometric systems
Biometric signals
1-to N and 1-to-1 systems
Behavioral biometrics & continuous user authentication
Brain Computer Interfaces
EEG signals
BCIs from research labs to real life applications
Real-Life Wearable EEG-Based BCI
Lab Activity:
Data collection using different devices (Leap motion, 3D cameras, EEG, GSR, PPG, EMG, respiration, etc.);
pre-processing and feature-extraction;
emotion and gesture recognition.
Data Protection and Ethics
Open issues
Prerequisites
no prerequisites
Teaching form
The course consists of lectures, and practical activities. Several exercises will be carried out during the practical activities to verify the new expertise acquired. Lectures will be held in presence, unless further COVID-19 related restrictions are imposed.
Textbook and teaching resource
Slides and material uploaded on the eLearning platform
Review papers on the presented topics
Journal and conference articles, relevant for the state of the art
Codes and exercises of the practical activities
Semester
Second semester
Assessment method
The exam is composed of two parts, equally weighted:
- An oral or written exam to verify all the contents of the course,
- The evaluation of a project that is defined during the lab activities, which implies data collection and analysis.
Office hours
send email for arranging an appointment
Sustainable Development Goals
Staff
-
Federica Di Lauro
-
Francesca Gasparini
-
Aurora Saibene
-
Domenico Giorgio Sorrenti
