The course aims to present the most important sensor fusion methods for e-Health and mobile-Health, and to give the students the opportunity to implement and test some of these solutions in two simple lab experiences.
Particularly, the course will give an introduction to e-Health and mobile-Health, with particular attention on the motivation for implementing sensor fusion strategies in these contexts. The most relevant solutions for sensor fusion for biological signals (acquired by e.g., EEG, EMG, GSR, ECG..) will be described and discussed through case studies during classes. Finally, two hands-on lab activities will be proposed, in order for the students to experience the challenges and advantages of sensor fusion in the specific contexts of human activity recognition and emotion recognition.
At the end of the course, the students are supposed to have developed the skills to choose and implement the most suitable solution of sensor fusion for the specific e-/m-health scenario, and to be able to adopt similar solutions in other contexts, too (e.g., autonomous vehicles).
Course Syllabus
Titolo
Fusione di sensori in ambito di salute digitale e mobile
Docente(i)
Giulia Cisotto, Ph.D.
Aurora Saibene, Ph.D.
Lingua
Inglese
Breve descrizione
Il corso si propone di presentare i più importanti metodi di sensor fusion per l'e-Health e la mobile-Health e di dare agli studenti l'opportunità di implementare e testare alcune di queste soluzioni in due semplici esperienze di laboratorio. In particolare, il corso fornirà un'introduzione all'e-Health, alla m-Health e ai principali tipi di segnali che possono essere acquisiti, con particolare attenzione alle motivazioni per cui implementare strategie di sensor fusion in questi contesti. Le soluzioni più rilevanti per la fusione di sensori per segnali biologici (acquisiti ad esempio da EEG, EMG, GSR, ECG..) saranno descritte e discusse attraverso casi di studio durante le lezioni.
Infine, verranno proposte due attività pratiche di laboratorio, affinché gli studenti possano sperimentare le sfide e i vantaggi della fusione dei sensori nei contesti specifici del riconoscimento delle attività umane e del riconoscimento delle emozioni.
Al termine del corso, gli studenti dovrebbero aver sviluppato le competenze per scegliere e implementare la soluzione di sensor fusion più adatta per lo specifico scenario e-/m-health ed essere in grado di adottare soluzioni simili in altri contesti, anche (ad esempio, veicoli autonomi).
Contenuti del corso
-
introduzione ai concetti di e-health ed m-health (tipo di dati, sensori/dispositivi, requisiti, principali scenari)
-
principali strategie di fusione dei data in questi contesti
-
informazione di base sulle differenti tipologie di dati biologici usati
-
revisione dei principali concetti/strumenti di analisi nel dominio del tempo e della frequenza
-
caso di studio 1: riconoscimento di gesti usando elettroencefalografia (EEG) ed elettromiografia (EMG)
-
caso di studio 2 (attività pratica in lab): riconoscimento del livello di stress usando EEG, attività elettrodermica (EDA), fotopletismografia (PPG)
Durante l'attività di laboratorio (in Matlab), gli studenti parteciperanno all'acquisizione dati e implementeranno l'analisi dei dati (singola modalità e multimodale). I dati multimodali verranno poi elaborati utilizzando le tre principali strategie di fusione dei dati spiegate durante il corso.
Valutazione di fine corso
Verrà sommiistrato un breve questionario l'ultimo giorno del corso.
Inoltre, verrà richiesto di svolgere una delle seguenti attività:
(1) breve revisione dello stato dell'arte
(2) breve campagna di acquisizione dati con report tecnico alla fine
(3) breve progetto sperimentale (sulla base di una domanda di ricerca ben definita)
L'argomento oggetto delle attività sarà discusso e concordato insieme alle docenti.
Bibliografia
[1] Gravina, R., Alinia, P., Ghasemzadeh, H., & Fortino, G. (2017). Multi-sensor fusion in body sensor networks: State-of-the-art and research challenges. Information Fusion, 35, 68-80.
[2] Cisotto, G., Guglielmi, A. V., Badia, L., & Zanella, A. (2018, September). Classification of grasping tasks based on EEG-EMG coherence. In 2018 IEEE 20th International Conference on e-Health Networking, Applications and Services (Healthcom) (pp. 1-6). IEEE.
[3] Tryon, J., Friedman, E., & Trejos, A. L. (2019, June). Performance Evaluation of EEG/EMG Fusion Methods for Motion Classification. In 2019 IEEE 16° International Conference on Rehabilitation Robotics (ICORR) (pp. 971-976). IEEE.
[4] Tryon, J., & Trejos, A. L. (2020). Classification of Task Weight During Dynamic Motion Using EEG–EMG Fusion. IEEE Sensors Journal.
[5] Gasparini, F., Grossi, A., Giltri, M., Nishinari, K., & Bandini, S. (2023). Behavior and Task Classification Using Wearable Sensor Data: A Study across Different Ages. Sensors, 23(6), 3225.
[6] Zyma, I., Tukaev, S., Seleznov, I., Kiyono, K., Popov, A., Chernykh, M., & Shpenkov, O. (2019). Electroencephalograms during mental arithmetic task performance. Data, 4(1), 14.
CFU / Ore
2 CFU, equivalenti a 20 ore, di cui 1 CFU di lezioni frontali (8 ore) e 1 CFU di laboratorio (12 ore)
Periodo di erogazione
dicembre 2023 (il calendario delle lezioni verrà pubblicato a breve)
Sustainable Development Goals
Title
Sensor Fusion in e-Health and mobile-Health
Teacher(s)
Giulia Cisotto, Ph.D.
Aurora Saibene, Ph.D.
Language
English
Short description
The course aims to present the most important sensor fusion methods for e-Health and mobile-Health, and to give the students the opportunity to implement and test some of these solutions in two simple lab experiences. Particularly, the course will give an introduction of e-Health, m-Health and the most common signals that can be acquired, with particular attention on the motivation for implementing sensor fusion strategies in these contexts. The most relevant solutions for sensor fusion for biological signals (acquired by e.g., EEG, EMG, GSR, ECG..) will be described and discussed through case studies during classes.
Finally, two hands-on lab activities will be proposed, in order for the students to experience challenges and advantages of sensor fusion in the specific contexts of human activity recognition and emotion recognition.
At the end of the course, the students are supposed to have developed the skills to choose and implement the most suitable solution of sensor fusion for the specific e-/m-health scenario, and to be able to adopt similar solutions in other contexts, too (e.g., autonomous vehicles).
Course contents
-
introduction to e-health and m-health (data types, sensors/devices, requirements, main scenarios)
-
main data fusion strategies
-
basic information on different kinds of biological signals
-
review of time and frequency domain analysis
-
case study 1: gesture recognition using electroencephalography (EEG) and electromyography (EMG)
-
case study 2 (hands-on in lab): stress recognition using EEG, electrodermal activity (EDA), photoplethysmography (PPG)
During the hands-on Matlab-based lab activity, students will perform data acquisition as well as data analysis (single- and multi-modal). The multi-modal data will be processed using three main data fusion strategies.
Final evaluation
A short questionnaire (closed-form questions) will be administerd the last day of the course.
Moreover, either one of the following activities could be chosen:
(1) brief review of the state-of-the-art
(2) short measurement campaign with a final technical report
(3) short experimental project (based on a well-defined research question)
The topic of the above activities will be discussed and agreed with the Professors.
References
[1] Gravina, R., Alinia, P., Ghasemzadeh, H., & Fortino, G. (2017). Multi-sensor fusion in body sensor networks: State-of-the-art and research challenges. Information Fusion, 35, 68-80.
[2] Cisotto, G., Guglielmi, A. V., Badia, L., & Zanella, A. (2018, September). Classification of grasping tasks based on EEG-EMG coherence. In 2018 IEEE 20th International Conference on e-Health Networking, Applications and Services (Healthcom) (pp. 1-6). IEEE.
[3] Tryon, J., Friedman, E., & Trejos, A. L. (2019, June). Performance Evaluation of EEG/EMG Fusion Methods for Motion Classification. In 2019 IEEE 16° International Conference on Rehabilitation Robotics (ICORR) (pp. 971-976). IEEE.
[4] Tryon, J., & Trejos, A. L. (2020). Classification of Task Weight During Dynamic Motion Using EEG–EMG Fusion. IEEE Sensors Journal.
[5] Gasparini, F., Grossi, A., Giltri, M., Nishinari, K., & Bandini, S. (2023). Behavior and Task Classification Using Wearable Sensor Data: A Study across Different Ages. Sensors, 23(6), 3225.
[6] Zyma, I., Tukaev, S., Seleznov, I., Kiyono, K., Popov, A., Chernykh, M., & Shpenkov, O. (2019). Electroencephalograms during mental arithmetic task performance. Data, 4(1), 14.
CFU / Hours
2 credits, equivalent to 20 hours, including classes for 1 credit (8 hours) and lab activity for 1 credit (12 hours)
Teaching period
December 2023 (teaching schedule to appear soon)