- Science
- Master Degree
- Teoria e Tecnologia della Comunicazione [F9202P - F9201P]
- Courses
- A.A. 2026-2027
- 2nd year
- Inclusive Multimodal Interaction
- Summary
Course Syllabus
Obiettivi
La creazione di tecnologie interattive per persone con bisogni speciali rappresenta una sfida particolarmente complessa, poiché le capacità e i contesti d’uso degli utenti sono estremamente eterogenei. Ciò richiede modalità di interazione altamente accessibili, nonché funzionalità e contenuti progettati con grande attenzione per rispondere alle loro esigenze complesse e diversificate. In questo corso, gli studenti apprenderanno come affrontare tali sfide e progettare applicazioni interattive multimodali inclusive, che integrano molteplici paradigmi di interazione e possono essere personalizzate per soddisfare efficacemente i complessi requisiti delle persone con bisogni speciali.
Obbiettivi specifici rispetto ai "Descrittori di Dublino (DD)"
DD1: Risultati di apprendimento attesi
Gli studenti acquisiranno conoscenze teoriche e competenze pratiche integrate per affrontare problemi complessi del mondo reale attraverso tecnologie interattive inclusive.
Più nello specifico, apprenderanno diversi paradigmi di interazione che coinvolgono differenti modalità di input e di interazione, tra cui touch, testo, voce, gesti e movimento dell’intero corpo. Comprenderanno i vantaggi e i limiti di tali paradigmi, con particolare riferimento alle persone con bisogni speciali, e acquisiranno metodi per la progettazione e la valutazione di applicazioni interattive multimodali inclusive.
Inoltre, gli studenti acquisiranno conoscenze di base e competenze pratiche per la prototipazione di tali applicazioni in diversi ambiti, tra cui salute e benessere, educazione e apprendimento e lavoro collaborativo. I prototipi potranno integrare tecnologie quali l’Internet delle Cose (IoT), la realtà virtuale, aumentata e mista e l’intelligenza artificiale generativa, inclusi i modelli linguistici di grandi dimensioni (Large Language Models).
DD2: Capacità di applicare conoscenza e comprensione
Al termine del corso, gli studenti saranno in grado di applicare le conoscenze, la comprensione e le competenze pratiche acquisite per:
- individuare e analizzare i requisiti che rispondono ai bisogni rilevanti degli utenti finali in diversi contesti applicativi;
- tradurre i requisiti degli utenti e del sistema in soluzioni di progettazione della User Experience (UX) coerenti ed efficaci;
- progettare e sviluppare applicazioni interattive che implementino paradigmi di interazione innovativi, integrino componenti di Intelligenza Artificiale Generativa per migliorarne le funzionalità e risultino accessibili, facili da usare e utili per gli utenti destinatari;
- progettare, condurre e interpretare studi empirici per valutare la qualità, l’usabilità e i benefici concreti delle tecnologie interattive.
DD3: Autonomia di giudizio
Gli studenti svilupperanno un atteggiamento critico e riflessivo nei confronti delle potenzialità, dei limiti e dei rischi delle tecnologie interattive. Impareranno a formulare giudizi informati e responsabili nella scelta di metodi e tecnologie appropriati per affrontare problemi del mondo reale. Inoltre, saranno in grado di valutare prodotti interattivi considerando il loro impatto sulle persone, i benefici che apportano e i valori che esprimono, dimostrando consapevolezza delle implicazioni etiche, sociali e della sostenibilità.
DD4: Abilità comunicative
Gli studenti svilupperanno solide competenze di collaborazione e comunicazione, con particolare riferimento alla capacità di:
- sintetizzare e presentare efficacemente i risultati dei progetti in tutte le fasi di sviluppo, dall’analisi dei requisiti alla progettazione della UX fino all’implementazione;
- produrre documentazione di progettazione della User Experience chiara, accurata e ben strutturata;
- redigere documenti di specifica tecnica precisi e rigorosi;
- realizzare video pitch efficaci, capaci di comunicare a pubblici diversi le principali caratteristiche e il valore dell’applicazione sviluppata.
DD5: Capacità di apprendimento
Le attività progettuali, svolte in team, rafforzeranno la capacità degli studenti di continuare ad apprendere sia in modo autonomo sia attraverso la collaborazione con gli altri.
Contenuti sintetici
Il corso è articolato in due principali aree tematiche:
-
Il ciclo di progettazione dell'interazione (Interaction Design Cycle), comprendente le principali attività di analisi dei bisogni degli utenti e di progettazione di applicazioni multimodali inclusive, nonché i metodi sistematici per svolgere tali attività.
-
I paradigmi di interazione e le tecnologie correlate, con particolare attenzione a:
l'interazione tangibile (Tangible Interaction), basata sulla manipolazione fisica di oggetti digitalmente aumentati, dotati di sensori e attuatori; l' interazione basata sul movimento dell'intero corpo (Full-Body Interaction) in ambienti intelligenti (smart spaces);
l'interazione in ambienti di realtà virtuale, aumentata e mista; l'interazione conversazionale mediante tecnologie di Intelligenza Artificiale Generativa, quali i Large Language Models.
Ciascun paradigma di interazione viene analizzato da molteplici prospettive, includendone le motivazioni, la visione di riferimento e i principi progettuali, nonché le attuali tecnologie di implementazione e gli strumenti di sviluppo disponibili off-the-shelf
Programma esteso
Argomenti
- Introduzione alle applicazioni multimodali inclusive attraverso la discussione di casi di studio.
- Il ciclo di progettazione dell'interazione (Interaction Design Cycle).
- Elicitazione e rappresentazione dei requisiti degli utenti: il modello UNG (User Needs Goals).
- Paradigmi di interazione – Interazione Tangibile (Tangible Interaction), Interazione basata sul movimento dell'intero corpo (Full-Body Interaction), Interazione Conversazionale (Conversational Interaction) e Interazione in ambienti di Realtà Virtuale, Aumentata e Mista – e relative tecnologie abilitanti.
- Intelligenza Artificiale Generativa per la produzione di contenuti multimediali.
- Comunicare il progetto: come realizzare un efficace elevator pitch, come redigere una buona documentazione di progetto e come scrivere un articolo scientifico di qualità.
Il corso adotta sia un approccio di Project-Based Learning, in cui gli studenti apprendono attraverso lo sviluppo di un progetto, sia un approccio di Problem-Based Learning, nel quale il lavoro progettuale prende avvio da casi di studio reali caratterizzati da bisogni e requisiti utente complessi.
Le attività progettuali sono svolte in gruppi composti da un massimo di quattro studenti. Lo svolgimento di progetti individuali è consentito solo in circostanze eccezionali e per comprovate cause di forza maggiore.
All'inizio del corso verrà presentato un elenco di temi progettuali. Gli studenti formeranno autonomamente i gruppi e indicheranno le proprie preferenze per tre temi. Il docente assegnerà quindi un tema a ciascun gruppo. Le attività progettuali avranno inizio indicativamente nella terza settimana di corso. Durante le lezioni saranno previste attività di tutorato, con supervisione settimanale da parte del docente e dei collaboratori alla didattica. Per motivi organizzativi, il tutorato non potrà essere garantito dopo la conclusione del semestre. Gli studenti sono pertanto fortemente incoraggiati a completare l'intero progetto durante lo svolgimento del corso, così da poter beneficiare del supporto del docente e dei collaboratori alla didattica.
Le attività progettuali si avvarranno inoltre della collaborazione continuativa con soggetti esterni, quali centri educativi e terapeutici. Esperti provenienti da tali istituzioni potranno tenere seminari rivolti all'intera classe per condividere la propria esperienza nell'impiego delle tecnologie interattive. Potranno inoltre contribuire ai progetti degli studenti, supportandoli nella comprensione dei bisogni e dei requisiti degli utenti e fornendo feedback sul lavoro svolto.
La maggior parte dei progetti potrà essere ulteriormente sviluppata nell'ambito di una tesi di laurea magistrale. Gli studenti che realizzeranno i progetti di maggiore qualità potranno inoltre essere invitati a partecipare a competizioni studentesche nazionali e internazionali oppure a sviluppare un articolo scientifico basato sul proprio lavoro, da sottoporre alle principali conferenze internazionali del settore.
Prerequisiti
A seconda del tema progettuale assegnato, può risultare utile una conoscenza preliminare di UX design, sviluppo web, JSON, JavaScript, C#, Unity,Generative AI, ed elettronica DIY di base, ad esempio Arduino, ma non è strettamente richiesta.
Modalità didattica
L'approccio didattico combina lezioni frontali (20 ore) e attività didattiche interattive (36 ore), costituite dalla supervisione e dal tutorato delle attività progettuali svolte dagli studenti.
Le lezioni saranno concentrate nella prima parte del corso, mentre la parte restante sarà dedicata allo svolgimento dei progetti con la supervisione del docente, e alle presentazioni in aula da parte degli studenti.
Tutte le lezioni saranno erogate in lingua inglese. Le attività di supervisione e tutorato dei progetti saranno svolte sia in lingua inglese sia in lingua italiana.
Materiale didattico
Slide del corso, comprensive di collegamenti a risorse online.
Articoli scientifici.
Letture consigliate:
Jonathan Lazar, Jinjuan Heidi Feng, Harry Hochheiser, Research Methods in
Human-Computer Interaction, Editore: Elsevier Science & Technology, Anno
edizione: 2017
Jennifer Preece, Helen Sharp, Yvonne Rogers, Interaction Design, Editore:
Wiley, Anno edizione: 2015 http://www.id-book.com/
Periodo di erogazione dell'insegnamento
Primo Semestra
Modalità di verifica del profitto e valutazione
L'approccio alla valutazione garantisce una copertura completa dei Descrittori di Dublino, verificando il livello di acquisizione e di applicazione delle conoscenze e delle competenze (DD 1 e DD2), la capacità di formulare giudizi critici e consapevoli (DD3), le abilità comunicative in contesti multidisciplinari (DD4) e la capacità di apprendimento autonomo e di riflessione critica (DD5).
In particolare, la valutazione si basa sui seguenti elementi:
- il processo di progettazione e sviluppo del progetto;
- i prodotti progettuali (deliverables), comprendenti: il codice sorgente del prototipo sviluppato, la documentazione completa di progettazione e tecnologica, il manuale utente, un insieme di slide e un video a supporto della presentazione finale di 20 minuti e, ove previsto, un rapporto di valutazione empirica. Tutti i deliverables possono essere redatti in italiano o in inglese;
- la presentazione orale finale.
I criteri specifici di valutazione comprendono:
- impegno dimostrato nelle attività progettuali;
- partecipazione attiva alle attività di tutorato;
- originalità, complessità e ricchezza delle soluzioni progettuali e tecnologiche proposte;
- correttezza metodologica e tecnica dei risultati ottenuti relativi sia a UX Design che lo sviluppo tecnologico, inclusa la coerenza con i requisiti progettuali;
- capacità di analizzare criticamente i limiti e i rischi delle soluzioni sviluppate;
- accuratezza e la completezza della documentazione finale;-
- qualità della comunicazione di tutti i deliverable e della presentazione orale finale.
Sustainable Development Goals
Aims
Creating interactive technologies for persons with special needs is particularly challenging because users’ abilities and contexts vary widely, requiring highly accessible interaction modalities, as well as carefully crafted functionality and content that address their complex and diverse needs. In this course, students will learn how to address these challenges and create inclusive multimodal interactive applications that incorporate multiple interaction paradigms and can be highly personalized to effectively meet the complex requirements of persons with special needs.
Specific objectives with respect to the Dublin Descriptors (DD)
DD 1: Learning outcomes
Students will learn to integrate theoretical and practical knowledge to address complex, real-world problems through inclusive interactive technologies.
More specifically, they will learn different interaction paradigms involving a range of affordances and input modalities, including touch, text, voice, gestures, and full-body movement. They will understand the advantages and limitations of these paradigms, particularly in relation to persons with special needs, and will learn methods for designing and evaluating inclusive multimodal interactive applications.
In addition, students will acquire foundational knowledge and practical skills for prototyping such applications across various domains, including health and well-being, education and learning, and cooperative work. The prototypes will involve technologies such as the Internet of Things, virtual, augmented, and mixed reality, and generative AI, including large language models.
DD2: Ability to Apply Knowledge and Understanding
After completing this course, students will be able to apply the knowledge, understanding, and practical skills they have acquired to:
• Elicit and analyze requirements that address the salient needs of end users across
diverse domains;
• Translate user and system requirements into coherent and effective UX design
solutions;
• Develop and implement interactive applications that embody innovative interaction
paradigms and integrate Generative AI components for enhanced functionality, and are accessible, easy to use, and useful to their intended users.
• Design, conduct, and interpret empirical studies to evaluate the quality, usability,
and real-world benefits of interactive technologies.
DD3: Making informed judgments
Students will develop a critical and reflective attitude toward the potential,
limitations, and risks of interactive technologies. They will learn to make informed and
responsible judgments in selecting appropriate methods and technologies to address
real-world problems. Moreover, they will be able to evaluate interactive products in
terms of their human impact, benefits, and underlying values, demonstrating
awareness of ethical, societal, and sustainability considerations.
DD4: Communication Skills
Students will develop strong collaboration and communication skills, particularly those required to:
• Summarize and present project outcomes effectively at all stages of development, from requirements analysis to UX design and implementation;
• Produce clear, accurate, and well-structured UX design documentation;
• Prepare precise and technically sound technology specification documents;
• Create compelling video pitches that communicate the developed application’s key features and value proposition to diverse audiences.
DD5: Learning skills
The project activities, carried out in teams, will strengthen students’ ability to continue learning both independently and collaboratively
Contents
The course covers two main subject areas:
• The interaction design cycle, including the main activities involved in analysing users’ needs and designing inclusive multimodal applications, together with systematic methods for carrying out these activities.
• Interaction paradigms and related technologies, with a focus on:
o tangible interaction, based on the physical manipulation of digitally enhanced objects equipped with sensors and actuators;
o full-body interaction in smart spaces;
o interaction in virtual, augmented, and mixed reality environments;
o conversational interaction using generative AI technologies, such as large language models.
Each interaction paradigm is examined from multiple perspectives, including its rationale, underlying vision, and design principles, as well as current implementation technologies and off-the-shelf development tools.
Detailed program
Topics
• Introduction to inclusive multimodal application – discussion of case studies
• The Interaction Design Cycle
• Eliciting and representing User Requirements: the UNG (Users Needs Goals) Model
• Interaction Paradigms - Tangible Interaction, Full-body Interaction, Conversational Interaction, Interaction in Virtual, Augmented, and Mixed Reality – and their enabling technologies
• Generative AI for multimedia content production
• Communicate your project: How to give an “elevator pitch”, how to write a good project documentation, how to write a good scientific paper
Learning Approach and Project Work
The course adopts both a project-based learning approach, in which students learn by developing a project, and a problem-based learning approach, in which project work begins with real-world case studies involving complex user needs and requirements.
Project activities are carried out in teams of up to four students. Individual projects are permitted only in exceptional circumstances and for reasons of force majeure.
A list of project topics will be presented at the beginning of the course. Students will form groups independently and indicate their preferences for three topics. The instructor will then assign a project topic to each group. Project work will begin approximately in the third week of the course. Tutoring will be provided during class, with weekly supervision by the instructor and the teaching assistants. For organisational reasons, tutoring cannot be offered after the end of the semester. Students are therefore strongly encouraged to complete the entire project during the course so that they can benefit from the support of the instructor and the teaching assistants.
Project activities will also benefit from ongoing collaborations with external stakeholders, such as educational and therapeutic centres. Domain experts from these institutions may give presentations to the entire class about their experiences with interactive technologies. They may also contribute to students’ projects by helping them better understand users’ needs and requirements and by providing feedback on their work.
Most projects may be further developed into a master’s thesis. Students who complete particularly strong projects may also be invited to participate in national or international student competitions or to prepare scientific papers based on their work for submission to leading international conferences.
Prerequisites
Depending on the assigned project topic, prior knowledge of UX design, web development, JSON, JavaScript, C#, Unity, generative AI, and basic DIY electronics, such as Arduino, may be helpful but is not strictly required.
Teaching form
The teaching approach combines ex-cathedra lectures (20 hours) with interactive teaching activities (36 hours), consisting of the supervision and tutoring of students' project work.
Lectures will be concentrated in the first part of the course, while the remainder will be devoted to supervised project work and classroom presentations by the students.
All lectures will be delivered in English. Supervision and tutoring of project work will be provided in both English and Italian.
Textbook and teaching resource
Course material (slides, including links to online resources)
Scientific papers
Suggested readings:
Jonathan Lazar, Jinjuan Heidi Feng, Harry Hochheiser, Research Methods in
Human-Computer Interaction, Editore: Elsevier Science & Technology, Anno
edizione: 2017
Jennifer Preece, Helen Sharp, Yvonne Rogers, Interaction Design, Editore:
Wiley, Anno edizione: 2015 http://www.id-book.com/
Semester
First Semester
Assessment method
The assessment approach ensures comprehensive coverage of the Dublin
Descriptors, evaluating students’ mastery and application of knowledge (DdD1–2),
their ability to make informed and critical judgments (DdD3), their communication
skills in multidisciplinary contexts (DdD4), and their capacity for autonomous learning
and reflection (DdD5).
Specifically, the evaluation is based on the following components:
• Project design and development process
• Project deliverables: the source code of the developed prototype, comprehensive design and technology documentation, a user manual, a set of slides and a video for the final 20-minute presentation, and, when applicable, an empirical evaluation report. All deliverables can be reported in Italian or English
• Final oral presentation
Specific evaluation criteria include:
• Effort invested in the project activities;
• Active participation in tutoring sessions;
• Originality, complexity, and richness of the design and technological solutions;
• Methodological and technical correctness of the UX and technological outcomes (including consistency with the requirements);
• Critical analysis of the risks and limitations of the developed solutions;
• Accuracy and completeness of the final documentation;
• Communication quality of all deliverables and of the final oral presentation
Sustainable Development Goals
Key information
Staff
-
Franca Garzotto