Course Syllabus
Obiettivi
L'obiettivo del corso è consentire agli studenti di padroneggiare le conoscenze di base e gli strumenti necessari per comprendere, utilizzare e creare sistemi di Intelligenza Artificiale (IA), insieme alla capacità di analizzare diverse classi di problemi e soluzioni basate sull'IA. Un'attenzione particolare sarà dedicata all'intersezione tra apprendimento automatico, con particolare considerazione per i modelli del linguaggio di grandi dimensioni (LLM), e sistemi multi-agente e basati sulla conoscenza, adottando una prospettiva spesso definita come IA neuro-simbolica.
Il corso ha un duplice obiettivo:
- Fornire una panoramica della disciplina incentrata sul concetto di agente intelligente, consentendo agli studenti di inquadrare criticamente problemi, soluzioni e approcci metodologici specifici all'interno dello sviluppo di sistemi intelligenti.
- Fornire un'esplorazione approfondita di alcuni temi e soluzioni di particolare importanza per lo sviluppo dei sistemi intelligenti oggi, ovvero: 1) IA autonoma, 2) IA incarnata e affettiva, 3) IA basata sulla conoscenza.
Contenuti sintetici
La prima parte del corso (circa metà del corso) coprirà quattro argomenti fondamentali:
- I diversi paradigmi proposti nell'IA e la sfida dell'etica nell'IA
- Il paradigma ad agenti come modello concettuale per inquadrare organicamente vari problemi e modelli proposti nell'Intelligenza Artificiale moderna. Gli agenti saranno caratterizzati dalla prospettiva dell'autonomia e delle relazioni come quelle tra agente e ambiente, comportamento e percezione, e comportamento e conoscenza.
- I grafi della conoscenza come astrazioni per supportare la rappresentazione esplicita di conoscenze che un agente può usare, aumentando la capacità di rispondere a domande complesse, ragionare sulla conoscenza disponibile e aggregare dati da sorgenti eterogenee. Poiché argomenti come RDF, Ontologie e linguaggi come RDFS e OWL sono coperti nei corsi di laurea triennale, nel corso ricapitoleremo rapidamente questi concetti.
- La semantica distribuzionale e i modelli del linguaggio di grandi dimensioni come approcci per apprendere rappresentazioni dai dati, comprendere dati in input e generare nuovi contenuti.
La seconda parte del corso (circa metà del corso) si concentrerà su argomenti più specifici:
- Agenti basati su LLM. Questa parte è dedicata alla modellazione del comportamento degli agenti intelligenti basata sulla coordinazione nei sistemi multi-agente. Saranno discussi modelli per la simulazione attraverso sistemi multi-agente, la modellazione della percezione attraverso sensori nei sistemi complessi. Le applicazioni trattate in questa parte riguardano sistemi di simulazione e i sistemi basati sul comportamento adattivo degli agenti.
- Costruzione di basi di conoscenza e utilizzo di queste basi per migliorare la capacità di manipolare conoscenza fattuale, considerando due sotto-argomenti: tecniche di estrazione delle informazioni per supportare l'arricchimento dei dati e la costruzione di basi di conoscenza; combinazione di modelli generativi e basi di conoscenza mediante approcci basati sul recupero di informazioni (e.g., GraphRAG).
- Esempi di AI basata su integrazione neuro-simbolica, esplorando brevemente i metodi di apprendimento automatico per costruire sistemi di inferenza “probabilistica” in grafi della conoscenza e altri framework di rappresentazione della conoscenza strutturata (embedding di Grafi della Conoscenza e integrazione neuro-simbolica profonda in Logic Tensor Networks).
Programma esteso
- Introduzione: apprendimento e ragionamento nell'Intelligenza Artificiale; interpretazione, ragionamento, previsione, controllo; il concetto di agente autonomo (definizione, classificazione, comportamento, modelli di agenti con riflessi semplici, con memoria, basati sugli obiettivi, basati sull'utilità).
- Modelli e meccanismi di interazione nei Sistemi Multi-Agente (MAS): intelligenza artificiale collettiva e sistemi complessi; modellazione, simulazione, analisi dei comportamenti auto-organizzanti.
- Agenti conversazionali e modelli d’interazione multi-agente: modellazione, simulazione, analisi dei comportamenti. integrazione di LLM in multi-agent systems.
- Dalla rappresentazione della conoscenza all'apprendimento di rappresentazioni dai dati: basi di conoscenza, knowledge graph e ontologie; apprendimento di rappresentazioni linguistiche, word embeddings e modelli del linguaggio di grandi dimensioni (LLM), ad es. BERT, GPT; ragionamento nei LLM; rischi e questioni etiche nei LLM.
- Costruzione e sfruttamento delle basi di conoscenza con LLM: estrazione di informazioni dai testi (Named Entity Recognition, Named Entity Linking, introduzione all'estrazione di relazioni); estrazione di informazioni dai dati tabellari (comprensione e annotazione dei dati tabulari); Retrieval Augmented Generation (RAG) con informazioni da basi di conoscenza e dati annotati.
- Apprendimento di rappresentazioni di knowledge graph mediante reti neurali: Knowledge Graph Embedding; framework di IA basati sull'integrazione neuro-simbolica (Logic Tensor Network).
Prerequisiti
Conoscenze logico-matematiche di base. Conoscenze relative all'apprendimento automatico e alle reti neurali profonde.
Modalità didattica
Lezioni frontali ed esercitazioni con i personal computer degli studenti. Uso della piattaforma Moodle. Seminari su applicazioni delle tecnologie semantiche a problemi reali da parte di experti del mondo dell'industria.
Il corso è tenuto in lingua Inglese.
Materiale didattico
Libri di testo:
S.J. Russell, P. Norvig, “Intelligenza Artificiale: un approccio moderno“, 2a edizione, Pearson - Prentice Hall, 2005 (volume 1)
J. Ferber, Multi-agent systems: An introduction to distributed artificial intelligence, Addison-Wesley Professional, 1999: sintesi a dispense disponibile sull’e.learning del Corso.
Libri consigliati:
C. Cornoldi, L'intelligenza, Il Mulino Ed., 2009. Cesare Cornoldi. Formicai, imperi, cervelli: introduzione alla scienza della Complessità (Il Mulino, 2007), pp. 235.
Grigoris Antoniou, Paul Groth, Frank van Harmelen, Rinke Hoekstra. A Semantic Web Primer (Information Systems) third edition. The MIT Press; third edition edition (August 24, 2012), pp. 288.
Periodo di erogazione dell'insegnamento
Semestre I
Modalità di verifica del profitto e valutazione
La valutazione finale è determinata dalla combinazione dei risultati ottenuti in due prove indipendenti.
- Progetto di corso e presentazione orale
Gli studenti sono tenuti a realizzare un progetto, individualmente o in piccoli gruppi, dedicato a uno specifico argomento trattato nel corso o strettamente collegato ai suoi contenuti. Il progetto ha l’obiettivo di consentire un approfondimento teorico e/o un’esperienza pratica su un tema selezionato dell’Intelligenza Artificiale.
Il progetto viene valutato attraverso una presentazione orale della durata di circa 20 minuti, supportata da slide. Ove opportuno, la presentazione può includere una breve dimostrazione del sistema sviluppato o dei risultati sperimentali ottenuti.
La valutazione tiene conto di:
- la rilevanza del progetto rispetto ai temi del corso;
- la correttezza metodologica dell’approccio adottato, in relazione agli obiettivi di un progetto d’esame;
- il livello di padronanza dell’argomento dimostrato durante la presentazione.
Particolare rilievo è attribuito alla capacità degli studenti di rispondere alle domande e discutere criticamente il proprio lavoro durante la sessione di domande e risposte.
- Presentazione di un articolo scientifico durante il corso
Nel corso del semestre è prevista una prova intermedia consistente nella presentazione di un articolo scientifico pertinente agli argomenti dell’insegnamento. La presentazione può essere svolta individualmente o in piccoli gruppi ed è valutata sulla base della comprensione del lavoro presentato, della qualità dell’esposizione e della capacità di discutere criticamente metodi e risultati illustrati nell’articolo.
Orario di ricevimento
Su richiesta.
Sustainable Development Goals
Aims
The objective of the course is to enable students to master the basic knowledge and tools necessary to understand, use, and create Artificial Intelligence (AI) systems, along with the ability to analyze different classes of problems and solutions based on AI. A special focus throughout the course will be dedicated to the intersection of machine learning, with special consideration of Large Language Models (LLMs), and multi-agent and knowledge-based systems, taking a perspective that is frequently referred to as neuro-symbolic AI. ,
The course has a dual objective:
- Provide an overview of the discipline focused on the concept of intelligent agent, enabling students to critically frame problems, solutions, and specific methodological approaches within the development of intelligent systems.
- Provide an in-depth exploration of some themes and solutions of particular importance for the development of intelligent systems today, namely: 1) autonomous AI, 2) embodied and affective AI, 3) knowledge-based AI.
Contents
The first part of the course (around 1/2 of the course) will cover four foundational topics:
- The different paradigms proposed in AI and the challenge of ethics in AI
- The agent-based paradigm as a conceptual model to organically frame various problems and models proposed in modern Artificial Intelligence. Agents will be characterized from the perspective of autonomy and relationships such as those between agent and environment, behavior and perception, and behavior and knowledge.
- Knowledge graphs as abstractions to support a variety of knowledge-based applications where reasoning, question answering and data linking play a crucial role. Since topics such as RDF, Ontologies and reasoning frameworks like RDFS and OWL are now covered in BA courses, in the course we will quickly recap these concepts.
- Distributional semantics and large language models as approaches to learning representations from data, understanding input data, and generating novel content
The second part of the course (around 1/2 of the course) will focus on more specific topics:
- Conversational agents and related interaction models. This part is dedicated to modeling the behavior of intelligent agents based on coordination in multi-agent systems. Models for simulation through multi-agent systems, perception, and interaction modeling in complex systems, will be discussed. The applications covered in this part pertain to simulation systems and systems based on the adaptive behavior of agents.
- NLP and LLMs for Knowledge Graph-powered AI systems. This part covers two sub-topics: information extraction techniques and LLMs to support data enrichment and knowledge base construction; approaches combining generative models and knowledge bases such as Retrieval Augmented Generation.
- Representation learning for Knowledge Graphs and neuro-symbolic integration, exploring machine learning methods to build soft inference systems on top of Knowledge Graphs and other structured knowledge representation frameworks, covering Knowledge Graph embeddings and deep neurosymbolic integration frameworks like Logic Tensor Networks.
Detailed program
- Introduction: learning and reasoning in Artificial Intelligence; interpretation, reasoning, prediction, control; the concept of autonomous agent (definition, classification, behavior, models of agents with simple reflexes, with memory, goal-based, utility-based).
- Models and mechanisms of interaction in Multi-Agent Systems (MAS): collective artificial intelligence and complex systems; modeling, simulation, and analysis of self-organizing behaviors.
- Conversational agents: modeling, simulation, analysis of self-organizing behaviors; integrating LLMs in Multi-agent Systems.
- From knowledge representation to representation learning: knowledge bases, knowledge graphs, and ontologies; learning linguistic representations, word embeddings, and large language models (BERT, GPT-X); reasoning in LLMs; risks and ethical issues in LLMs
- Knowledge base construction and exploitation with LLMs: information extraction from texts (Named Entity Recognition, Named Entity Linking, introduction to relation extraction); information extraction from tabular data (tabular data understanding and annotation); Retrieval Augmented Generation with knowledge bases and annotated data.
- Learning representations of knowledge graphs using neural networks: knowledge graph embeddings; AI frameworks based on neuro-symbolic integration (Logic Tensor Network).
Prerequisites
Basic knowledge of logics and mathematics. Basic knowledge about machine learning and deep neural networks.
Teaching form
Lectures and exercise with students' personal computers. Moodle e-learning platform. Seminars about usage of semantics in real-world applications given by experts from the industry.
The course is teached in English.
Textbook and teaching resource
Textbooks :
S.J. Russell, P. Norvig, “Intelligenza Artificiale: un approccio moderno“, 2a edizione, Pearson - Prentice Hall, 2005 (volume 1)
J. Ferber, Multi-agent systems: An introduction to distributed artificial intelligence, Addison-Wesley Professional, 1999: sintesi a dispense disponibile sull’e.learning del Corso.
Recommended reading:
C. Cornoldi, L'intelligenza, Il Mulino Ed., 2009. Cesare Cornoldi. Formicai, imperi, cervelli: introduzione alla scienza della Complessità (Il Mulino, 2007), pp. 235.
Grigoris Antoniou, Paul Groth, Frank van Harmelen, Rinke Hoekstra. A Semantic Web Primer (Information Systems) third edition. The MIT Press; third edition edition (August 24, 2012), pp. 288.
Semester
Semester I
Assessment method
The final grade is based on the combined results of two independent assessment components.
- Course Project and Oral Presentation
Students are required to complete a course project, either individually or in small groups, focusing on a specific topic covered in the course or closely related to its contents. The project is intended to provide an opportunity for an in-depth study and/or hands-on experience with a selected AI topic.
The project is assessed through an oral presentation of approximately 20 minutes, supported by slides. Students may also include a brief demonstration of the developed system or experimental results, when appropriate.
Evaluation is based on:
- the relevance of the project to the course topics;
- the methodological soundness of the proposed approach, taking into account the scope of an examination project;
- the depth of understanding demonstrated during the presentation.
Particular emphasis is placed on the students’ ability to answer questions and discuss their work critically during the Q&A session.
- In-course Research Paper Presentation
During the semester, students take part in an interim assessment consisting of the presentation of a research paper relevant to the course topics. Presentations may be carried out individually or in small groups and are evaluated on the students’ understanding of the paper, the quality of the presentation, and their ability to discuss the proposed methods and results.
Office hours
On demand.
Sustainable Development Goals
Staff
-
Matteo Luigi Palmonari
-
Giuseppe Vizzari
