Course Syllabus
Obiettivi
L'obiettivo del corso è consentire agli studenti di padroneggiare le conoscenze di base e gli strumenti necessari per comprendere, utilizzare e creare sistemi di Intelligenza Artificiale (IA), insieme alla capacità di analizzare diverse classi di problemi e soluzioni basate sull'IA. Un'attenzione particolare sarà dedicata all'intersezione tra apprendimento automatico, con particolare considerazione per i modelli del linguaggio di grandi dimensioni (LLM), e sistemi multi-agente e basati sulla conoscenza, adottando una prospettiva spesso definita come IA neuro-simbolica.
Il corso ha un duplice obiettivo:
- Fornire una panoramica della disciplina incentrata sul concetto di agente intelligente, consentendo agli studenti di inquadrare criticamente problemi, soluzioni e approcci metodologici specifici all'interno dello sviluppo di sistemi intelligenti.
- Fornire un'esplorazione approfondita di alcuni temi e soluzioni di particolare importanza per lo sviluppo dei sistemi intelligenti oggi, ovvero: 1) IA autonoma, 2) IA incarnata e affettiva, 3) IA basata sulla conoscenza.
Contenuti sintetici
La prima parte del corso (circa metà del corso) coprirà quattro argomenti fondamentali:
- I diversi paradigmi proposti nell'IA e la sfida dell'etica nell'IA
- Il paradigma ad agenti come modello concettuale per inquadrare organicamente vari problemi e modelli proposti nell'Intelligenza Artificiale moderna. Gli agenti saranno caratterizzati dalla prospettiva dell'autonomia e delle relazioni come quelle tra agente e ambiente, comportamento e percezione, e comportamento e conoscenza.
- I grafi della conoscenza come astrazioni per supportare una varietà di applicazioni basate sulla conoscenza dove ragionamento, capacità di rispondere a domande complesse e integrazione dei dati giocano un ruolo cruciale. Poiché argomenti come RDF, Ontologie e linguaggi come RDFS e OWL sono coperti nei corsi di laurea triennale, nel corso ricapitoleremo rapidamente questi concetti.
- La semantica distribuzionale e i modelli del linguaggio di grandi dimensioni come approcci per apprendere rappresentazioni dai dati, comprendere dati in input e generare nuovi contenuti.
La seconda parte del corso (circa metà del corso) si concentrerà su argomenti più specifici:
- Agenti conversazionali e modelli di interazione. Questa parte è dedicata alla modellazione del comportamento degli agenti intelligenti basata sulla coordinazione nei sistemi multi-agente. Saranno discussi modelli per la simulazione attraverso sistemi multi-agente, la modellazione della percezione attraverso sensori nei sistemi complessi. Le applicazioni trattate in questa parte riguardano sistemi di simulazione e i sistemi basati sul comportamento adattivo degli agenti.
- NLP e LLM per sistemi di IA alimentati da grafi della conoscenza, considerando due sotto-argomenti: tecniche di estrazione delle informazioni per supportare l'arricchimento dei dati e la costruzione di basi di conoscenza; combinazione di modelli generativi e basi di conoscenza mediante approcci basati sul recupero di informazioni.
- Apprendimento di rappresentazioni su grafi della conoscenza e integrazione neuro-simbolica, esplorando i metodi di apprendimento automatico per costruire sistemi di inferenza “probabilistica” in grafi della conoscenza e altri framework di rappresentazione della conoscenza strutturata (embedding di Grafi della Conoscenza e integrazione neuro-simbolica profonda in Logic Tensor Networks).
Programma esteso
- Introduzione: apprendimento e ragionamento nell'Intelligenza Artificiale; interpretazione, ragionamento, previsione, controllo; il concetto di agente autonomo (definizione, classificazione, comportamento, modelli di agenti con riflessi semplici, con memoria, basati sugli obiettivi, basati sull'utilità).
- Modelli e meccanismi di interazione nei Sistemi Multi-Agente (MAS): intelligenza artificiale collettiva e sistemi complessi; modellazione, simulazione, analisi dei comportamenti auto-organizzanti.
- Agenti conversazionali e modelli d’interazione multi-agente: modellazione, simulazione, analisi dei comportamenti. integrazione di LLM in multi-agent systems.
- Dalla rappresentazione della conoscenza all'apprendimento di rappresentazioni dai dati: basi di conoscenza, knowledge graph e ontologie; apprendimento di rappresentazioni linguistiche, word embeddings e modelli del linguaggio di grandi dimensioni (LLM), ad es. BERT, GPT; ragionamento nei LLM; rischi e questioni etiche nei LLM.
- Costruzione e sfruttamento delle basi di conoscenza con LLM: estrazione di informazioni dai testi (Named Entity Recognition, Named Entity Linking, introduzione all'estrazione di relazioni); estrazione di informazioni dai dati tabellari (comprensione e annotazione dei dati tabulari); Retrieval Augmented Generation (RAG) con informazioni da basi di conoscenza e dati annotati.
- Apprendimento di rappresentazioni di knowledge graph mediante reti neurali: Knowledge Graph Embedding; framework di IA basati sull'integrazione neuro-simbolica (Logic Tensor Network).
Prerequisiti
Conoscenze logico-matematiche di base. Conoscenze relative all'apprendimento automatico e alle reti neurali profonde.
Modalità didattica
Lezioni frontali ed esercitazioni con i personal computer degli studenti. Uso della piattaforma Moodle. Seminari su applicazioni delle tecnologie semantiche a problemi reali da parte di experti del mondo dell'industria.
Il corso è tenuto in lingua Inglese.
Materiale didattico
Libri di testo:
S.J. Russell, P. Norvig, “Intelligenza Artificiale: un approccio moderno“, 2a edizione, Pearson - Prentice Hall, 2005 (volume 1)
J. Ferber, Multi-agent systems: An introduction to distributed artificial intelligence, Addison-Wesley Professional, 1999: sintesi a dispense disponibile sull’e.learning del Corso.
Libri consigliati:
C. Cornoldi, L'intelligenza, Il Mulino Ed., 2009. Cesare Cornoldi. Formicai, imperi, cervelli: introduzione alla scienza della Complessità (Il Mulino, 2007), pp. 235.
Grigoris Antoniou, Paul Groth, Frank van Harmelen, Rinke Hoekstra. A Semantic Web Primer (Information Systems) third edition. The MIT Press; third edition edition (August 24, 2012), pp. 288.
Periodo di erogazione dell'insegnamento
Semestre I
Modalità di verifica del profitto e valutazione
La valutazione finale è costituita dall'aggregazione dei punteggi ottenuti in due valutazioni indipendenti.
- La prima valutazione è basata su un progetto d'esame o appprofondimento tematico, effettuato individualmente o in gruppo, e finalizzato all'approfondimento di un argomento specifico trattato nel corso o collegato ad argomenti trattati nel corso; progetto e approfondimento vengono entrambi discussi attraverso una presentazione orale supportata da slide della durata di 20 min circa; è possibile, durante la presentazione, includere una breve demo del progetto svolto; l'approfondimento consiste di una rassegna bibliografica su un argomento, in cui lo studente discute e compara soluzioni proposte nello stato dell'arte a uno specifico problema. La valutazione si basa su: significatività del progetto rispetto agli argomenti trattati nel corso, rigore metodologico (nei limiti di quanto ragionevole chiedere per un progetto d'esame); padronanza dell'argomento approfondito dimostrata durante la presentazione orale.
- La seconda valutazione è basata sulla verifica della conoscenza degli argomenti affrontati durante il corso mediante svolgimento di esercizi pratici da discutere durante l'orale.
Orario di ricevimento
Su richiesta.
Sustainable Development Goals
Aims
The objective of the course is to enable students to master the basic knowledge and tools necessary to understand, use, and create Artificial Intelligence (AI) systems, along with the ability to analyze different classes of problems and solutions based on AI. A special focus throughout the course will be dedicated to the intersection of machine learning, with special consideration of Large Language Models (LLMs), and multi-agent and knowledge-based systems, taking a perspective that is frequently referred to as neuro-symbolic AI. ,
The course has a dual objective:
- Provide an overview of the discipline focused on the concept of intelligent agent, enabling students to critically frame problems, solutions, and specific methodological approaches within the development of intelligent systems.
- Provide an in-depth exploration of some themes and solutions of particular importance for the development of intelligent systems today, namely: 1) autonomous AI, 2) embodied and affective AI, 3) knowledge-based AI.
Contents
The first part of the course (around 1/2 of the course) will cover four foundational topics:
- The different paradigms proposed in AI and the challenge of ethics in AI
- The agent-based paradigm as a conceptual model to organically frame various problems and models proposed in modern Artificial Intelligence. Agents will be characterized from the perspective of autonomy and relationships such as those between agent and environment, behavior and perception, and behavior and knowledge.
- Knowledge graphs as abstractions to support a variety of knowledge-based applications where reasoning, question answering and data linking play a crucial role. Since topics such as RDF, Ontologies and reasoning frameworks like RDFS and OWL are now covered in BA courses, in the course we will quickly recap these concepts.
- Distributional semantics and large language models as approaches to learning representations from data, understanding input data, and generating novel content
The second part of the course (around 1/2 of the course) will focus on more specific topics:
- Conversational agents and related interaction models. This part is dedicated to modeling the behavior of intelligent agents based on coordination in multi-agent systems. Models for simulation through multi-agent systems, perception, and interaction modeling in complex systems, will be discussed. The applications covered in this part pertain to simulation systems and systems based on the adaptive behavior of agents.
- NLP and LLMs for Knowledge Graph-powered AI systems. This part covers two sub-topics: information extraction techniques and LLMs to support data enrichment and knowledge base construction; approaches combining generative models and knowledge bases such as Retrieval Augmented Generation.
- Representation learning for Knowledge Graphs and neuro-symbolic integration, exploring machine learning methods to build soft inference systems on top of Knowledge Graphs and other structured knowledge representation frameworks, covering Knowledge Graph embeddings and deep neurosymbolic integration frameworks like Logic Tensor Networks.
Detailed program
- Introduction: learning and reasoning in Artificial Intelligence; interpretation, reasoning, prediction, control; the concept of autonomous agent (definition, classification, behavior, models of agents with simple reflexes, with memory, goal-based, utility-based).
- Models and mechanisms of interaction in Multi-Agent Systems (MAS): collective artificial intelligence and complex systems; modeling, simulation, and analysis of self-organizing behaviors.
- Conversational agents: modeling, simulation, analysis of self-organizing behaviors; integrating LLMs in Multi-agent Systems.
- From knowledge representation to representation learning: knowledge bases, knowledge graphs, and ontologies; learning linguistic representations, word embeddings, and large language models (BERT, GPT-X); reasoning in LLMs; risks and ethical issues in LLMs
- Knowledge base construction and exploitation with LLMs: information extraction from texts (Named Entity Recognition, Named Entity Linking, introduction to relation extraction); information extraction from tabular data (tabular data understanding and annotation); Retrieval Augmented Generation with knowledge bases and annotated data.
- Learning representations of knowledge graphs using neural networks: knowledge graph embeddings; AI frameworks based on neuro-symbolic integration (Logic Tensor Network).
Prerequisites
Basic knowledge of logics and mathematics. Basic knowledge about machine learning and deep neural networks.
Teaching form
Lectures and exercise with students' personal computers. Moodle e-learning platform. Seminars about usage of semantics in real-world applications given by experts from the industry.
The course is teached in English.
Textbook and teaching resource
Textbooks :
S.J. Russell, P. Norvig, “Intelligenza Artificiale: un approccio moderno“, 2a edizione, Pearson - Prentice Hall, 2005 (volume 1)
J. Ferber, Multi-agent systems: An introduction to distributed artificial intelligence, Addison-Wesley Professional, 1999: sintesi a dispense disponibile sull’e.learning del Corso.
Recommended reading:
C. Cornoldi, L'intelligenza, Il Mulino Ed., 2009. Cesare Cornoldi. Formicai, imperi, cervelli: introduzione alla scienza della Complessità (Il Mulino, 2007), pp. 235.
Grigoris Antoniou, Paul Groth, Frank van Harmelen, Rinke Hoekstra. A Semantic Web Primer (Information Systems) third edition. The MIT Press; third edition edition (August 24, 2012), pp. 288.
Semester
Semester I
Assessment method
The final evaluation consists of the aggregation of the scores obtained in two independent assessments.
- The first assessment is based on an exam-tailored project or a survey, carried out individually or in groups, and aimed at bringing the student to have an in-depth knowledge and/or hands-on experience of a specific topic covered in the course or linked to topics covered in the course; the project and the survey are both discussed through an oral presentation supported by slides lasting about 20 minutes; it is possible, during the presentation, to include a short demo of the project; the survey consists of a bibliographic review on a topic, in which the student discusses and compares proposed solutions in the state of the art to a specific problem of interest for him. The evaluation is based on: significance of the project with respect to the topics covered in the course, methodological soundness (within the limits of what is reasonable to ask for an exam project); mastery of the in-depth topic demonstrated during the oral presentation.
- The second assessment is based on the verification of the knowledge acquired by the student about the topics addressed during the course by the execution of assignments related to these topics.
Office hours
On demand.
Sustainable Development Goals
Staff
-
Stefania Bandini
-
Matteo Luigi Palmonari
