Syllabus del corso
Obiettivi
Il corso si propone di introdurre gli elementi di base e di fornire i concetti e gli strumenti fondamentali, basati su metodi computazionali, per rappresentare l’apprendimento, la conoscenza e il ragionamento in condizioni di incertezza.
Lo studente sarà in grado di progettare e sviluppare strumenti software basati su tecniche di apprendimento automatico (machine learning) per risolvere semplici problemi di analisi di dati, knowledge discovery e supporto alle decisioni in presenza di informazione incerta o incompleta.
Gli obiettivi specifici rispetto ai Descrittori di Dublino (DdD) sono i seguenti:
1. Conoscenza e capacità di comprensione
- le basi teoriche dell’apprendimento automatico;
- la comprensione dei principali modelli (alberi di decisione, reti neurali, SVM, modelli bayesiani, k-means, ecc.);
2. Conoscenza e capacità di comprensione applicate
- progettare e sviluppare strumenti software basati su modelli di machine learning;
- applicare metodi di classificazione supervisionata e non supervisionata a problemi reali;
3. Autonomia di giudizio
- selezionare i metodi più appropriati in relazione alla natura del problema e dei dati;
- valutare la qualità delle soluzioni proposte in base ai risultati ottenuti dai modelli rispetto a metriche di performance;
- analizzare criticamente le assunzioni dei modelli (es. separabilità lineare, indipendenza delle variabili) e i risultati ottenuti rispetto a tali assunzioni.
4. Abilità comunicative
- comunicare le scelte progettuali e metodologiche in modo argomentato
- presentare e discutere in modo chiaro i risultati di un progetto in sede di prova orale;
- lavorare in gruppo, condividendo conoscenze.
5. Capacità di apprendere
- sviluppare capacità autonome di studio attraverso il completamento di assignment facoltativi derivanti da attività di laboratorio focalizzate all'uso di modelli di machine learning
Contenuti sintetici
Il corso fornirà una approfondita presentazione della vasta collezione di metodi e strumenti che si sono resi disponibili negli anni per lo sviluppo di sistemi autonomi di apprendimento e di supporto alla analisi di dati multivariati. Questi strumenti comprendono gli alberi di decisione, le reti neurali, le macchine a vettori di supporto, così come algoritmi di classificazione non supervisionata e combinazioni sempre più sofisticate di queste architetture. Si presenteranno esempi di recenti applicazioni.
Programma esteso
Introduzione e terminologia
Concept learning
· Alberi di decisione
· Algoritmo ID3
Reti neurali
· Il percettrone; separabilità lineare
· Algoritmo di apprendimento del percettrone
· Delta rule. Concetto di discesa del gradiente
· Il percettrone multistrato
· Algoritmo di retropropagazione dell'errore
Support vector machines
· Separazione ottima
· Hard and Soft SVM
· Kernels
Apprendimento bayesiano
· Teorema di Bayes
· Classificatore bayesiano ingenuo
Apprendimento non supervisionato
· L'algoritmo k-means
Valutazione dei risultati dell'apprendimento
· valutazione per i metodi supervisionati
· valutazione del clustering
Reti neurali profonde (Deep Learning)
· Introduzione
· Tecniche di riferimento
Prerequisiti
Conoscenze di base su algoritmi e strutture di dati.
Elementi di calcolo delle probabilità e statistica
Modalità didattica
- 8 lezioni da 2 ore svolte in modalità erogativa in presenza;
- 10 esercitazioni da 2 ore svolte in presenza in modalità 50% erogativa 50% interattiva;
- 12 attività di laboratorio da 2 ore svolte in modalità interattiva in presenza;
Materiale didattico
Materiali riferiti sulla pagina elearning dell'insegnamento
Periodo di erogazione dell'insegnamento
Primo semestre
Modalità di verifica del profitto e valutazione
L'esame consiste di una prova scritta e una prova orale, ciascuna valida per il 50% del voto, e si svolge secondo le seguenti modalità:
- Prova scritta con domande teoriche ed esercizi. Per accedere all’orale è necessario ottenere un punteggio >= 6 nella prova scritta. La prova scritta avrà una valutazione da 0 a 30.
- Prova orale centrata sulla discussione di un progetto svolto tipicamente in gruppo. La valutazione del progetto si basa sulla qualità complessiva dell’elaborato e su domande di contenuto specifico sul programma dell'insegnamento. La prova orale avrà una valutazione da 0 a 30.
Il voto finale sarà determinato come media tra la prova scritta e la prova orale.
E' data la possibilità agli studenti di sostenere due prove intermedie come sistitutive della prova scritta. Ogni prova intermedia sarà costituita da domande teoriche ed esercizi ed avrà una valutazione da 0 a 30.
Orario di ricevimento
Su appuntamento
Aims
The course aims to introduce the basic elements and provide the basic concepts and tools based on computational methods, to represent the learning, knowledge and reasoning under uncertainty.
The student will be able to design and develop software systems based on machine learning techniques to solve simple problems of data analysis, knowledge discovery and decision support in the presence of uncertain or incomplete information. Acquired skills are the basis for the development of advanced data mining and knowledge discovery and application specific software systems in decision support.
The specific objectives with respect to the Dublin Descriptors (DdD) are the following:
1. Knowledge and understanding
- the theoretical background of machine learning;
- understanding of the main models (decision trees, neural networks, SVM, Bayesian models, k-means, etc.);
2. Applied knowledge and understanding
- design and develop software tools based on machine learning models;
- apply supervised and unsupervised classification methods to real problems;
3. Autonomy of judgment
- select the most appropriate methods in relation to the nature of the problem and the data;
- evaluate the quality of the proposed solutions based on the results obtained by the models with respect to performance metrics;
- critically analyze the assumptions of the models (e.g. linear separability, independence of variables) and the results obtained with respect to these assumptions.
4. Communication skills
- communicate design and methodological choices in a reasoned manner
- present and discuss clearly the results of a project during the oral exam;
- work in a group, sharing knowledge.
5. Learning ability
- develop autonomous study skills through the completion of optional assignments resulting from laboratory activities focused on the use of machine learning models
Contents
The course will provide an in-depth discussion of the large collection of methods and tools that have become available for developing autonomous learning systems and for aiding in the analysis of complex multivariate data. These tools include decision trees, neural networks, belief networks, as well unsupervised clustering algorithms and increasingly sophisticated combinations of these architectures. Examples of recent applications will be introduced.
Detailed program
Introduction and terminology
Concept learning
· Decision trees
· ID3 Algorithm
Neural networks
· perceptron; linear separability
· perceptron learning algorithm
· delta rule and gradient descent
· multilayer perceptron
· error backpropagation
Support vector machines
· Optimal separation
· Hard and Soft SVM
· Kernels
Bayesian Learning
· Bayes theorem
· Naive Bayes classifier
Unsupervised learning techniques
· k-means algorithm
Performance evaluation
· evaluation for supervised techniques
· evaluation for clustering
Deep neural network (Deep Learning)
· Introduction
· Main reference models
Prerequisites
Basic knowledge of algorithms and data structures.
Elements of probability and statistics
Teaching form
- 8 frontal lessons of 2 hours each held by the teacher in presence;
- 10 sessions for exercises of 2 hours each held by the teacher in presence, 50% frontal 50% interactive;
- 12 interactive laboratory lessons of 2 hours each held by the teacher in presence;
Textbook and teaching resource
References on the elearning page of this course
Semester
First semester
Assessment method
The exam consists of a written test and an oral test, each valid for 50% of the grade, and is carried out according to the following methods:
-
Written test with theoretical questions and exercises. To access the oral test, it is necessary to obtain a score >= 6 in the written test. The written test will have a score from 0 to 30.
-
Oral test focused on the discussion of a project typically carried out in a group. The evaluation of the project is based on the overall quality of the report and on questions that are specifically related to the teaching program. The oral test will have a score from 0 to 30.
The final grade will be determined as average between the written test and the oral test.
Students have the opportunity to take two intermediate tests as a substitute for the written test. Each intermediate test will consist of theoretical questions and exercises and will have a score from 0 to 30.
Office hours
by requiring an appointment