Course Syllabus
Obiettivi
Il corso si propone di introdurre gli elementi di base e di fornire i concetti e gli strumenti fondamentali, basati su metodi computazionali, per rappresentare l’apprendimento, la conoscenza e il ragionamento in condizioni di incertezza. Lo studente studente sarà in grado di progettare e sviluppare strumenti software basati su tecniche di apprendimento automatico (machine learning) per risolvere semplici problemi di analisi di dati, knowledge discovery e supporto alle decisioni in presenza di informazione incerta o incompleta.
Contenuti sintetici
Il corso fornirà una approfondita presentazione della vasta collezione di nuovi metodi e strumenti che si sono resi disponibili negli ultimi anni per lo sviluppo di sistemi autonomi di apprendimento e di supporto alla analisi di dati multivariati. Questi strumenti comprendono gli alberi di decisione, le reti neurali, le macchine a vettori di supporto, così come algoritmi di classificazione non supervisionata e combinazioni sempre più sofisticate di queste architetture. Le applicazioni includono la predizione in condizioni di informazione incompleta, la classificazione, l’analisi di serie temporali, la diagnosi, l'ottimizzazione, l’ identificazione e il controllo di sistemi, l’analisi esplorativa dei dati e molti altri problemi in statistica, machine learning e data mining.
Programma esteso
|
Concept learning · Il concetto di feature. Feature selection. |
|
Alberi di decisione · Information Gain · Algoritmo ID3 |
|
Reti neurali · Il percettrone; separabilità lineare · Algoritmo di apprendimento del percettrone · Teorema di convergenza · Delta rule. Concetto di discesa del gradiente · Il percettrone multistrato · Algoritmo di retropropagazione dell'errore |
|
Support vector machines · Separazione ottima · Kernels |
|
Apprendimento bayesiano · Introduzione · Teorema di Bayes · Esempio · Ipotesi MAP e ML · Minimum Description Length · Classificatore bayesiano ottimo · Classificatore bayesiano ingenuo · l’algoritmo EM |
|
Apprendimento non supervisionato · L'algoritmo k-means · valutazione del clustering |
|
Reti neurali profonde (Deep Learning) · Introduzione ed esempi |
Prerequisiti
Conoscenze di base su algoritmi e strutture di dati.
Elementi di calcolo delle probabilità e statistica
Modalità didattica
Il corso consisterà di usuali lezioni frontali ed esercitazioni.
Le lezioni sono tenute in italiano.
Materiale didattico
- S. Marsland, Machine Learning: An Algorithmic Perspective, CRC Press
- Kevin Gurney, An Introduction to Neural Networks. CRC Press
Periodo di erogazione dell'insegnamento
Primo semestre
Modalità di verifica del profitto e valutazione
L'esame consiste di una prova scritta e una prova orale, e si svolge secondo le seguenti regole:
1. Prova scritta con domande teoriche e semplici esercizi. Per accedere all’orale è necessario ottenere
un punteggio >= 6 nella prova scritta.
2. Gli orali hanno come prima parte la discussione di un progetto svolto in un piccolo gruppo.
3. La valutazione del progetto si basa sulla qualità complessiva dell’elaborato e sulla qualità del contributo del singolo studente.
4. Lo svolgimento della prova orale può prevedere anche alcune domande di contenuto specifico sul programma dell'insegnamento.
Orario di ricevimento
Su appuntamento
Aims
The course aims to introduce the basic elements and provide the basic concepts and tools based on computational methods, to represent the learning, knowledge and reasoning under uncertainty.
The student will be able to design and develop software systems based on machine learning techniques to solve simple problems of data analysis, knowledge discovery and decision support in the presence of uncertain or incomplete information.
Acquired skills are the basis for the development of advanced data mining and knowledge discovery and application specific software systems in decision support.
Contents
The course will provide an in-depth discussion of the large collection of new methods and tools that have become available in recent years for developing autonomous learning systems and for aiding in the analysis of complex multivariate data. These tools include decision trees, neural networks, belief networks, as well unsupervised clustering algorithms and increasingly sophisticated combinations of these architectures. Applications include prediction, classification, fault detection, time series analysis, diagnosis, optimization, system identification and control, exploratory data analysis and many other problems in statistics, machine learning and data mining.
Detailed program
|
Concept learning · Learning from observations · Concept learning · Features and feature selection. |
|
Decision trees · Information Gain · ID3 Algorithm |
|
Neural networks · perceptron and convergence theorem · delta rule · multilayer perceptron and error backpropagation |
|
Support vector machines · Optimal separation · Kernels |
|
Bayesian Learning · Bayes theorem · Ipotheses MAP, ML, MDL · Gibbs algorithm; weighted majority algorithm · Optimal Bayes classifier · Naive Bayes classifier · EM algorithm
|
|
Unsupervised learning techniques · k-means algorithm · measuring the clustering |
|
Deep neural network (Deep Learning) · Introduction and examples |
Prerequisites
Basic knowledge of algorithms and data structures.
Elements of probability and statistics
Teaching form
The course will consist of usual lectures and exercise sessions.
The course is taught in Italian.
Textbook and teaching resource
- S. Marsland, Machine Learning: An Algorithmic Perspective, CRC Press
- Kevin Gurney, An Introduction to Neural Networks. CRC Press
Semester
First semester
Assessment method
Overall the exam is split in a written test and a oral discussion, along the following rules:
- written test with open questions on theory and simpe exercises. To continue to the oral discussion this test must earn a score >=6;
- the oral discussion is mainly dedicated to a project prepared by the student (or by a small group of students);
- the project is evaluated based on its overall quality and on the quality of the individual contribution of the student;
- during the oral discussion the student could be required to answer some questions about course's contents.
Office hours
by requiring an appointment