Course Syllabus
Obiettivi
Questo corso avanzato di apprendimento automatico è rivolto in particolare agli studenti che hanno già familiarità con le basi dell'apprendimento automatico e desiderano rafforzare le loro conoscenze al fine di possedere capacità approfondite e ad ampio raggio in questo ambito. Il corso tratterà alcuni degli argomenti avanzati più importanti nell'apprendimento automatico come l'apprendimento deep e l'apprendimento per rinforzo, fornendone la teoria di base e con un particolare focus sulla modellizzazione e sull'implementazione pratica. Queste tecniche avanzate saranno applicate a una serie di applicazioni, tra cui: riconoscimento delle immagini, elaborazione del linguaggio naturale, sistemi di raccomandazione.
Contenuti sintetici
Introduzione al Deep Learning
Tecniche di ottimizzazione per l'addestramento di modelli deep
Reti neurali convoluzionali
Apprendimento della rappresentazione senza supervisione
Deep Learning per sequenze di dati
Compressione dei modelli
Apprendimento federato
Programma esteso
Tecniche di apprendimento per di reti deep:
Funzioni obiettivo
Funzioni di attivazione
Regolarizzazione
Ottimizzazione basata sul gradiente
Focus su reti deep:
Autoencoders
Reti neurali convoluzionali
Reti ricorrenti e ricorsive
Compressione dei modelli
Apprendimento federato
Metodologia pratica:
Metriche delle prestazioni e modelli di base
Selezione di iperparametri
Prerequisiti
Tecniche di base del machine learning
Modalità didattica
Il corso include una parte di lezioni teoriche che si terranno in classe e una parte di esercitazioni che si terranno in laboratorio e / o in classe e che richiederanno l'uso del PC.L'implementazione pratica di casi studio richiederà la conoscenza di base dei linguaggi di programmazione R e Python.
Il corso sarà tenuto in inglese.
Materiale didattico
Ian Goodfellow and Yoshua Bengio and Aaron Courville, Deep Learning, MIT Press, 2016. http://www.deeplearningbook.org
Francesco Archetti, Antonio Candelieri, Optimization and Data Science, SpringerBriefs, 2019
Rasmussen, Gaussian Processes for Machine Learning, the MIT press 2006.
Ulteriore materiale didattico sarà reso disponibile sulla piattaforma di e-learning.
Periodo di erogazione dell'insegnamento
Primo semestre
Modalità di verifica del profitto e valutazione
Sono previste due diverse modalità d'esame:
Modalità 1
1. Assignments [0-8 pt] + test scritti [0-10 pt]+ Progetto/Approfondimento [0-15pt] Questa modalità vale solo per il periodo di erogazione del corso ed è quindi rivolta a chi segue regolarmente il corso
-
Durante il corso saranno proposti alcuni assignments da risolvere individualmente. E' permessa solo la collaborazione di "Tipo 1" ovvero, la collaborazione è permessa ma il prodotto finale deve essere individuale. Gli studenti possono discutere l'assignment con altri compagni e lavorarci assieme ma le consegne devono essere individuali e originali, ogni studente deve consegnare prodotti di cui è l'unico autore. Copiare i file dei compagni non è permesso. Gli Assignment devono essere consegnati entro le date stabilite. Nessun assignment verrà considerato se consegnato oltre la scadenza.
-
2 prove scritte in itinere che consistono in domande con risposte a scelta multipla e/o brevi definizioni, volte alla valutazione della conoscenza dei concetti fondamentali, e della conoscenza specifica dei modelli e delle tecniche presentate a lezione.
-
Il progetto/approfondimento dovrà essere svolto in gruppi di 2 o 3 persone e sarà valutato rispetto a:
– Un report strutturato
- Una presentazione orale del progetto o dell'approfondimento volta anche a valutare le capacità di argomentazione.
Modalità 2
2. Esame Scritto [0-15 pt] + Progetto [0-15 pt]
- L'esame scritto, sarà volto alla valutazione della conoscenza dei concetti fondamentali, la comprensione generale, la capacità di argomentazione e la conoscenza specifica dei modelli e delle tecniche presentate a lezione. Consisterà in domande a risposta chiusa e domande aperte.
- Il progetto/approfondimento dovrà essere svolto in gruppi di 2 o 3 persone e sarà valutato rispetto a:
– Un report strutturato
- Una presentazione orale del progetto o dell'approfondimento volta anche a valutare le capacità di argomentazione.
Orario di ricevimento
Su appuntamento
Aims
This machine learning advanced course is aimed especially for students who are already familiar with the basics of machine learning and wish to strengthen their knowledge and explore important advanced topics in order to posses in-depth and wide range capabilities at this so important field.
The course will cover some of the most important advanced topics in machine learning such deep learning and reinforcement learning, with their underlying theory but also a focus on modeling and practical implementation.
These advanced techniques will be applied to a number of applications, including: image recognition, natural language processing, recommendation systems.
Contents
Introduction to Deep Learning
Optimization techniques for training deep models
Convolutional Neural Networks
Unsupervised representation learning
Deep Learning for data sequences
Model Compression
Federated Learning
Detailed program
Training Deep Networks:
Objective functions
Activation Functions
Regularization
Gradient-based optimization
Focus on Deep Networks:
Autoencoders
Convolutional Neural Networks
Recurrent and Recursive Networks
Model Compression
Federated Learning
Practical Methodology:
Performance Metrics and baseline models
Selecting hyper-parameters
Prerequisites
Basic Machine Learning techniques
Teaching form
The course includes a part of theoretical lessons that will be held in the classroom and a part of exercises that will be held in the laboratory and / or classroom and which will require the use of your PC (or the one available at the University's computer labs).
The practical implementation of case studies will require the basic knowledge of R and Python programming languages.
The course will be in English.
Textbook and teaching resource
Ian Goodfellow and Yoshua Bengio and Aaron Courville, Deep Learning, MIT Press, 2016. http://www.deeplearningbook.org
Rasmussen, Gaussian Processes for Machine Learning, the MIT press 2006.
Francesco Archetti, Antonio Candelieri, Optimization and Data Science, SpringerBriefs, 2019
Further resource material will be made available on the e-learning platform.
Semester
First semester
Assessment method
There are two mutually exclusive exam modalities
1. Assignments [0-8 pt] + written test [0-10 pt] +Project/In Depth Study[0-15 pt]
-
Along the course a number of assignments will be proposed to be resolved individually. Assignment must be delivered on the established date. No assignment will be considered after deadline.
-
Two written tests, consisting closed questions or brief definitions, aimed at evaluating: Knowledge of Fundamental Concepts, Overall Understanding, Knowledge of specific models and methods about the course contents.
-
A project/in depth study to be done in groups of 2/3 students. The project will be evaluated according to the following criteria:
-
A structured report
-
Oral presentation of the project/"In depth study" aimed also at evaluating argumentation ability
2. Written exam [0-15pt] + Project/In Depht Study [0-15pt]
-
A written exam, consisting of both closed and open questions, aimed at evaluating: Knowledge of Fundamental Concepts, Overall Understanding, Knowledge of specific models and methods about the course contents.
-
A project work/in depth study to be done in groups of 2/3 students. The project will be evaluated according to the following criteria:
-
A structured report
-
Oral presentation of the project/"In depth study" aimed also at evaluating argumentation ability
Office hours
by appointment