Course Syllabus
Obiettivi
Lo scopo di questo corso è di fornire le basi teoriche di matematica e statistica per Deep Learning compresa l'algebra lineare, l'ottimizzazione, la regolarizzazione e la riduzione della dimensionalità. Le più importanti architetture di reti neurali profonde saranno studiate. Grazie ad una parte pratica del corso, lo studente sarà in grado di gestire i principali strumenti di Deep Learning e sarà in grado di progettare e ottimizzare una rete neurale profonda
Contenuti sintetici
Il corso consiste in una parte teorica e una parte di esercitazioni. La parte teorica mira ad esplorare la matematica applicata, le basi dell'apprendimento automatico e le reti neurali profonde. La parte pratica consiste in esercizi di base e avanzati utilizzando framework di deep learning.
Programma esteso
- Linear algebra and probability theory;
- Gradient-based optimization, constrained-optimization;
- Machine learning basics;
- Gradient-based learning, back propagation;
- Regularization for deep learning;
- Convolutional Neural Networks;
- Recurrent and Recursive Nets;
- Dimensionality reduction techniques;
- Practical methodology.
Prerequisiti
Fondamenti di matematica, Fondamenti di programmazione.
Modalità didattica
L’insegnamento prevede una parte di lezioni teoriche che si terranno in aula e una parte di esercitazioni che si terranno in laboratorio e/o in aula e che richiederanno l’uso del proprio PC (o quello a disposizione presso i laboratori informatici dell'Ateneo).
Materiale didattico
- Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y. (2016). Deep learning (Vol. 1, No. 2). Cambridge: MIT press
- Quinn, J., McEachen, J., Fullan, M., Gardner, M., & Drummy, M. (2019). Dive into deep learning: Tools for engagement. Corwin Press.
- Scientific articles suggested by the teacher
- Teachers' slides
- Notebook from assisted exercises
Periodo di erogazione dell'insegnamento
Secondo Semestre
Modalità di verifica del profitto e valutazione
L'esame consiste nella progettazione e realizzazione di un progetto assegnato dal docente. Il progetto può essere singolo o di gruppo (massimo 2 studenti per gruppo). Il progetto sarà discusso come presentazione orale e il docente potrà fare domande sulle parti teoriche del programma del corso. La valutazione finale viene attribuita sulla base della qualità del progetto e della presentazione orale.
Orario di ricevimento
Paolo Napoletano, Lunedi dalle 14 alle 16
Marco Buzzelli, Lunedi dalle 14 alle 16
Aims
The aim of this course is to provide the theoretical foundations of mathematics and statistics for deep learning including linear algebra, optimization, regularization, and dimensionality reduction. The most important deep neural network architectures will be covered in this course. Thanks to a practical part of the course, the student will be able to handle the main tools for deep learning and then design and optimize a deep neural network.
Contents
The course consists of a theoretical part and a part of exercises. The theoretical part aims at exploring applied math, machine learning basics and deep neural networks. The practical part consists in basic and advanced exercises using deep learning frameworks.
Detailed program
- Linear algebra and probability theory;
- Gradient-based optimization, constrained-optimization;
- Machine learning basics;
- Gradient-based learning, back propagation;
- Regularization for deep learning;
- Convolutional Neural Networks;
- Recurrent and Recursive Nets;
- Dimensionality reduction techniques;
- Practical methodology.
Prerequisites
Fundamental of mathematics, fundamental of programming.
Teaching form
Lectures and assisted exercises (at labs when students’ personal PC are not available)
Textbook and teaching resource
- Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y. (2016). Deep learning (Vol. 1, No. 2). Cambridge: MIT press
- Quinn, J., McEachen, J., Fullan, M., Gardner, M., & Drummy, M. (2019). Dive into deep learning: Tools for engagement. Corwin Press.
- Scientific articles suggested by the teacher
- Teachers' slides
- Notebook from assisted exercises
Semester
Second Semester
Assessment method
The exam consists in the design and realization of project assigned by the teacher. The project can be realized by a single student or a group of students (max 2 students for each group). The project will be discussed as oral presentation and the teacher can ask questions about theoretical parts of the course program. Final evaluation is assigned on the basis of the quality of the project and oral presentation.
Office hours
Paolo Napoletano, Monday from 14 to 16
Marco Buzzelli, Monday from 14 to 16