Course Syllabus
Obiettivi
In coerenza con gli obiettivi formativi del Corso di Studio, in questo insegnamento vengono fornite agli studenti le conoscenze riguardanti alcune teorie matematiche e numeriche che stanno alla base del Machine Learning.
L'implementazione dei metodi avverrà utilizzando Python e/o l'ambiente di calcolo MATLAB (fornito dall'Ateneo con licenza individuale per tutti gli studenti). Alla fine del corso, con i codici sviluppati lo studente acquisirà l'abilità di implementare algoritmi elementari di Machine Learning e di comprendere parte della matematica dietro gli algoritmi.
Contenuti sintetici
-
Formulazione matematica di problemi di Learning e Statistical Learning. Formulazione di Problemi di Classificazione
-
Problemi di Minimi quadrati generalizzati. Analisi Statistico di Minimi Quadrati. Bias-Variance trade off
-Aprendimento con Kernels
-Ottimizzazione: Gradient Descent & Stochastic Gradient Descent & Subgradient Methods
-Decomposizione del Errore in Problemi di Learning. Curse of Dimensionality. -
Reti Neurali (NN)
-
Apprendimento e allenamento delle Reti Neurali
Ulteriori possibili argomenti (a scelta degli studenti a seconda del tempo a disposizione):
-Universal approximation
-Uso di NN per approximare PDEs (PINNs methods)
-Uso di NN per approximare problemi inversi e/o estimare parametri di PDEs
-Analisi rigoroso delle estime del errore in Problemi di Learning
Programma esteso
Formulazione matematica di problemi di regressione "generalizzati"
- Richiami di Calcolo delle Probabilità
- Regressione Lineare. Model assessment e selezione: Minimizzazione Empirica, Spazio delle ipotesi, Scambio Bias-Varianza;
- Strumenti di algebra lineare numerica: Singular value decomposition (SVD) a approssimazione low rank;
- Reproducing Kernel Hilbert Spaces (RKHS), Regolarizzazione.
*Ottimizazione
Gradient Descent & Stochastic Gradient Descent & Subgradient Methods
Reti Neurali
- Motivazione e Definizione. Rappresentazione Matematica (Neuroni, Reti Neurali Artificiali, Reti Neurali Artificiali Feedforward)
Apprendimento e allenamento delle Reti Neurali
- Apprendimento delle Reti Neurali: Motivazione, Regressione/Classificazione;
- back propagation;
- Going Deep: Deep Learning. Vantaggi e Svantaggi. Regolarizzazione, Reti Neurali Convoluzionali.
*Further topics
- Proprietà di Approssimazione di NN, Approssimazione Universale, Classi di Regolarità, Generative Adversarial Network
- NN per approssimare PDEs (PINNS methods)
-Rigorous Analysis of Error Estimates in Learning problems
Laboratorio:
Implementazione in MATLAB e/o in Python di:
- Reti neurali Feed Forward
- Algoritmo di Back Propagation
- Metodo di discesa del Gradiente Stocastico
Applicazioni al riconoscimento di immagini artificiali e naturali
Utilizzo di toolbox MATLAB e/o Python per: - Reti neurali convoluzionali
Prerequisiti
Gli insegnamenti di matematica di base del corso di Laurea Triennale in Matematica.
Modalità didattica
Lezioni e Laboratorio Informatico (8 CFU)
Materiale didattico
Il materiale didattico sarà fornito dai docenti durante il corso.
Periodo di erogazione dell'insegnamento
2° semestre
Modalità di verifica del profitto e valutazione
L'esame è diviso in due parti:
- scrittura e presentazione di un progetto;
- esame orale.
Il voto è in trentesimi. L'esame si considera superato solo in entrambe le parti viene conseguita la sufficienza (18/30); le due parti concorrono in egual misura alla votazione finale.
Il progetto valuta l'abilità dello studente a risolvere problemi o affrontare argomenti nuovi utilizzando gli strumenti teorici e i codici sviluppati durante il corso. Viene incoraggiato il lavoro di gruppo (max 3 studenti) e premiata la qualità dell'esposizione.
Nella prova (orale o scritta) viene valutata la conoscenza e comprensione delle definizioni, dei risultati delle dimostrazioni e degli algoritmi presentati in aula, con particolare rilievo riguardo al rigore delle argomentazioni. Verranno inoltre valutate la competenza e la padronanza della materia richiedendo di individuare gli aspetti essenziali degli argomenti esposti.
Sono previsti 5 appelli d'esame (giugno, luglio, settembre, gennaio, febbraio).
Sara possibile per gli studenti di adherire a modalita blended. In tale caso, gli studenti avranno 5 punti in piu per il voto finale.
Orario di ricevimento
Su appuntamento.
Sustainable Development Goals
Aims
In line with the educational objectives of the Master Degree in Mathematics, the course aims to provide the knowledge of the mathematical and numerical methodologies and (available) theories underlying some machine learning techniques.
The techniques and algorithms will be implemented in Python and/or MATLAB, and with the developed codes the students will have the ability to implement elementary algorithms of Machine Learning and to comprehend how more advanced algorithms work.
Contents
-
Mathematical Foundations of Learning Problems & Statistical Learning. Description of Classification problems
-
Algorithms/methods for Least Squares (general). Statistical Analysis of LS. Bias-Variance trade off
-
Kernel Methods
-Optimization: Gradient Descent & Stochastic Gradient Descent & Subgradient Methods
-Error splitting and Analysis for Learning problems. Curse of dimensionality -
Neural Networks
-
Neural Network Learning and Training
Further topics that will be developed (depending on the students interest and :
-Universal approximation for Neural Nets (2-hidden layer architecture)
- NN to approximate PDEs (PINNs methods)
-NN to approximate inverse problems and/or to estimate parameters
-Rigorous Analysis of error estimates in Learning problems
Detailed program
Mathematical Foundations of "General" Regression Problems
- Review of probability basics;
- Model assessment and selection: Empirical Minimization, Hypothesis Space, Bias-Variance Tradeoff;
- Some Numerical Linear Algebra Tools: Singular value decomposition (SVD) and low rank approximation;
-Algorithms for Least Squares (LS) (general). Statistical Analysis of LS - Kernel Methods. Reproducing Kernel Hilbert Spaces (RKHS).
Optimization
Gradient Descent & Stochastic Gradient Descent & Subgradient Methods
Neural Networks
- Motivation and Definition. Mathematical Representation (Neurons, Artificial Neural Networks, Artificial Feedforward Neural Networks)
Neural Network Learning and Training
- Neural Network Learning: Motivation, Regression/Classification;
- back propagation;
- Going Deep: Deep Learning. Pros and Cons. Regularization, Convolutional Neural Networks.
*Further topics
- Universal Approximation properties of NN
- NN to approximate PDEs (PINNS methods)
-Rigorous Analysis of Error Estimates in Learning problems
CS Laboratory:
Implementation in MATLAB and/or Python of:
- Feed Forward Neural Networks;
- Back Propagation Algorithm;
- Stochastic gradient descent
Applications to artificial and natural images recognition.
Use of MATLAB and/or Python toolbox for: - Convolutional Neural Networks
Prerequisites
Basic courses of the Laurea Triennale.
Teaching form
Lectures (face to face) and CS Laboratory (8 CFU)
Textbook and teaching resource
The teaching material will be made available by the instructors during the course.
Semester
2ⁿᵈ semester
Assessment method
The evaluation of the course has two parts:
1- the development of a small project
2- an oral exam.
Mark is out of thirty. The student need to reach at least 18/30 in both parts to pass the exam. the final mark is the average of the two partial marks.
The aim of the project is to validate the knowledge and capabilities of the students to use the theoretical and practical instruments developed during the course. Students are encouraged to work on the project in groups of at most three people.
The oral exam will evaluate the knowledge and understanding of the results and rigorous proofs developed in the course and the capacity to comprehend how the algorithms work.
There will be 5 exam sessions (in June, July, September, January, February).
Students who will adhere to the blended modality of the course (by preparing and explaining a specific topic or writing up the scribe notes) will get automatically 5 points more for the final vote.
Office hours
By appointment
Sustainable Development Goals
Staff
-
Blanca Pilar Ayuso De Dios
-
Alessandro Russo
