Course Syllabus
Obiettivi
Il corso si propone di fornire i fondamenti matematici per gli algoritmi di ottimizzazione e di manipolazione dei dati che sono abitualmente usati nell'ambito dell'intelligenza artificiale. Vengono presentate alcune applicazioni, in modo che gli studenti siano in grado di risolvere problemi di ottimizzazione vincolata e non vincolata, analizzare i dati tramite tecniche di riduzione di dimensionalità e trasformate di Fourier, mentre la parte teorica costituirà una solida base per comprendere e padroneggiare le tecniche analoghe, più recenti, che vengono continuamente sviluppate in questo campo.
Contenuti sintetici
Il corso consiste di una parte teorica ed una di esercitazioni. La parte teorica comincerà dal richiamare i concetti di base di agebra lineare e di calcolo vettoriale che sono richiesti, per poi coprire gli argomenti dell'ottimizzazione (in particolare, l'ottimizzazione convessa), delle tecniche di riduzione di dimensionalità e delle trasformate di Fourier. Nelle esercitazioni sono forniti esempi di problemi collegati ed applicazioni.
Programma esteso
- Algebra lineare: autovalori, autovettori, diagonalizzazione e teorema spettrale. Matrici definite positive, decomposizione ai valori singolari.
- Trasformata e serie di Fourier: serie di Fourier per le funzioni periodiche, trasformata di Fourier di segnali continui e discreti. Definizioni e proprietà elementari, inversione e differenziazione, convoluzioni.
- Calcolo vettoriale: derivate parziali, differenziale, matrice Jacobiana, matrice Hessiana, teorema di Taylor.
- Ottimizzazione: punti critici non vincolati e caratterizzazione attraverso la matrice Hessiana, metodi di discesa del gradiente e di Newton. Teorema della funzione implicita, punti critici vincolati, moltiplicatori di Lagrange.
- Ottimizzazione convessa: insiemi convessi, funzioni convesse. Coniugato convesso.
- Problemi di ottimizzazione convessa: definizioni, casi notevoli, dualità e condizioni di dualità forte e ottimalità.
- Tecniche di riduzione di dimensionalità lineari e nonlineari: proiettori lineari, analisi delle componenti principali, analisi delle componenti indipendenti, analisi delle componenti principali con metodo kernel.
Prerequisiti
Fondamenti di analisi matematica: derivate, integrali, serie numeriche. Fondamenti di algebra lineare: spazi vettoriali ed applicazioni lineari, rappresentazione matriciale.
Modalità didattica
Lezioni ed esercitazioni. Entrambe saranno svolte in presenza, a meno che non siano imposte ulteriori restrizioni legate al COVID-19, e la presenza è caldamente raccomandata.
Materiale didattico
M. P. Deisenroth, A. A. Faisal, C. S. Ong, Mathematics for Machine Learning, Cambridge University Press (2020). Note fornite dal docente.
Periodo di erogazione dell'insegnamento
Primo semestre.
Modalità di verifica del profitto e valutazione
L'esame è individuale e consiste di una parte scritta ed una orale. Nello scritto viene valutata l'abilità nell'applicare le nozioni matematiche alla soluzione di esercizi e problemi. In alternativa alla prova scritta si prevedono due prove in itinere scritte. L'esame orale si concentra, invece, sullo stabilire la conoscenza delle nozioni matematiche e sulla capacità di esprimerle in una maniera adeguata, oltre che sul determinare la comprensione dei processi deduttivi che legano gli oggetti matematici.
Orario di ricevimento
Su appuntamento tramite email.
Ufficio: 3022, Università di Milano-Bicocca, Dipartimento di Matematica e Applicazioni, Via Roberto Cozzi 55 - 20125 Milano
Edificio U5-Ratio.
Email: alberto.maiocchi@unimib.it
Sustainable Development Goals
Aims
The aim of this course is to provide the mathematical foundations for the optimization and data manipulation algorithms, which are widely employed in the artificial intelligence domain. A number of applications are provided, so that the student will be able to tackle and solve constrained and unconstrained optimization problems, analyze data through dimensionality reduction and Fourier transforms, while the theoretical part will constitute a solid background for understanding and mastering related, more recent techniques, which are constantly developed in the field.
Contents
The course consists of a theoretical part and a part of exercises. The theoretical part will start by recalling the basic concepts of linear algebra and multivariate calculus which are needed, then will cover the topics of optimization (in particular, convex optimization), dimensionality reduction techniques and Fourier transforms. In the exercises examples of related problems and applications are given.
Detailed program
- Linear Algebra: Eigenvalues, eigenvectors, diagonalization and spectral theorem. Positive definite matrices, singular value decomposition.
- Fourier transform and series: Fourier series for periodic functions, Fourier transform of continuous and discrete signals. Definitions and basic properties, inversion and differentiation, convolutions.
- Multivariate calculus: Partial derivatives, differential, Jacobian matrix, Hessian matrix, Taylor’s theorem.
- Optimization: Unconstrained critical points and characterization through Hessian matrix. Gradient descent, Newton’s method. Implicit function theorem, constrained critical points, Lagrange multipliers.
- Convex optimization: Convex sets, convex functions. Convex conjugates.
- Convex optimization problems: definition, notable cases, duality, strong duality and optimality condition.
- Linear and nonlinear dimensionality reduction techniques: Linear projectors, principal component analysis, independent component analysis, kernel principal component analysis.
Prerequisites
Foundations of calculus: derivatives, integrals, numerical series. Foundations of linear algebra: vector spaces and linear applications, matrix representation.
Teaching form
Lectures and assisted exercises. Both of them will be held in presence, unless further COVID-19 related restrictions are imposed, and the attendance is highly recommended.
Textbook and teaching resource
M. P. Deisenroth, A. A. Faisal, C. S. Ong, Mathematics for Machine Learning, Cambridge University Press (2020). Lecture notes.
Semester
First.
Assessment method
The exam is individual and consists of a written and an oral part. In the written exam, the proficiency in applying mathematical notions to the solution of exercises and problems is evaluated. As an alternative to the written exam, two partial written exams are planned. The oral exam is focused, instead, on assessing the knowledge of the mathematical notions and the ability of expressing them in an adequate way, as well as on establishing the understanding of the deduction processes which link the mathematical objects.
Office hours
By email appointment.
Office: 3022, University of Milan-Bicocca, Department of Mathematics and Applications, Via Roberto Cozzi 55 - 20125 MILANO
Building U5-Ratio
Email: alberto.maiocchi@unimib.it
Sustainable Development Goals
Staff
-
Alberto Mario Maiocchi
