E' necessario iscriversi almeno una settimana prima della prima lezione.
Se non è possibile iscriversi, inviare un'e-mail al/i docente/i.

Questo corso collega l'elaborazione classica dei segnali e le moderne tecniche di machine learning per i dati multimodali. Gli studenti apprenderanno i fondamenti matematici dei segnali digitali, audio e immagini; esploreranno le moderne architetture profonde che operano su di essi; e comprenderanno come effettura il fine-tuning di large foundation models utilizzando tecniche di Low-Rank Adaptation (LoRA).

Di seguito è riportato un elenco preliminare degli argomenti trattati:

• Fondamenti dei segnali digitali:
  • Teoria del campionamento, quantizzazione, DFT/FFT, filtri digitali.
• Elaborazione e comprensione dei segnali audio:
  • Spettrogrammi, features di tonalità e timbro, compressione, rappresentazione del parlato, psicoacustica.
• Elaborazione e comprensione dei segnali immagine:
  • Formazione delle immagini, spazi colore, filtraggio, estrazione delle features, compressione ed enhancement.
• Dai segnali alle rappresentazioni profonde:
  • Embedding spettrali di segnali, CNN, autoencoder, transformer e foundation models.
• Low-Rank Adaptation (LoRA) and Parameter-Efficient Fine-Tuning:
  • Concetti, decomposizione matriciale, efficienza di addestramento, applicazioni in modelli visivi/audio di grandi dimensioni.

La valutazione si baserà su un semplice progetto di gruppo da realizzare in una giornata dedicata (come un breve hackathon) su un argomento scelto dallo studente in coordinamento con il/i docente/i.