OBIETTIVI FORMATIVI

L’obiettivo primario è quello di fornire allo studente il linguaggio e gli strumenti di base dell’apprendimento automatico, con particolare enfasi al caso supervisionato. L’approccio seguito si basa su una formulazione del problema del machine learning come problema inverso stocastico. Lo studente dovrà inoltre conoscere alcuni degli algoritmi più noti, comprendendone sia le proprietà statistiche sia quelle computazionali.

OBIETTIVI FORMATIVI (DETTAGLIO) E RISULTATI DI APPRENDIMENTO

Al termine dell'insegnamento, lo studente avrà acquisito

• una buona  padronanza delle nozioni di base del machine learning e degli stumenti matematici ad esso connessi; 
• una buona  comprensione dei concetti di base e delle tecniche di ottimizzazione convessa
• una conoscenza delle proprietà di alcuni algoritmi di machine learning  sia dal punto di vista statistico che dal punto di vista dell'implementazione numerica
• una discreta abilità di usare gli algoritmi su dati sintetici e/o reali discutendone la ragionevolezza dei risultati

PREREQUISITI

Analisi Matematica 1 e 2, Algebra Linerare e Probabilità.

MODALITA' DIDATTICHE

Lezioni frontali di teoria e laboratori

PROGRAMMA/CONTENUTO

• introduzione all'apprendimento supervisionato come problema di regressione (random design): errore atteso, algoritmi di apprendimento e loro consistenza;
• no-free lunch theorem, stime ottimali e condizioni a priori;
• disuguaglianza di concentrazione in spazi di Hilbert
• spazi di Hilbert a nucleo riproducente;
• richiami di teoria degli operatori lineare e teorema spettrale per operatori compatti;
• algoritmi supervisionati classici (minimi quadrati regolarizzati, Support Vector Machines, ecc.) e loro consistenza;
• introduzione al manifold learning;
• introduzione al deep learning;
• algoritmi del prim'ordine per funzioni differenziabili: metodo del gradiente  
• algoritmi per funzioni non differenziabili: metodo del gradiente prossimale, applicazioni alla  sparsità (Lasso ed Elastic Net);
• algortimi basati sulla discesa del gradiente stocastico;
• algoritmi approssimati per dati di grandi dimensioni:

TESTI/BIBLIOGRAFIA

• L. Rosasco, Introductory Machine Learning Notes, University of Genoa,  (http://lcsl.mit.edu/courses/ml/1718/MLNotes.pdf)
• Steinwart, Ingo, Christmann, Andreas, Support vector machines, Springer, ISBN 978-0-387-77241-7
• Cucker, Felipe, Zhou, Ding-Xuan, Learning theory: an approximation theory viewpoint, Cambridge University Press 2007, ISBN  978-0-521-86559-3
• Boyd, Vandenberghe, Convex Optimization, Cambridge University Press, 2004, ISBN 0 521 83378 7