OBIETTIVI E CONTENUTI

OBIETTIVI FORMATIVI

Specific use cases on the evaluation of the security of the object recognition  system of  the iCub robot will be addressed. Students will also get ability to answer open-ended questions with closed books, solve numerical exercises, use open-source libraries for the security evaluation of machine learning algorithms used by modern robots.

OBIETTIVI FORMATIVI (DETTAGLIO) E RISULTATI DI APPRENDIMENTO

Saranno affrontati casi d'uso specifici sulla valutazione della sicurezza di algoritmi di machine learning in robotica. Gli studenti avranno anche la possibilità di rispondere a domande aperte con libri chiusi, risolvere esercizi numerici, utilizzare librerie open source per la valutazione della sicurezza degli algoritmi di apprendimento automatico utilizzati dai robot moderni.

MODALITA' DIDATTICHE

Lezioni pratiche su attacchi e difese di algoritmi di apprendimento automatico utilizzando la libreria Python open source SecML per la valutazione della sicurezza degli algoritmi di apprendimento automatico (https://secml.readthedocs.io).

PROGRAMMA/CONTENUTO

• Introduzione alla sicurezza dell'apprendimento automatico: introduzione con esempi pratici di computer vision, biometria, filtri antispam, rilevamento di malware.

• Modelli di minacce e attacchi al machine learning. Modellazione dell’adversarial machine learning. Il modello a due giocatori (l'attaccante e il sistema di machine learning). Livelli di conoscenza reciproca dei due giocatori (conoscenza perfetta, conoscenza limitata, conoscenza per quesiti e feedback). Modelli di attacco contro il machine learning: attacchi di evasione, avvelenamento, backdoor e privacy. I concetti di sicurezza by design e “security by obscurity”.

• Valutazione di algoritmi di machine learning in ambienti ostili. Valutazione delle vulnerabilità attraverso metodi formali e valutazioni empiriche. Valutazioni adattive e non adattive.

• Progettazione di algoritmi di machine learning in ambienti ostili: tassonomia delle possibili strategie di difesa. Attacchi di evasione e contromisure. Difese contro attacchi di evasione, avvelenamento, backdoor e privacy. Attacchi di avvelenamento e contromisure. Avvelenamento da backdoor, minacce e difese legate alla privacy.

• Sessioni pratiche di laboratorio con linguaggio Python. Sessioni pratiche sugli attacchi contro l'apprendimento automatico e le difese degli algoritmi di apprendimento automatico.

TESTI/BIBLIOGRAFIA

A. Joseph, B. Nelson, B. Rubinstein, D. Tygar, Adversarial machine learning, Cambridge University Press, 2018

 B., Battista, F. Roli. Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition 84 (2018): 317-331.

B. Biggio, F.Roli, Wild Patterns, Half-day Tutorial on Adversarial Machine Learning: https://www.pluribus-one.it/research/sec-ml/wild-patterns

Biggio, B., Corona, I., Maiorca, D., Nelson, B., Srndic, N., Laskov, P., Giacinto, G., Roli, F. Evasion attacks against machine learning at test time.  ECML-PKDD, 2013.

Biggio, B., Fumera, G., Roli, F. Security evaluation of pattern classifiers under attack. IEEE Trans. Knowl. Data Eng., 26 (4):984–996, 2014.

DOCENTI E COMMISSIONI

Commissione d'esame

FABIO ROLI (Presidente)

LUCA DEMETRIO (Presidente Supplente)

LUCA ONETO (Presidente Supplente)

LEZIONI

INIZIO LEZIONI

Come da calendario ufficiale.

Orari delle lezioni

L'orario di questo insegnamento è consultabile all'indirizzo: Portale EasyAcademy

ESAMI

MODALITA' D'ESAME

Prove intermedie in corso di semestre

MODALITA' DI ACCERTAMENTO

Soluzione di esercizi numerici e di programmazione, domande a risposta chiusa ed aperta.

Calendario appelli

ALTRE INFORMAZIONI

Contattare il docente per email.