OBIETTIVI FORMATIVI

The goal of this module is to provide students with knowledge and capabilities for processing heterogeneous multisensory signals acquired by autonomous and semiautonomous systems, including human machine interaction. Machine learning methods will be addressed for estimating optimized Bayesian dynamic cognitive models in a data driven way. Capabilities of the students to produce new solutions based on such methods to state of the art problems will be addressed, together with acquisition of programming related capabilities by means of laboratory activities.

OBIETTIVI FORMATIVI (DETTAGLIO) E RISULTATI DI APPRENDIMENTO

 -Conoscenze di base e specialistiche sulla la progettazione di architetture di sistemi di telecomunicazione context-aware e multisensoriali in reti di agenti cognitivi

- Conoscenze  sui metodi e le tecniche di acquisizione, rappresentazione  ed elaborazione di segnali propriorecettivi ed exterorecettivi multisensoriali in agenti cognitivi (p.e. veicoli semi autonomi, radio cognitive, etc.) 

- Conoscenze su metodi e tecniche per la Fusione Dati multisensoriali basate su elaborazione congiunta di segnali multisensoriali e sull'apprendimento da sequenze segnali dinamiche dei relativi modelli 

- Conosecenze su metodi basati sulla teoria dei sistemi cognitivi dinamici per sviluppare la Situation awareness e la Self awareness in agenti cohgnitivi artificiali 

- Conoscenze relative a casi di studio: veicoli autonomi basati su percezione multisensoriale (dataset di auto, robot e droni) 

- Capacità di uso di strumenti di elaborazione del segnale per l'acqusizione dati multisensoriali, l'apprendimento di modelli di Fusione dati, l'uso di tali modelli per la stima dinamica dello stato dell'agente e dell'ambiente in cui opera.

MODALITA' DIDATTICHE

Lezioni in aula con ausilio di slide 

Laboratorio con utilizzzo di matlab e altri strumenti di programmazione per l'analisi di segnali multisensoriali 

PROGRAMMA/CONTENUTO

1) Introduzione: Definizione generale e modelli di sistemi cognitivi dinamici.(CDS)  Il ciclo cognitivo: percezione analizi decisione ed azione e sua rappresentazione in un agente artificiale. Segnali sensoriali propriorecettivi ed exterorecettivi. Architetture di Fusione Dati functional per la rappresentazione e la stima dello stato di oggetti e situazioni: modello JDL, modello di Haykin-Fuster di Cognitive Dynamic Systems, modello di Friston. . Modello di Damasio.  Uso dei Probabilistic graphical model come tecnica di rappresentazione ed inferenza nei CDS. 

2) Metodologie per la fusione dati multisensoriali: rappresentazione, inferenza e apprendimento da serie sensoriali temporali

Acquisizione di segnali sensoriali in un agente artificiale. Rappresentazione gerarchica e contestuale di modelli dinamici dei segnali: presenza sincrona delle osservazioni, stima istantanea, stima dinamica (comportamento), stima relazionale della situazione; analisi della motivazione.  Elaborazione digitale di segnali multisensoriali dinamici di tipo radio, video, audio e  .propriorecettivo.  Tecniche di inferenza per modelli di fusione dati Bayesiani: allineamento temporale e spaziale, data association, state estimation, abnormality detection   Probabilistic Graphical Models: Dynamic Bayesian Networks (DBN) come modello gerarchico di attrattori dinamici .ossservazione, Stato, superstato ed eventi .  Belief propagation. Tecniche di Bayesian State estimation : Kalman filter, Extended Kalman Filter, Unscented Kalman Filter, Particle Filtering. Situation assessment: Interaction Models usando Switching model e reti DBN accoppiate. Stati Generalizzati.  Tecniche di machine learning per apprendimento di modelli di fusione dati da sequenze sensoriali: Self Organizing Map, Growing Neural Gas, Gaussian Processes. 

 3) Case studies

Acquisizione di capacita' relative a progettare un sistema di analisi della situazione in un agente artificiale. Uso di dataset relativi a autonomous cars, drones, robotic Lego applications.surveillance, smart environments per apprendere ed utilizzare modelli di fusione dati in CDS.

TESTI/BIBLIOGRAFIA

 - A. R. Damasio, Looking for Spinoza: Joy, Sorrow, and the Feeling Brain, 1st ed. Orlando: Harcourt, 2003. [Online]. Available:http://lccn.loc.gov/2002011347
- S. Haykin, Cognitive Dynamic Systems: Perception-action Cycle, Radar and Radio, ser. Cognitive Dynamic Systems: Perception–action Cycle, Radar, and Radio. Cambridge University Press, 2012.

- P. R. Lewis, M. Platzner, B. Rinner, J. Torresen, and X. Yao, Eds., Self aware Computing Systems: An Engineering Approach. Springer, 2016.

- K. J. Friston, B. Sengupta, and G. Auletta, “Cognitive dynamics: From attractors to active inference,” Proceedings of the IEEE, vol. 102, no. 4, pp. 427–445, 2014. [Online]. Available:
https://doi.org/10.1109/JPROC.2014.2306251

- S. Haykin and J. M. Fuster, “On cognitive dynamic systems: Cognitive neuroscience and engineering learning from each other,” Proceedings ofthe IEEE, vol. 102, no. 3, pp. 608–628, 2014.