PRESENTAZIONE

Il corso fornirà agli studenti conoscenze per la progettazione e lo sviluppo di modelli e sistemi di informatica affettiva. La prima parte del corso sarà dedicata alle basi teoriche (ad esempio, principali teorie dell'emozione e della regolazione). La seconda parte si concentrerà sulle tecniche per l'acquisizione, l'elaborazione e lo sviluppo di modelli computazionali. Gli studenti parteciperanno alle attività pratiche, imparando strumenti e dispositivi per la raccolta e l'elaborazione dei dati, nonché per la costruzione di modelli computazionali (p.e., il riconoscimento delle emozioni). Il focus sarà sui comportamenti non verbali come espressioni facciali, movimenti del corpo, sguardo e gesti, che possono comunicare atteggiamenti interpersonali, relazioni sociali, emozioni e tratti di personalità ai partner di interazione (umani o agenti artificiali). In questo contesto, i dati sono registrate con una webcam (video), camere RGB-D, microfoni (audio), accelerometri, sensori tattili.

OBIETTIVI E CONTENUTI

OBIETTIVI FORMATIVI

This course focuses on computational models and on the design of technologies to automatically measure, analyze, and communicate emotions in interactive systems. The course will cover topics including the interaction of emotion with cognition and perception, the communication of human emotion via face, voice, physiology, full-body movement, and social behavior. Lab experiments and exercises will include affective technologies for education, cultural welfare, rehabilitation, and performing arts.

OBIETTIVI FORMATIVI (DETTAGLIO) E RISULTATI DI APPRENDIMENTO

L'obiettivo di questo corso è introdurre i concetti di base della psicologia delle emozioni, della psicologia sociale e della psicologia positiva, e mostrare come questi concetti simulati con dei modelli computazionali. Tali modelli possono essere utilizzati per: 1) riconoscere e classificare gli stati interni, i tratti della personalità e gli atteggiamenti sociali degli esseri umani (ad esempio, il riconoscimento delle emozioni dalle espressioni facciali), 2) ragionare sulle emozioni umane (ad esempio, per costruire compagni artificiali empatici), 3) simulare le emozioni in agenti artificiali (come robot sociali, agenti virtuali) e permettere loro di comunicare in modo appropriato le emozioni simulate nelle loro interazioni. L'attenzione viene fatta sul rilevamento e l'elaborazione di comportamenti non verbali, p.e., espressioni facciali, movimenti del corpo, sguardo e gesti tattili, che forniscono informazioni sugli atteggiamenti interpersonali, le relazioni sociali, gli stati affettivi e i tratti della personalità di un partner  (umano o agente artificiale). Durante le lezioni, gli studenti parteciperanno ad attività pratiche e impareranno a utilizzare strumenti e dispositivi per la raccolta e l'elaborazione dei dati, nonché per la costruzione di semplici modelli computazionali.

Al termine di questo corso, uno studente sarà in grado di:

• Applicare le principali teorie psicologiche delle emozioni, delle relazioni sociali e degli atteggiamenti per progettare modelli computazionali per l'affective e il social computing.
• Progettare protocolli di raccolta dati e scegliere tecniche e tecnologie appropriate per raccogliere dati di comportamenti non verbali.
• Raccogliere dati sui comportamenti non verbali in scenari sia individuali che interattivi.
• Applicare tecniche di valutazione e annotazione dei dati (ad esempio, annotazione esterna, autovalutazione, crowdsourcing).
• Sviluppare nuovi dataset per la modellazione delle emozioni.
• Applicare metodi di base per l'estrazione e la selezione delle caratteristiche.
• Costruire modelli computazionali, ad esempio per la classificazione degli stati interni utilizzando tecniche di machine learning.
• Valutare i modelli sviluppati.

PREREQUISITI

competenze di base di programmazione

MODALITA' DIDATTICHE

Il corso è strutturato come una serie di lezioni combinate con apprendimento pratico. Le lezioni teoriche introdurranno i concetti e le tecniche utilizzate nell'affective computing e nel social signal processing. Tali lezioni si baseranno sulle ultime pubblicazioni di ricerca e saranno supportate da ausili visivi come video e altri supporti multimediali.

L'apprendimento pratico consisterà nell'utilizzo di dispositivi e software per la raccolta, l'annotazione e l'elaborazione dei dati. Le attività pratiche permetteranno agli studenti di applicare i concetti presentati durante le lezioni per risolvere compiti specifici.

Una parte delle attività pratiche sarà dedicata allo sviluppo (in aula) di un progetto propedeutico. La partecipazione attiva di tutti gli studenti è richiesta durante le fase del sviluppo di questo progetto congiunto.

PROGRAMMA/CONTENUTO

Durante le lezioni verranno discussi i seguenti concetti:
- Fondamenti psicologici: teorie delle emozioni e regolazione delle emozioni, teorie della valutazione, atteggiamenti, relazioni sociali, modelli di personalità, psicologia positiva e benessere, ecc.;
- Relazione tra comportamenti non verbali (ad es., espressioni facciali, movimenti del corpo, posture, prosodia vocale, tocco) e stati interni;
- Multimodalità e espressioni multimodali  (in)congruenti;
- Modelli computazionali delle emozioni;
- Panoramica delle tecniche e dei protocolli per la raccolta di dati multimodali, nonché dispositivi/sensori. Tecniche passive e attive di induzione delle emozioni;
- Panoramica dei dataset disponibili nel campo dell'affective computing, creazione di dataset utilizzando contenuti online, questioni etiche e di privacy relative alla raccolta dei dati;
- Progettazione di protocolli di raccolta dati;
- Attività pratiche (creazione della propria raccolta di dati) utilizzando sensori e dispositivi (ad es., Kinect, accelerometri) e software liberamente disponibili (ad es., EyesWeb);
- Questioni metodologiche relative alla valutazione dei dati: metodi e strumenti, progettazione di questionari, annotazione manuale dei dati (ad es., Elan), validazione e accordo tra valutatori;
- Estrazione delle caratteristiche: estrazione delle caratteristiche utilizzando software disponibili (ad es., OpenFace, OpenPose), progettazione di proprie caratteristiche personalizzate;
- Progettazione, sviluppo e validazione di modelli computazionali basati sulle caratteristiche;
- Stato dell'arte di riconoscimento automatico delle emozioni/relazioni sociali;
- Modelli per la comunicazione affettiva e applicazioni agli agenti artificiali.

TESTI/BIBLIOGRAFIA

Calvo, R., D'Mello, S., Gratch, J., Kappas, A. (Eds.), The Oxford Handbook of Affective Computing,
Oxford University Press, 2015.

Gratch, J., Marsella, S. (Eds.), Social Emotions in Nature and Artifact,
Oxford Series on Cognitive Models and Architectures, Oxford Series on Cognitive Models and
Architectures, 2014.

Burgoon, J., Magnenat-Thalmann, N., Pantic, M., Vinciarelli, A. (Eds.), Social Signal Processing,
Cambridge University Press, 2017.

DOCENTI E COMMISSIONI

Commissione d'esame

RADOSLAW NIEWIADOMSKI (Presidente)

LEZIONI

INIZIO LEZIONI

https://easyacademy.unige.it/portalestudenti/index.php?view=easycourse&_lang=it&include=corso

Orari delle lezioni

L'orario di questo insegnamento è consultabile all'indirizzo: Portale EasyAcademy

ESAMI

MODALITA' D'ESAME

La valutazione del corso sarà basata su due fasi: 1) compiti svolti sistematicamente durante il corso, 2) progetto finale.

Per quanto riguarda la fase 1, durante le lezioni, gli studenti, sotto la supervisione del docente, svilupperanno insieme un progetto che si concentra su diversi aspetti dell'affective computing e del social signal processing. Il progetto sarà composto da diversi sottocompiti, e gli studenti consegneranno soluzioni parziali.

Per quanto riguarda la fase 2, gli studenti applicheranno la teoria e le competenze pratiche apprese durante il corso per risolvere sfide concrete relative agli argomenti trattati. I progetti finali possono essere realizzati in piccoli gruppi. Gli argomenti devono essere concordati con il docente. I progetti consistono nella progettazione di un nuovo protocollo di raccolta dati, nella raccolta dei dati, nell'analisi dei dati e nello sviluppo del modello.

Gli studenti che non frequentano il corso (cioè che non partecipano alla fase 1) sono tenuti a preparare progetti individuali (fase 2).

Gli studenti con certificazione di DSA, di disabilità o di altri bisogni educativi speciali devono contattare il docente all’inizio del corso per concordare modalità didattiche e d’esame che, nel rispetto degli obiettivi dell’insegnamento, tengano conto delle modalità di apprendimento individuali e forniscano idonei strumenti compensativi. Si ricorda che la richiesta di misure compensative/dispensative per gli esami dovrà essere inviate al docente del corso, al referente della Scuola e al “Settore servizi per l'inclusione degli studenti con disabilità e con DSA” (dsa@unige.it), come da linee guida disponibili al link: https://unige.it/disabilita-dsa

MODALITA' DI ACCERTAMENTO

I progetti saranno valutati in base a come gli argomenti discussi durante le lezioni sono stati implementati per risolvere problemi di vita reale. La valutazione dei progetti permetterà di misurare le competenze pratiche relative all'Affective Computing. Per il progetti realizzati in gruppi, ci si aspetta che il contributo di ciascun membro del gruppo sia chiaramente evidenziato.