CODICE 111197 ANNO ACCADEMICO 2025/2026 CFU 6 cfu anno 2 DIGITAL HUMANITIES - INTERACTIVE SYSTEMS AND DIGITAL MEDIA 11661 (LM-92) - GENOVA SETTORE SCIENTIFICO DISCIPLINARE ING-INF/05 LINGUA Inglese SEDE GENOVA PERIODO 1° Semestre MATERIALE DIDATTICO AULAWEB PRESENTAZIONE L'obiettivo principale dell'informatica affettiva è sviluppare modelli e sistemi in grado di riconoscere, interpretare, elaborare e simulare le emozioni. Questo campo ha numerose applicazioni, come la creazione di agenti artificiali, l'intrattenimento (ad es. videogiochi), i serious games, gli ambienti virtuali per la formazione, il positive computing e i sistemi per il miglioramento del benessere (ad es. coaching, sviluppo personale, terapia) e marketing. Il corso fornirà conoscenze relative alla progettazione e allo sviluppo di sistemi di informatica affettiva, includendo le basi teoriche (una breve introduzione alla psicologia delle emozioni) e competenze pratiche (come la progettazione di protocolli per la raccolta dei dati e la costruzione di modelli computazionali). OBIETTIVI E CONTENUTI OBIETTIVI FORMATIVI The course will provide students with knowledge for the design and development of models and systems for affective computing. The first part will be dedicated to theoretical foundations (e.g., an overview of main emotion theories and emotion regulation). The second part will focus on techniques for data acquisition, processing, and development of computational models. Students will also participate in hands-on activities, learning tools and devices for data collection and processing, as well as creating models for emotion recognition. The focus will be on nonverbal behaviors such as facial expressions, body movements, gaze, and touch gestures, which may communicate interpersonal attitudes, social relations, affective states, and personality traits to interaction partners (humans or artificial agents). In this context, data may consist of video recordings collected with simple webcams but can also be gathered with other sensors and devices such as RGB-D cameras, microphones, accelerometers, tactile sensors, and so on. OBIETTIVI FORMATIVI (DETTAGLIO) E RISULTATI DI APPRENDIMENTO L'obiettivo di questo corso è introdurre i concetti di base della psicologia delle emozioni, della psicologia sociale e della psicologia positiva, e mostrare come questi concetti possano essere modellati computazionalmente. Tali modelli possono essere utilizzati per: riconoscere e classificare gli stati interni, i tratti della personalità e gli atteggiamenti sociali degli esseri umani (ad esempio, il riconoscimento delle emozioni dalle espressioni facciali); ragionare sulle emozioni umane (ad esempio, per costruire compagni artificiali empatici); simulare le emozioni in agenti artificiali (come robot sociali, agenti virtuali) e permettere loro di comunicare in modo appropriato le emozioni simulate. Durante il corso, l'attenzione sarà posta sul rilevamento e l'elaborazione di comportamenti non verbali, ad es. espressioni facciali, movimenti del corpo, sguardo e gesti tattili, che forniscono informazioni sugli atteggiamenti interpersonali, le relazioni sociali, gli stati affettivi e i tratti della personalità di un partner (umano o agente artificiale). Durante le lezioni, gli studenti parteciperanno ad attività pratiche e impareranno a utilizzare strumenti e dispositivi per la raccolta e l'elaborazione dei dati, nonché per la costruzione di semplici modelli computazionali. Al termine di questo corso, uno studente sarà in grado di: Applicare le principali teorie psicologiche delle emozioni, delle relazioni sociali e degli atteggiamenti per progettare modelli computazionali per l'affective e il social computing. Progettare protocolli di raccolta dati e scegliere tecniche e tecnologie appropriate per raccogliere dati di comportamenti non verbali. Raccogliere dati sui comportamenti non verbali in scenari sia individuali che interattivi. Applicare tecniche di valutazione e annotazione dei dati (ad esempio, annotazione esterna, autovalutazione, crowdsourcing). Sviluppare nuovi dataset per la modellazione delle emozioni. Applicare metodi di base per l'estrazione e la selezione delle features. Costruire modelli computazionali, ad esempio per la classificazione delle emozioni utilizzando tecniche di machine learning. Valutare i modelli sviluppati. PREREQUISITI competenze di base di programmazione MODALITA' DIDATTICHE Il corso è strutturato come una serie di lezioni teoriche combinate con apprendimento pratico. Le lezioni teoriche introdurranno i concetti e le tecniche utilizzate nell'affective computing e nel social signal processing. Tali lezioni si baseranno sulle ultime pubblicazioni di ricerca e saranno supportate da ausili visivi come video e altri supporti multimediali. L'apprendimento pratico consisterà nell'utilizzo di dispositivi e software per la raccolta, l'annotazione e l'elaborazione dei dati. Le attività pratiche permetteranno agli studenti di applicare i concetti presentati durante le lezioni per risolvere compiti specifici. Una parte delle attività pratiche sarà dedicata allo sviluppo (in aula) di un progetto propedeutico. La partecipazione attiva di tutti gli studenti è richiesta durante le fasi dello sviluppo di questo progetto congiunto. PROGRAMMA/CONTENUTO Durante le lezioni verranno discussi i seguenti concetti: Teorie delle emozioni e regolazione delle emozioni, appraisal theories, atteggiamenti e relazioni sociali, modelli di personalità, positive psychology e benessere, ecc.; Relazione tra comportamenti non verbali (ad es., espressioni facciali, movimenti del corpo, prosodia) e stati interni; Multimodalità e espressioni multimodali (in)congruenti; Modelli computazionali delle emozioni; Panoramica delle tecniche e dei protocolli per la raccolta di dati multimodali, dispositivi/sensori. Tecniche passive e attive di induzione delle emozioni; Panoramica dei dataset disponibili nel campo dell'affective computing, creazione di dataset utilizzando contenuti online, questioni etiche e di privacy relative alla raccolta dei dati; Progettazione di protocolli di raccolta dati; Attività pratiche utilizzando sensori e dispositivi (ad es., Kinect, accelerometri) e software (ad es., OBS); Questioni relative all'annotazione dei dati: metodi e strumenti, progettazione di questionari, annotazione manuale dei dati (ad es., Elan), validazione e accordo tra valutatori; Estrazione delle features: estrazione delle features utilizzando software disponibili (ad es., OpenFace, OpenPose, librerie di Python), progettazione di nuove features; Progettazione, sviluppo e validazione di modelli computazionali basati sulle hand-crafted features; Stato dell'arte di riconoscimento automatico delle emozioni/relazioni sociali; Modelli per la comunicazione affettiva e applicazioni per gli agenti artificiali. TESTI/BIBLIOGRAFIA Calvo, R., D'Mello, S., Gratch, J., Kappas, A. (Eds.), The Oxford Handbook of Affective Computing, Oxford University Press, 2015. Gratch, J., Marsella, S. (Eds.), Social Emotions in Nature and Artifact, Oxford Series on Cognitive Models and Architectures, Oxford Series on Cognitive Models and Architectures, 2014. Burgoon, J., Magnenat-Thalmann, N., Pantic, M., Vinciarelli, A. (Eds.), Social Signal Processing, Cambridge University Press, 2017. DOCENTI E COMMISSIONI RADOSLAW NIEWIADOMSKI Ricevimento: Il docente è disponibile su appuntamento presso il suo ufficio all’ultimo piano di Villa Bonino, Viale Causa 13, 16145, Genova oppure in remoto. Per prendere un appuntamento inviare una e-mail. LEZIONI INIZIO LEZIONI https://easyacademy.unige.it/portalestudenti/index.php?view=easycourse&_lang=it&include=corso Orari delle lezioni L'orario di questo insegnamento è consultabile all'indirizzo: Portale EasyAcademy ESAMI MODALITA' D'ESAME La valutazione del corso sarà basata su due fasi: 1) compiti svolti sistematicamente durante il corso, 2) progetto finale. Per quanto riguarda la fase 1, durante le lezioni, gli studenti, sotto la supervisione del docente, svilupperanno insieme un progetto che si concentra su diversi aspetti dell'affective computing e del social signal processing. Il progetto sarà composto da diversi sottocompiti, e gli studenti consegneranno soluzioni parziali. Per quanto riguarda la fase 2, gli studenti applicheranno la teoria e le competenze pratiche apprese durante il corso per risolvere sfide concrete relative agli argomenti trattati. I progetti finali possono essere realizzati in piccoli gruppi. Gli argomenti devono essere concordati con il docente. I progetti consistono nella progettazione di un nuovo protocollo di raccolta dati, nella raccolta dei dati, nell'analisi dei dati e nello sviluppo del modello. Gli studenti che non frequentano il corso (cioè che non partecipano alla fase 1) sono tenuti a preparare progetti individuali (fase 2). Gli studenti con certificazione di DSA, di disabilità o di altri bisogni educativi speciali devono contattare il docente all’inizio del corso per concordare modalità didattiche e d’esame che, nel rispetto degli obiettivi dell’insegnamento, tengano conto delle modalità di apprendimento individuali e forniscano idonei strumenti compensativi. Si ricorda che la richiesta di misure compensative/dispensative per gli esami dovrà essere inviate al docente del corso, al referente della Scuola e al “Settore servizi per l'inclusione degli studenti con disabilità e con DSA” (dsa@unige.it), come da linee guida disponibili al link: https://unige.it/disabilita-dsa MODALITA' DI ACCERTAMENTO I progetti saranno valutati in base a come gli argomenti discussi durante le lezioni sono stati implementati per risolvere il problema proposto. La valutazione dei progetti permetterà di misurare le competenze pratiche relative all'affective computing. Per i progetti realizzati in gruppi, ci si aspetta che il contributo di ciascun membro del gruppo sia chiaramente evidenziato. Agenda 2030 Salute e benessere Istruzione di qualità Imprese, innovazione e infrastrutture