PRESENTAZIONE

Questo insegnamento introduce alcuni dei principali problemi di progettazione per i sistemi distribuiti (cioè, sistemi fatti di computer in rete che comunicano e coordinano passando messaggi l'uno all'altro).

Argomenti come prestazioni, disponibilità e sicurezza vengono discussi e gli studenti fanno esperienza pratica su sistemi simulati e reali.

L'insegnamento è presentato in due versioni: una versione 6 CFU offerta agli studenti del curriculum Software Security & Engineering (SSE) e una versione 9 CFU offerta a quelli del curriculum Data Science & Engineering (DSE). La versione 9 CFU offre un'introduzione più approfondita a sistemi ad alta intensità di dati come Apache Hadoop e Spark.

OBIETTIVI E CONTENUTI

OBIETTIVI FORMATIVI

Apprendere i principi fondamentali di progettazione per i sistemi distribuiti e acquisire una conoscenza più approfondita di alcune architetture scelte in base al curriculum degli studenti; acquisire familiarità con i concetti di affidabilità, disponibilità e tolleranza ai guasti.

OBIETTIVI FORMATIVI (DETTAGLIO) E RISULTATI DI APPRENDIMENTO

Per la versione da 6 CFU del corso:

• SPIEGARE le ragioni per utilizzare (o non utilizzare) sistemi distribuiti
• DISCUTERE le motivazioni chiave e le idee per soluzioni del problema del consenso distribuito
• RIASSUMERE alcuni risultati importanti sullo scheduling per i sistemi distribuiti
• DISCUTERE le principali motivazioni, problemi e soluzioni legati alla progettazione di architetture peer-to-peer
• SPIEGARE la progettazione di strumenti di elaborazione dati su larga scala
• VALUTARE l'impatto di alcune scelte progettuali attraverso la simulazione

Inoltre, per la versione da 9 CFU del corso,

• RISOLVERE le attività di programmazione in modo efficiente utilizzando strumenti di elaborazione dati su larga scala

PREREQUISITI

Per seguire con successo questo corso, gli studenti devono già conoscere:

• strutture dati e algoritmi di base
• le architetture client-server
• i protocolli di rete
• i principali argomenti di base di sicurezza informatica

Per le attività pratiche è necessario avere buone capacità di programmazione; nel corso si userà prevalentemente Python.

MODALITA' DIDATTICHE

Lezioni ed esercitazioni pratiche.

PROGRAMMA/CONTENUTO

• Transazioni e consenso
  • Proprietà ACID  e teorema CAP
  • Algoritmi di consenso: Paxos, Raft
  • Applicazioni concrete: Zookeeper, Google Cloud Spanner
• Code e scheduling
  • Teoria sul problema della definizione delle priorità e dell'assegnazione del lavoro in un sistema distribuito
• Erasure coding
  • Come garantire in modo efficiente la disponibilità dei dati
•  Sistemi peer-to-peer (P2P)
  • Tor: un sistema per consentire la comunicazione anonima
  • Ricerca nei sistemi P2P: reti non strutturate, superpeer, tabelle hash distribuite
  • Incentivi alla cooperazione: BitTorrent
  • Eventual consistency: l'esempio di Amazon Dynamo
•  Introduzione all'elaborazione dei dati su larga scala
  • Il paradigma MapReduce
  • La progettazione di Hapace Hadoop e Apache Spark

Per la versione da 9 CFU:

• Sistemi dati distribuiti: panoramica, partizionamento, replica
• Architettura containerizzata: Docker
• Esercitazioni con PySpark

TESTI/BIBLIOGRAFIA

Durante il corso verranno suggeriti articoli scientifici sugli argomenti trattati durante le lezioni. Tutto il materiale necessario per preparare il corso sarà presente su AulaWeb.

DOCENTI E COMMISSIONI

Commissione d'esame

MATTEO DELL'AMICO (Presidente)

GIORGIO DELZANNO (Presidente Supplente)

LEZIONI

INIZIO LEZIONI

In accordo con il calendario didattico approvato dal Consiglio dei Corsi di Studio in Informatica: https://corsi.unige.it/corsi/11964/studenti-orario

Orari delle lezioni

L'orario di questo insegnamento è consultabile all'indirizzo: Portale EasyAcademy

ESAMI

MODALITA' D'ESAME

Versione da 6 CFU:

Esame scritto e discussione orale dell'esame e degli esercizi pratici assegnati durante il corso.

Versione da 9 CFU:

Valutazione dei compiti ed esame scritto.

Indicazioni per studenti con certificazione di DSA, di disabilità o di altri bisogni educativi speciali sono disponibili a partire da https://corsi.unige.it/corsi/11964/studenti-disabilita-dsa

MODALITA' DI ACCERTAMENTO

Per ciascun compito, la qualità del codice e delle relazioni indicherà le competenze tecniche acquisite dagli studenti.

L'esame consentirà ai docenti di completare la valutazione con domande sul programma del corso.

ALTRE INFORMAZIONI

Per ulteriori informazioni, consultare il modulo Aulaweb dell'insegnamento o contattare il docente.