Algoritmi per big data
(obiettivi)
In molti contesti applicativi sono in gioco enormi volumi di dati che vengono utilizzati in ambito economico-finanziario, politico, sociale ed anche istituzionale. Spesso i dati sono memorizzati in enormi cloud distribuite e talvolta sono generati secondo un flusso continuo, così consistente da renderne impossibile una memorizzazione completa. In moltissimi casi i dati sono inerenti ad entità in fitta relazione tra loro e danno luogo a immense reti di collegamenti. Esempi comuni di tali reti sono le reti sociali e biologiche, le reti di distribuzione e il grafo del Web. Inoltre il fatto che i dati siano memorizzati in sistemi gestiti da terze parti pone problemi di integrità che non trovano riscontro nella letteratura informatica classica sia per la tipologia sia per la scala.
Questo scenario pone sfide algoritmiche inedite sulle quali è al lavoro una vasta platea di ricercatori. Tale sforzo ha prodotto, nell’ultimo decennio, molte novità sia sul piano metodologico sia sul piano tecnologico. L’insegnamento ha lo scopo di trasferire agli studenti alcuni tra i più importanti strumenti metodologici nati nell’ambito della ricerca sugli algoritmi per Big Data. Tali strumenti metodologici sono proposti assieme a contesti applicativi sfidanti.
|
Codice
|
20810211 |
Lingua
|
ITA |
Tipo di attestato
|
Attestato di profitto |
Crediti
|
6
|
Settore scientifico disciplinare
|
ING-INF/05
|
Ore Aula
|
54
|
Attività formativa
|
Attività formative caratterizzanti
|
Canale Unico
Docente
|
DI BATTISTA GIUSEPPE
(programma)
Elaborazione dei dati in modalità streaming: approximate counting, sampling e reservoir sampling, bloom filters, frequent itemsets, number of distinct elements
Multidimensional queries: parallelizzazione, spatial/non-spatial partitioning, orthogonal range searching/counting, closest pair, kD-trees, range trees, layered trees, fractional cascading.
Community detection in grafi sociali: componenti (bi)connesse, maximal clique, k-cores, k-plexes; algoritmi per il loro calcolo in ambiente distribuito.
DB-Trees: efficient aggregate range queries on any DBMS
Scalability and Big Data: P2P systems, Distributed Hash Tables and Chord, chord-like design in NoSQL DBMSes. Big data integrity: threat model for the cloud, non-scalability of traditional authenticated data structures, scaling with a pipelining approach. Blockchain and Big Data: the scalability trilemma.
(testi)
Slides più:
Mining of Massive Datasets Jure Leskovec, Anand Rajaraman, Jeff Ullman Cambridge University Press http://www.mmds.org/
|
Date di inizio e termine delle attività didattiche
|
Dal 02/10/2023 al 19/01/2024 |
Modalità di erogazione
|
Tradizionale
|
Modalità di frequenza
|
Non obbligatoria
|
Metodi di valutazione
|
Prova scritta
Valutazione di un progetto
|
Docente
|
PATRIGNANI MAURIZIO
(programma)
1) Algoritmi per data streams - Approximate counting - Majority problems - Sampling e reservoir sampling - Bloom filters - Frequent itemsets 2) Algoritmi sublineari - Diameter approximation - Property testing 3) Clustering 4) Algoritmi e strutture dati per analisi di features quantitative - 1d-,2d-,3d-range queries - Skyline (pareto frontier), near-neighbor search, voronoi diagram 5) Dimensionality reduction 6) Algoritmi per la decomposizione di reti complesse - Decomposizione di una rete in componenti k-connesse - Decomposizione in k-cores, maximal cliques, maximal k-plexes 7) Distributed Hash Tables, Consistent Hashing 8) Integrità di grandi quantità di dati, consistenza nei sistemi distribuiti, CAP/PACELC theorems e impatto sui database NoSQL
(testi)
Mining of Massive Datasets Jure Leskovec, Anand Rajaraman, Jeff Ullman Cambridge University Press http://www.mmds.org/
|
Date di inizio e termine delle attività didattiche
|
Dal 02/10/2023 al 19/01/2024 |
Modalità di erogazione
|
Tradizionale
|
Modalità di frequenza
|
Non obbligatoria
|
Metodi di valutazione
|
Valutazione di un progetto
|
Docente
|
FRATI FABRIZIO
(programma)
1) Algorithms for data streams - Approximate counting - Majority problems - Sampling and reservoir sampling - Bloom filters - Frequent itemsets - Number of distinct elements 2) Dimensionality reduction - Johnson–Lindenstrauss lemma - Embedding metric spaces with low distortion 3) Algorithms and data structures for quantitative features analysis - orthogonal range searching (kd-trees and range trees) - nearest neighbour search, k-nearest neighbour search - fractional cascading and simplex range search 4) Algorithms for the decomposition of complex networks - Decomposition into k-connected components - Decomposition into k-cores, maximal cliques, maximal k-plexes 5) NoSQL internals: Distributed Hash Tables, chord, consistent hashing 6) Scalable security: integrity of big data sets in the cloud, consistency and scalability issues with authenticated data structures, pipelining, blockchain scalability trilemma.
(testi)
Mining of Massive Datasets Jure Leskovec, Anand Rajaraman, Jeff Ullman Cambridge University Press http://www.mmds.org/
|
Date di inizio e termine delle attività didattiche
|
Dal 02/10/2023 al 19/01/2024 |
Modalità di erogazione
|
Tradizionale
|
Modalità di frequenza
|
Non obbligatoria
|
Metodi di valutazione
|
Prova scritta
Valutazione di un progetto
|
Docente
|
DA LOZZO GIORDANO
(programma)
1) Algorithms for data streams - Approximate counting - Majority problems - Sampling and reservoir sampling - Bloom filters - Frequent itemsets - Number of distinct elements 2) Dimensionality reduction -Johnson–Lindenstrauss lemma Embedding metric spaces with low distortion 3) Algorithms and data structures for quantitative features analysis - orthogonal range searching (kd-trees and range trees) - nearest neighbour search, k-nearest neighbour search - fractional cascading and simplex range search 4) Algorithms for the decomposition of complex networks - Decomposition into k-connected components - Decomposition into k-cores, maximal cliques, maximal k-plexes 5) NoSQL internals: Distributed Hash Tables, chord, consistent hashing 6) Scalable security: integrity of big data sets in the cloud, consistency and scalability issues with authenticated data structures, pipelining, blockchain scalability trilemma.
(testi)
Mining of Massive Datasets Jure Leskovec, Anand Rajaraman, Jeff Ullman Cambridge University Press http://www.mmds.org/
|
Date di inizio e termine delle attività didattiche
|
Dal 02/10/2023 al 19/01/2024 |
Modalità di erogazione
|
Tradizionale
|
Modalità di frequenza
|
Non obbligatoria
|
Metodi di valutazione
|
Prova scritta
Valutazione di un progetto
|
|
|