Università Roma Tre

Codici a correzione d’errore. Canale binario simmetrico. Codici a blocco. Codici di Hamming. (7,4)-Hamming. Matrice di generazione del codice nal caso lineare. Decodifica nel caso del codice (7, 4)-Hamming. Sindromi. Decod- ifica mediante sindromi. Efficenza dei codici. Capacità di un canale. Codici simmetrici. Rappresentazione grafica associata ad un codice.

Probabilità. Spazi di probabilità. Probabilità discreta. Probabilità a posteriori. Principio di massima verosimiglianza. Definizione di entropia. Contenuto informativo secondo Shannon. Ridondanza. Entropia congiunta. Regola di decomposizione per il calcolo dell’entropia. Disugualgianza di Gibbs. Disuguaglianza di Jensen.

Inferenza.

Teorema di codifica della sorgente. Misura del contenuto d’informazione di una variabile aleatoria. Contenuto informativo grezzo. Contenuto informativo e compressione con perdita. Contenuto informativo essenziale. Teorema di Shannon. Insiemi di tipicità. Principio di equipartizione asintotica.

Codici Simbolici. Codifica senza perdita di informazione. Codici prefissi. De- codifica univoca. Disuguaglianza di Kraft. Codici ottimali. Codifica di Huffman. Codici Flusso. Codici aritmetici. Modello Bayesiano. Codici Huffman con intestazione. Codici aritmetici con modello predittivo di Laplace. Codici aritmetici con modello predittivo di Dirichlet. Codifica Lempel-Ziv.

Variabili aleatorie dipendenti. Entropia congiunta. Entropia Condizionata. Mutua informazione. Mutua informazione condizionata.

Comunicazione su canali in presenza di rumore. Canale discreto senza memoria (DMC). Esempi: canale binario simmetrico (BSC), canale binario con cancellazione (BEC), la telescrivente con rumore (NT), lo zeta-channel (Z). Informazione trasportata da un canale. Il teorema di codifica della sorgente nel caso con rumore. Decodifica ottimale. Probabilità di errore sul blocco e in media sul singolo bit. Sequenze tipiche e insiemi di tipicità congiunta. Decodifica mediante insiemi di tipicità. Valutazione dell’informazione nel caso di utilizzo di un canale oltre la capacità.

Codici a correzione d’errore e applicazioni. Ulteriori codici: Codici Hash, Codici Binari, Codici Lineari.