Università Roma Tre

Elementi di teoria dell’informazione: entropia di una sorgente, entropia relativa. Entropia congiunta e entropia condizionata. Statistica sufficiente. Codifica di sorgente senza perdita di informazione: Codici ottimi. Limiti sulla lunghezza dssielle parole di codice per i codici ottimi. Diseguaglianza di Kraft per codici univocamente decodificabili. Codificatori di Huffman e di Shannon-Fano-Elias. Codifica di sorgente Universale. Codificatori aritmetici. Codificatore di Lempel-Ziv.
Equivocazione, tasso di informazione mutua, capacità di canale. Capcità dei canali binari simmetrici e dei canali limitati in banda affetti da rumore additivo gauano.
Teorema di Shannon sulla codifica di canale. Diseguaglianza di Fano. Teorema della separazione tra codifica di sorgente e la codifica di canale.
Codici lineari a blocco: definizione, matrice generatrice, controlli di parità, codici sistematici Rivelazione e correzione d’errore per codici lineari a blocco. Sindrome. Codice duale di un codice lineari a blocco. Decodificatore ottimo. Rivelazione e correzione d’errore per canali binari simmetrici. Schieramento standard. Prestazioni. Campi di Galois: definizioni e proprietà. Codici ciclici. Codici d Hamming. Codici di Reed-Solomon.
Codici convoluzionali: definizioni e proprietà. Decodifica a massima verosimiglianza: canali binari simmetrici e canali gaussiani Serie di Markov: definizioni e prorietà.
Algoritmo di Viterbi: principio, implementazione e prestazioni Algoritmo di Viterbi: prestazioni.
Turbocodici: definizioni e principio di funzionamento.
Codici concatenati. Codificatori convoluzionali ricorsivi sistematici. Interallacciatori per codici convoluzionali. Calcolo della probabilità a posteriori (AAP) per i turbocodici. Principio di funzionamento dei protocolli ARQ ibridi.
Decodificatori per turbo codici: algoritmo di decodifica.

Elements of information theory
Thomas M. Cover, Joy A. Thomas,
2. ed., 2006
John Wiley & Sons, Ltd.