Università Roma Tre

Elementi di teoria dell’informazione: entropia di una sorgente, entropia relativa. Entropia congiunta e entropia condizionata. Statistica sufficiente. Codifica di sorgente senza perdita di informazione: Codici ottimi. Limiti sulla lunghezza delle parole di codice per i codici ottimi. Diseguaglianza di Kraft per codici univocamente decodificabili. Codificatori di Huffman e di Shannon-Fano-Elias. Codifica di sorgente Universale. Codificatori aritmetici. Codificatore di Lempel-Ziv.
Equivocazione, tasso di informazione mutua, capacità di canale. Capcità dei canali binari simmetrici e dei canali limitati in banda affetti da rumore additivo gaussiano.
Teorema di Shannon sulla codifica di canale. Diseguaglianza di Fano. Teorema della separazione tra codifica di sorgente e la codifica di canale.
Codificazione dei segnali audio
Caratteristiche del sistema uditivo umano, soglia assoluta di udibilità, percezione dei suoni complessi, banda critica e mascheramento simultaneo, caratteristiche temporali dei meccanismi di mascheramento.
Tecniche di codifica del segnale vocale. Codiche temporali: G.711, G.726 e G.727. Codifiche basate su modelli: G.729. Codifiche nel dominio della frequenza: MPEG 1 layer I, II e III, MPEG-2 e MPEG-4.
Elementi di codifica delle immagini: la trasformata coseno discreta (DCT) e la codifca JPEG.

Codici lineari a blocco: definizione, matrice generatrice, controlli di parità, codici sistematici Rivelazione e correzione d’errore per codici lineari a blocco. Sindrome. Codice duale di un codice lineari a blocco. Decodificatore ottimo. Rivelazione e correzione d’errore per canali binari simmetrici. Schieramento standard. Prestazioni. Campi di Galois: definizioni e proprietà. Codici ciclici. Codici d Hamming. Codici di Reed-Solomon.
Codici convoluzionali: definizioni e proprietà. Decodifica a massima verosimiglianza: canali binari simmetrici e canali gaussiani Serie di Markov: definizioni e prorietà.
Algoritmo di Viterbi: principio, implementazione e prestazioni Algoritmo di Viterbi: prestazioni.
Turbocodici: definizioni e principio di funzionamento.
Codici concatenati. Codificatori convoluzionali ricorsivi sistematici. Interallacciatori per codici convoluzionali. Calcolo della probabilità a posteriori (AAP) per i turbocodici. Principio di funzionamento dei protocolli ARQ ibridi.
Decodificatori per turbo codici: algoritmo di decodifica.
Codici punturati. Reti bayesiane. Grafi orientati aciclici. Algoritmo di Pearl. Alberi bayesiani. Codici a lineari ablocco a bassa densità (LDPC): definizioni e proprieta. Decodicatore per LDPC. Cenni sulla codifica di canale orientata al pacchetto: codici a fontana e codici Raptor.
Teoria della stima. Stima a minimo errore quadratico medio: soluzione generale, caso Gaussiano in Gaussiano. Trasformata discreta di Fourier per processi ciclostazionari. Filtro di Wiener: caso Gaussiano in Gaussiano. Stima a minimo errore assoluto medio (MMAE). Stima a massima probabilità a posteriori (MPA). Stima a massima verosimiglianza (ML). Diseguaglianza di Cramèr Rao mono e pluridimensionale. Stimatori efficienti. Matrice di informazioen di Fisher. Stima di tempo d’arrivo. Stima congiunta di tempo d’arrivo e spostamento Doppler. Trasformata wavelet e analisi multirisoluzione. Restauro del segnale nel dominio della trasformata Wavelet.

A. Neri. "Appunti dalle lezioni di Teoria dell’Informazione e Codici". Disponibile gratuitamente in forma elettronica dal sito http://elearning.dia.uniroma3.it/moodle/.

Testi consigliati disponibili gratuitamente in forma elettronica dal sito della Biblioteca di Area Scientifico-tecnologica (http://host.uniroma3.it/biblioteche/page.php?page=collezion0)

Elements of information theory
Thomas M. Cover, Joy A. Thomas,
2. ed., 2006
John Wiley & Sons, Ltd.

Essentials of error-control coding
Jorge Castiñeira Moreira, Patrick Guy Farrell,
c2006
John Wiley & Sons, Ltd.