- Oggetto:
- Oggetto:
Elementi di Teoria dell'Informazione
- Oggetto:
Information theory elements
- Oggetto:
Anno accademico 2024/2025
- Codice attività didattica
- INF0095
- Docenti
- Matteo Sereno (Titolare)
Valerio Bioglio (Titolare) - Corso di studio
- [008515] Laurea magistrale in informatica
- Anno
- 1° anno, 2° anno
- Periodo
- Secondo semestre
- Tipologia
- Caratterizzante
- Crediti/Valenza
- 6 CFU (Ore aula: 48)
- SSD attività didattica
- INF/01 - informatica
- Erogazione
- Tradizionale
- Lingua
- Italiano/Inglese
- Frequenza
- Facoltativa
- Tipologia esame
- Scritto più orale obbligatorio
- Prerequisiti
- L'organizzazione del modulo presuppone un buona conoscenza delle nozioni fornite dai corsi di probabilita' e statistica e più in generale dai corsi di matematica.
Insegnamenti propedeutici (forniscono le competenze attese in ingresso): Analisi matematica, Elementi di Probabilità e Statistica.The organisation of the course requires a good knowledge in courses of probability and statistics and in general a solid mathematical background. . - Oggetto:
Sommario insegnamento
- Oggetto:
Avvisi
- Oggetto:
Obiettivi formativi
Il corso fornisce gli elementi essenziali della teoria dell'informazione che permettono di comprendere, analizzare e progettare i sistemi per la codifica e la trasmissione dell'informazione. Le competenze acquisite dalle studentesse e dagli studenti saranno la conoscenza della teoria di Shannon e delle sue molteplici applicazioni in alcuni settori dell'informatica.Questo insegnamento concorre agli obiettivi formativi del Corso di Laurea Magistrale in Informatica.
The course represents an introduction to classical results of Shannon information theory that allow now to analyse and design computer systems for information coding and transmission.This course contributes to the objectives of the Master's Degree in Computer Science.
- Oggetto:
Risultati dell'apprendimento attesi
Conoscenza e comprensione: al termine di questo corso, le studentesse e gli studenti dovrebbero essere in grado di:- Calcolare/misurare il contenuto informativo di una variabile casuale dalla sua distribuzione di probabilità.
- Correlare le entropie congiunte, condizionali e marginali delle variabili in termini delle loro probabilità accoppiate.
- Definire le capacità e le proprietà del canale utilizzando i teoremi di Shannon.
- Costruire codici efficienti per dati su canali di comunicazione imperfetti.
- Introdurre le idee matematiche alla base della teoria del rilevamento e della correzione degli errori utilizzando codici lineari.
Conoscenza e comprensione applicate: la/lo studentessa/studente sarà in grado di apprezzare le caratteristiche matematiche alla base della comunicazione digitale.
Abilità comunicative: le studentesse e gli studenti saranno in grado di spiegare a un non esperto i concetti acquisiti utilizzando un'esposizione formalmente corretta e rigorosa, e di discutere con esperti su argomenti coerenti con i contenuti del corso.
Knowledge and understanding: upon completion of this course, students should be able to:- Calculate the information content of a random variable from its probability distribution.
- Relate the joint, conditional, and marginal entropies of variables in terms of their coupled probabilities.
- Define channel capacities and properties using Shannon's Theorems.
- Construct efficient codes for data on imperfect communication channels.
- Introduce the mathematical ideas underlying the theory of error-detection and error-correction using linear codes.
Applying knowledge and understanding: the student will be able to appreciate the mathematical features underlying the digital communication.
Communication skills: the students will be able to explain to a non expert the acquired concepts by using a formallly correct and rigourous exposition, and to discuss with experts about topics coherent with the course contents.
- Oggetto:
Programma
Il corso è dedicato alla teoria dell'informazione classica: definizione dell'informazione e tipi di sorgente, concetto di entropia, la codifica di sorgente, primo teorema di Shannon (o della codifica di sorgente), codici univocamente decodificabili, ottimalità della codifica di Huffman, modelli di canale rumoroso, definizione della capacità di canale, secondo teorema di Shannon (o della codifica di canale). La parte finale del corso è dedicata allo studio di schemi di codifica di sorgente e canale utilizzati in molteplici applicazioni e sistemi di comunicazione. Tra gli schemi di codifica di canale verranno studiati i codici a blocco lineari.The course is dedicated to classical information theory: definition of information and source types, concept of entropy, source coding, Shannon's first theorem (or of source coding), uniquely decodable codes, optimality of Huffman coding , noisy channel models, definition of channel capacity, according to Shannon's (or channel coding) theorem. The final part of the course is dedicated to the study of source and channel coding schemes used in many applications and communication systems. Among the channel coding schemes, linear block codes will be studied. .- Oggetto:
Modalità di insegnamento
Le lezioni in aula si svolgono in maniera tradizionale. Le esercitazioni saranno in parte basate sulla soluzione di esercizi propedeutici alla prova d'esame.Classroom lessons are held in the traditional way. The classroom exercises will be based on the solution of preparatory exercises for the exam.- Oggetto:
Modalità di verifica dell'apprendimento
La verifica si articolerà in una prova scritta e in un esame orale. La verifica sarà orientata ad accertare la capacità critica maturata dallo studente nella valutazione dell'applicabilità dei principi teorici studiati nelle prime tre parti costituenti gli argomenti del corso. La prova scritta (in genere due ore di tempo) consisterà in alcune domande e/o problemi. Il voto assegnato a ciascuna domanda/problema dipenderà dal livello di difficoltà. La prova orale sarà orientata ad accertare la capacità dello studente di illustrare i vari concetti illustrati nel corso (con il livello di formalizzazione usato in questo corso). Il risultato della prova scritta contribuisce per il 70% alla valutazione finale mentre la quella orale per il 30%.The final exam will consist of a written test and an oral exam. The verification will be aimed at ascertaining the critical capacity gained by the student in evaluating the applicability of the theoretical principles studied in the first three parts constituting the topics of the course. The written test (usually two hours) will consist of some questions and/or problems. The grade assigned to each question/problem will depend on the level of difficulty. The oral exam will be aimed at ascertaining the student's ability to illustrate the various concepts illustrated in the course (with the level of formalization used in this course). The result of the written test contributes 70% to the final evaluation while the oral one contributes 30%.Testi consigliati e bibliografia
- Oggetto:
- Libro
- Titolo:
- Elements of Information Theory, 2nd Edition
- Anno pubblicazione:
- 2006
- Editore:
- Wiley
- Autore:
- Thomas M. Cover, Joy A. Thomas,
- ISBN
- Capitoli:
- 1,2,3, 5,7
- Obbligatorio:
- Si
- Oggetto:
- Libro
- Titolo:
- Information Theory and Network Coding
- Anno pubblicazione:
- 2008
- Editore:
- Springer
- Autore:
- R. W. Yeung
- ISBN
- Obbligatorio:
- No
- Oggetto:
Note
Le lezioni di questo insegnamento sono tenute in lingua ingleseLessons delivered in english language- Oggetto: