Θεωρία της Πληροφορίας

Εντροπία, σχετική εντροπία. Ο δεύτερος νόμος της θερμοδυναμικής. Ιδιότητα «ασυμπτωτικής ισοκατανομής». Εντροπία και στοχαστικές διαδικασίες. Συμπίεση δεδομένων. Βέλτιστοι Κώδικες, Κώδικας Huffman, Κώδικας Shannon-Fano-Elias. Αλγοριθμική πολυπλοκότητα Kolmogorov. Χωρητικότητα καναλιού μετάδοσης. Θεμελιώδες θεώρημα Shannon. Διαφορική εντροπία. Δίαυλος Gauss. Θεωρία πληροφορίας και προηγμένα θέματα στατιστικής. Μέγιστη Εντροπία. Κωδικοποίηση πηγής. Προσέγγιση με διαδικασίες Markov. Σώματα Galois. Συνάρτηση ρυθμού-απώλειας. Σήματα και θόρυβος. Κώδικες διόρθωσης σφαλμάτων. Κώδικες Hamming, Κώδικες Reed-Muller. Εφαρμογές Θεωρίας Πληροφορίας στη θεωρία επενδύσεων.
Code Hours Type eClass Semester
ΗΥ030 4 Επιλογής e-Class 3

Βιβλιογραφία:

  • ““Εισαγωγή στη θεωρία της πληροφορίας”, Αφράτη Φώτω, Εκδόσεις Συμμετρία, 1994”[eudoxus link}(https://service.eudoxus.gr/search/#a/id:45421/0)
  • ““Εισαγωγή στη θεωρία Πληροφοριών, Κωδίκων και Κρυπτογραφίας”, Ν. Αλεξανδρής, Β. Χρυσικόπουλος, Κ. Πατσάκης, Εκδόσεις Βαρβαρήγου, ISBN 978-960-7996-39-8, 2008”eudoxus link