教學大綱與進度
課程基本資料:
學年期
課號
課程名稱
階段
學分
時數
修
教師
班級
人
撤
備註
103-2
196388
資訊理論
1
3.0
3
★
吳昭正
電機所
18
0
教學大綱與進度:
教師姓名
吳昭正
Email
ccwu@ntut.edu.tw
最後更新時間
2015-02-25 14:21:32
課程大綱
本課程將先從隨機變數的內容開始並主要介紹消息理論的基礎與應用。本課程的將涵蓋下列內容: (1) 熵值,相對性熵值與互訊息 (2) 漸近等分理論 (3) 隨機程序的熵速率 (4) 資料壓縮 (5) 消息理論與賭博 (6) 頻道容量 (7) 差別熵值 (8) 高斯通道
課程進度
Week 1(2/25). Introduction Week 2(3/4). Review of Random Variables Week 3(3/11). Entropy/Relative Entropy Week 4(3/18). Mutual Information/Jensen’s and Fano's Inequality Week 5(3/25). Data compression Week 6(4/1). Huffman/Shannon coding Week 7(4/8). Channel capacity (I) Week 8(4/15). Channel capacity (II) Week 9(4/22). Midterm Week 10(4/29). Rate Distortion Theory (I) Week 11(5/6). Rate Distortion Theory (II) Week 12(5/13). Rate Distortion Theory (III) Week 13(5/20). Asymptotic equipartition property Week 14(5/27). Entropy Rates of a Stochastic Process Week 15(6/3). Differential entropy Week 16(6/10). Gaussian Channel Week 17(6/17). Final Project Presentation Week 18(6/24). Final term
評量方式與標準
Midterm 30% Final term 30% Term Project 40%
使用教材、參考書目或其他
【遵守智慧財產權觀念,請使用正版教科書,不得使用非法影印教科書】
使用外文原文書:
Required text: 1. Elements of Information Theory, 2nd Edition, Thomas M. Cover and Joy A. Thomas, Wiley, 2006. Optional text: 1. The Mathematical Theory of Information, Jan Kahre, The Springer, 2002. 2. Information Theory, Inteference, and Learning Algorithms, David J. C. Mackay, Cambridge, 2003. 3. Information Theory: Coding Theorems for Discrete Memoryless Systems, 2md Edition, Imre Csiszar and Janos Korner, Cambridge, 2011
課程諮詢管道
備註