※ 引述《roger29 (=======中间选民=======)》之铭言：
: 根据伟大的数学家 消息理论的开山始祖 Claude Shannon的source coding theorem
: → tigertiger:称呼Shannon数学家? 跟称呼科P是医师一样不尊敬 06/29 23:50
: → tigertiger:到底哪里专业了阿? 一个叫Shannon数学家的人 专业在哪? 06/29 23:52
: → tigertiger:八卦板怎么了? 06/29 23:52
要我来说的话，夏农根本不是数学家，是研究内容接近数学工作的工程师。
不信？可以去问问那些数学的PhD。
但他无疑是拥有伟大著作的工程师。
wiki 上面的 mathematician 定义根本太 general，
差不多就跟在竹科扫厕所的人也被称作工程师一样夸张
: 推 drkkimo:霍夫曼编码不是很基本的吗 有什么好特别专业? 06/29 23:57
: 没有欸 我当初也很疑惑
:
: 有一堆很复杂的source code 像是Fano code Shannon type code...
: 但是都没有Huffman期末作业想出来的code直观简单又是最佳
Shannon–Fano code (就是长度 -logP(x) 那个) 并不是 optimal code，
他只是当你的code很长的时候会越来越接近 optimal。
但 Huffman code 是 optimal 的，
原因是 Huffman Code 偷吃步用 variable- length。
同时代有 Huffman 那个构想的人可能不少，但Huffman是第一个证明 optimality 的人。
: 推 sef96121:只能朝拜了！ 06/29 23:59
: 推 NDSLite:优文 06/30 00:01
: 推 liar5566:不错，实力跟我相当 06/30 00:01
: 推 alog:XDDD阴森宅宅是沙小la 06/30 00:01
: → tigertiger:什么工程师 起码也是数位教父好吗 没他哪来的0101 06/30 00:01
0101 那是硬件工程师的事情，干夏农屁事。你夏农信者？
消息理论(Information Theory)这门学问听起来很酷，
但内容真的很奇妙，甚至有点鸡肋的感觉。
这门学问坦讨的是 世界的极限。
就像前篇讨论的问题一样，“这样的档案，我的压缩率最低可以到多低？”
或者是“这样的传输通道，我的传输速率最快可以多快？”
夏农用 typicality 的方法回答了这些问题。
他的理论证明了“存在算法达成这样的极限”。
举个例子：你要找一个 220 cm 的人来打中锋，我跟你说，
A大学学生平均身高 220 cm，一定有学生的身高是 220 cm。
你接着问：那你可以找一个这样的人给我吗？
我：喔 我只负责告诉你有这样的人而已，怎么找另请高明
Huffman Code 为啥这么屌？因为马上可以写个算法实现
不过因为还要知道symbol distribution不是很好用，
现在算法的主流是 Lempel–Ziv 一系流变下来的。
消息理论其实在 1980~1990 的时候因为复杂度造成实做问题被靠北成一团，
当代有不少工程师觉得这种理论就只是学界一群人在玩的。
不过 MIT 的 Galleger 提出 LDPC code 拯救了大家，
这个体系后来有一个特别的 code 叫做 Turbo Code，是目前 LTE 在使用的channel code
当年提出 Turbo Code 的时候，那些作者们没办法用数学证明，
所以很多学者都觉得他们应该是搞错了，是后来用电脑跑才发现“喔 好像可以用喔”。
但在通讯理论的世界，不管算法有没有效，不能用数学证明大家就当你在嘴泡。
为什么我说消息理论有点鸡肋的fu？
因为消息理论研究的东西跟实作几乎没啥关联。
除了上面讲的 LDPC 和 Turbo 这种当红炸子鸡，
古老的 Hamming Code 现在 LTE 都还在用。
这些传输方法的研究成果，我觉得才是直接影响人类生活的重大发现。
当然我不是说消息理论是垃圾啦，至少他可以告诉你世界的极限。
不过现在专门做消息理论的应该也不太多就是。