※ 引述《fw190a (las)》之铭言：
: ※ 引述《ZMittermeyer (ZM)》之铭言：
: : 1 bit的定义是：如果一个黑盒子中有A与B两种可能性，他们出现的机率相等
: : 要确定会是A还是B，我们需要的讯息量就是 1 bit
: : 所以讯息论根本上是一个在研究“消除不确定性”的系统性学问
: : 讯息量的定义就是“不确定性的消除量”
: : 而传输 1 bit 讯息，和你使用电脑、手机、旗语、骰子、手势、声波都没有关系
: : 讯息论也可以计算旗语、骰子、手势、声波这些通讯协定的讯息量是几bit
: 两个可能性确定一个是1 bit，
: 32确定一个的时候，讯息量是5 bit。
: 消除不确定是微观系统内的定义，
: 但可能性越多复杂度越高，讯息量单位越高也是事实，
: 从一开始试图把讯息量定义成一个"好的东西"，
: 就是你整个理论的执拗而已。
: 其实我看出来你的整套理论，就是因为你自认掌握著一种真理，
: 所以能在世界尺度评判哪个东西讯息量高哪个低，又哪个是噪声，
: 所以你反复套这个公式来强化自己的认知。
: 但对于他人来说你的逻辑根本鸡同鸭讲，
: 你这真的只是包装的传教行为。
: ，，，
: 讯息量首先是讯息多少的量度，然后才是不确定性消除的程度。
: 你用不确定性来说明讯息量大小，
: 基本上是默认了你有一个给定的可能性范围，
: 才能去套/去比较两个讯息量，如何分割那个总量。
: 但日常生活，讲话的过程是在同时给出那个可能性的边界，
: 然后再慢慢透过语法与脉络去排精确意涵。
:
不是
一堆人在这个细节搞这么久
香农信息熵的概念是这样
1. Plamc是人
2. Plamc是男人
3. Plamc是PTT前版主以及作家
当你把plamc当作一个黑盒子
去告诉一个不知道底细的路人
1成立的机率最高
2其次，3最低
所以机率越低的信息量越大，所以叫信息熵
因为如果信息为真
代表你排除了更多的不确定性
H = -k log P
H是信息量 P是成立的机率
也可以写成
H(S) = - pi log(pi)
如果把log底取2就是1 bit 表示法
pi 就是多个陈述语句的机率
这就是ZM要说明的信息量与机率
至于后面的推论对不对是另一回事
前面这种看不懂就会变鸡同鸭讲