统力实在是很奇特的学科 理论的基础有很多流派
最常见的就是 从phase space开始 搭配ergodicity或假设uniform prior
这样就能保证distribution收敛到maximum entropy distribution
此时entropy就会正比于phase space体积or测度 取ln
简化的版本就是大家更耳熟能详的mode counting 排列组合
另一种是Jaynes的那种 一开始就默认maximum Shannon entropy 然后找出符合条件的
maximum entropy distribution 这种方法很简洁易懂 但完全不考虑evolution
没有解释初始分布为何收敛
另外从这些讨论 似乎可以看出 uniform distribution 和 entropy 的关系
在没任何其他条件下 maximum entropy distribution 是 uniform distribution
反过来似乎可以说entropy的形式 本来就是为了 uniform distribution 量身打造的