# Ignorance 还是 Entropy? 这两个概念密切相关,但侧重点不同: ## Entropy(熵) **信息论中的标准术语**,由 Shannon 提出,是一个**精确的数学量**: $$H(X) = -\sum_i p(x_i) \log p(x_i)$$ - 度量随机变量的**不确定性**或**平均信息量** - 是分布本身的客观属性 - 用于编码理论、机器学习、热力学等