Claude Shannon创建的信息熵理论

信息熵的计算公式与意义

将信息的价值与信息中内容的发生概率联系起来。

假设$E$代表信息的信息熵，$p$代表事件发生的概率。

认为必然事件和不可能事件没有信息价值。${p=1,E=0$ $p=0,E=0}$

其他信息的信息熵与其概率关系满足下式： \(E = -\log_2p\)

用途

• 在分类问题中。变化前后的信息熵差值可以代表信息在变化后的增益程度，即信息增益(Entropy Gain)。可以用作决策树(Decision Tree)的分类依据。

• 在评价问题中。熵权法的可以作为综合评价指标的度量方法。公式如下： \(H(X) = - \ln \frac{1}{n} \sum\limits_{i=1}^q p(x_i)\ln p(x_i)\)