信息熵

「信息熵」是描述物体无序性的参数，熵越大则无序性越强。在信息领域定义为熵越大，不确定性越大。设 为一个离散随机变量，概率分布为 ，则该随机变量的熵为

注意，当 时，令 。

信息熵在决策树领域有应用