机器学习中决策树的KL散度概念 习

kl 散度，也称为 kullback-leibler 散度，是衡量两个概率分布彼此差异程度的指标。 在决策树的上下文中，kl 散度通常用作选择在特定节点处拆分的最佳属性的标准。

其基本思想是计算满足特定属性值测试示例的目标变量（例如，类标签）的概率分布与整个数据集的目标变量的总体概率分布之间的 kl 散度。 选择使 kl 散度最小化的属性作为节点的条件。

直观地说，kl 散度衡量我们通过分割特定属性获得多少“惊喜”或“信息增益”。 如果概率分布非常相似，则 kl 散度将很小，这表明我们通过分割属性没有获得太多信息。 另一方面，如果概率分布相差很大，那么 kl 背离会很大，这表明我们通过对这个属性做 ** 获得了很多信息。

总之，kl 散度是选择决策树中分割的最佳属性的有用工具，因为它考虑了信息增益和结果树的复杂性。