信息的应用首先考虑样本总体2个“交往”的样本中，最终的分类结果有6个“是”，6个情况“否”。其信息炳为：H(D)p(d;) log2 p(di)i=1111* log2 2*log22=2O
信息熵的应用 2个“交往”的样本中，最终的分类结果有6个“是” ，6个 “否”。其信息熵为： 𝐻 𝐷 = − 𝑖=1 𝑛 𝑝 𝑑𝑖 log2 𝑝 𝑑𝑖 = −( 1 2 ∗ log2 1 2 + 1 2 ∗ log2 1 2 )=1 首先考虑 样本总体 情况
信息的应用如果用职业作为分类另一方面，如果使用标准【外型】作为分类标准该属性的值为“好/较好”8个“帅”的样本中，有5个结的男生在[交往？]中都取论是“否”，有3个是“是”4个“不帅”的样本中，有1个得了“是”的结果。也就意味着，按照该标准划分结论是“否”，有3个是“是”。显然，使用[外型)作对于“好/较好”的样本，为分类标准，需要其他额外信不需要再有额外的信息，我们就能得到“交往”的息，才能确定某个样本的分类分类结果。结果
信息熵的应用 8个“帅”的样本中，有5个结 论是“否”，有3个是“是”； 4个“不帅”的样本中，有1个 结论是“否”，有3个是 “是”。显然，使用{外型}作 为分类标准，需要其他额外信 息，才能确定某个样本的分类 结果。 该属性的值为“好/较好” 的男生在{交往？}中都取 得了“是”的结果。也就 意味着，按照该标准划分， 对于“好/较好”的样本， 不需要再有额外的信息， 我们就能得到“交往”的 分类结果。 如果用{职业}作为分类 标准 另一方面，如果使用 {外型}作为分类标准
信息的应用考虑条件摘它表示在已知随机变量X的条件下随机变量Y的不确定性，随机变量X给定的条件下随机变量Y的条件熵（ConditionalEntropy）。H(Y|X)其数学定义H(YIX) =p(x)H(YIX = x)公式为XEX
信息熵的应用 𝐻 𝑌 𝑋 = 𝑥∈𝑋 𝑝 𝑥 𝐻(𝑌|𝑋 = 𝑥) 它表示在已知随机变量X的条件下随机变量Y的不确定性，随机变量X给 定的条件下随机变量Y的条件熵（Conditional Entropy）。 考虑条件熵 H(Y|X) 其数学定义 公式为
信息炳的应用Y=【是，否]，知道了男生的职业信息X，有3个可能取值X=[一般，较好，好]。那么序号（1，2，3，5，6，11，12)样本的职业为“一般”，“交往”为“是”的个数为1个“否”的个数为6个；序号为8，9样本的职业为“较好”，“交往”为“是”的个数为2个，“否”的个数为0个；序号为（4，7，10)样本的职业为“好”，“交往”为“是”的个数为3个，“否”的个数为0个根据这些数据，三个属性对应的信息炳分别为：16H(YIX="一般")-p(x)log2p(x) = -0.4585*1092元+元**02H(YIX="较好")=->p(x)log2p(x)=-(1*log21+0)=0E7H(YIX="好")=p(x)log2p(x)=(1*log21+0)=0o
信息熵的应用 Y={是，否}，知道了男生的职业信息X，有3个可能取值X={一般，较好，好}。 根据这些数据，三个属性对应的信息熵分别为： • 那么序号{1，2，3，5，6，11，12}样本的职业为“一般”，“交往”为“是”的个数为1个， “否”的个数为6个； • 序号为{8，9}样本的职业为“较好”，“交往”为“是”的个数为2个，“否”的个数为0个； • 序号为{4，7，10}样本的职业为“好”，“交往”为“是”的个数为3个，“否”的个数为0个
信息的应用另外，三个属性对应发生的概率分别为般：7/12=0.5833较好：2/12=0.1667好：3/12=0.25于是，当知道了“职业”这一信息时，对应的条件炳为：H(YIX) = p(x)H(YIX = x) = 0.4585 * 0.5833 + 0 + 0 = 0.2674xEX
信息熵的应用 另外，三个属性对应发生的概率分别为 于是，当知道了“职业”这一信息时，对应的条件熵为： • 一般：7/12 = 0.5833 • 较好：2/12 =0.1667 • 好： 3/12 =0.25