目录 一、说明 二、什么是信息论? 2.1 信息论中的关键概念 2.2 熵与信息 2.3 相互信息 2.4 Kullback-Leibler 背离 三、信息论在机器学习中的应用 3.1 功能选择: 3.2 计算边际概率分布 3.3 决策树:Information 增益 3.4 评估具有 KL 背离的概率模型: 四、神经网络:交叉熵损失 一、说明