最大平均差异（MMD）

        最大平均差异（Maximum Mean Discrepancy, MMD）是一种用于比较两个分布之间差异的统计量。它在机器学习中，特别是无监督学习、生成对抗网络（GANs）和域适应等领域中被广泛应用。MMD的基本思想是利用再生核希尔伯特空间（RKHS）的特性，通过核方法来测量两个分布之间的差异。

MMD的定义

        给定两个样本集 和 ​，它们分别来自两个分布 P 和 Q。MMD 的定义如下：

这里，F 是函数集合，通常选择为再生核希尔伯特空间（RKHS）中的函数集。

通过核方法计算MMD

        利用核方法，可以将上面的公式转化为：

这里，k 是 RKHS 中的核函数。常用的核函数包括高斯核和线性核。

离散样本集上的MMD

        在实际应用中，通常需要在离散的样本集上计算 MMD。对于样本集 和 ​​，MMD 的离散版本计算公式为：

应用

1. 无监督学习和聚类：MMD 可以用来评估不同聚类之间的差异，或者无监督学习方法生成的分布和真实数据分布之间的差异。

2. 生成对抗网络（GANs）：在GAN中，MMD可以作为一种衡量生成器输出分布与真实数据分布之间差异的度量标准，从而指导生成器的训练。

3. 域适应：在域适应问题中，MMD 被用来最小化源域和目标域之间的分布差异，以便训练在源域上训练的模型可以更好地适应目标域。

优点和局限性

优点：

• MMD 是一种非参数方法，不依赖于具体的分布形式。
• 利用核方法，MMD 能够捕捉高维空间中的复杂分布差异。

局限性：

• MMD 的计算复杂度较高，尤其是在样本数量很大时。
• 选择合适的核函数和核参数对于效果的影响较大。

        总之，MMD 是一种强大的工具，用于衡量两个分布之间的差异，在机器学习的许多领域有着广泛的应用。

统计知识（一）MMD Maximum Mean Discrepancy 最大均值差异 - 知乎本文的行文思路是1. 随机变量的矩是什么 2. 如何衡量两个随机变量的差异 3.如何表示一个变量的任意阶矩 4.对MMD进行数学上的化简 5.代码实现这是我在CSDN上写的一个博客，改了改放到这里了。 1. 怎么描述一个随机…https://zhuanlan.zhihu.com/p/163839117 MMD ：maximum mean discrepancy(最大平均差异)_最大均质差异mmd-CSDN博客文章浏览阅读2.2w次，点赞15次，收藏54次。MMD：maximum mean discrepancy。最大平均差异。最先提出的时候用于双样本的检测（two-sample test）问题，用于判断两个分布p和q是否相同。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，如果两个分布生成的足够多的样本在f上的对应的像的均值都相等，那么那么可以认为这两个分布是同一个分布。现在一般用于度量两个分布之间的相似性。在[1]中从任意空间到R_最大均质差异mmdhttps://blog.csdn.net/xiaocong1990/article/details/72051375