如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
AI领域的灌水之风如何破局？机器学习算法工程师如何自己接项目单干、并赚取比上班多得多的收入？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
Jacobian矩阵和Hessian矩阵的作用是什么？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
联邦学习在机器学习领域有什么独立存在的价值?
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
前一个讨论
人是如何做黑盒优化的？
相关的话题
如何评价余凯创立的horizon robotics？如何评价深度学习之父Hinton发布的Capsule论文？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
如何理解attention中的Q,K,V？
怎样让机器有意识?
怎样让机器有意识?
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
能分享你收藏的国外AI talk, seminar平台或网站吗？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
如何评价AWS的图神经网络框架DGL？
2020到2021年小样本学习取得重大进展了吗？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
神经网络，人工智能这块怎么入门？
2021年，ncnn发展的如何了？
FPGA做深度学习能走多远？
什么叫做泛函空间的大数定律？
如何评价李飞飞和李佳加盟谷歌？
为什么学习深度学习感觉无法入门？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
深度学习图像处理什么时候用到GPU？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
计算机技术的进步与模拟运算，在未来真的可以解决磁约束核聚变技术中所有关键问题吗？
神经网络中的能量函数是如何定义的？
联邦学习在机器学习领域有什么独立存在的价值?
熵权法确定权重的原理是不是因为它仅依赖于数据本身的离散性?
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
能否使用神经网络来判断奇偶数？