如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？机器学习中的PR曲线一定会过（1，0）这个点吗？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
为什么计算机科学专业背景的人喜欢黑机器学习？
国内做NLP业务的香侬科技值得去吗？
相比于时下流行的机器学习方法（联接主义），传统的人工智能方法（符号主义）有什么独一无二的优势？
百度学术能否替代 Google 学术网站？有没有其他选择？
熵权法确定权重的原理是不是因为它仅依赖于数据本身的离散性?
神经网络的损失函数为什么是非凸的?
如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？
前一个讨论
人是如何做黑盒优化的？
相关的话题
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？在优化问题里，强化学习相比启发式搜索算法有什么好处？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
2019年CVPR有哪些糟糕的论文?
小样本学习中关于虚拟样本有效性的问题？
消融实验是什么？
深度学习如何入门？
2021年深度学习在哪些应用上有实质进展？
2019年NeurIPS有哪些糟糕的论文？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何评价谷歌刚推出的Cloud AutoML？
如何看待亚马逊的无人超市产品 Amazon Go?
mxnet的并行计算为什么这么牛，是什么原理？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
如何将某个分布作为机器学习的特征？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
在机器学习中，L2正则化为什么能够缓过拟合？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
是否有可能使用人工智能在高原、戈壁和沙漠中进行工业生产？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
xgboost原理？
支持向量机（SVM）是什么意思？
计算机视觉有多少分支？
如何看待 Larrabee 之父 Tom Forsyth 重加入 Intel？英特尔为何下注独立显卡？
算法工程师是否应该持续读论文？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
人工智能就业前景越来越严峻了，你还在坚持吗？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？