如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
如何评价微软亚洲研究院提出的LightRNN？如何看待 Nervana 被 Intel 收购？
正负样本极不平衡的问题？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
2020到2021年小样本学习取得重大进展了吗？
机器学习里面的流形都是怎么用的？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
前一个讨论
人是如何做黑盒优化的？
相关的话题
如何评价最新的Octave Convolution？计算机视觉是否已经发展到可以自动识别车牌并扣费的程度？
机器学习的理论方向 PhD 是否真的会接触那么多现代数学（黎曼几何、代数拓扑之类）？
如何用自然语言处理判断一句话是否符合中文口语习惯？
2021年人工智能领域有哪些关键性进展和突破？
如何理解attention中的Q,K,V？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
5-10年后，你觉得哪些科技会让我们“遗忘”现在的生活？
如何用最简单的语言统一描述多元函数求导（对向量求导、对矩阵求导等）？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
基于深度卷积神经网络进行人脸识别的原理是什么？
从算法的角度来看，Elsagate 事件暴露出了「自动推荐」的哪些问题，该如何规避？
计算机技术的进步与模拟运算，在未来真的可以解决磁约束核聚变技术中所有关键问题吗？
在哪里能找到各行业的分析研究报告？
有什么算法能对一个长短不一的时间序列进行分类预测?
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
985工科研一觉得快要退学了怎么办？
Batch normalization和Instance normalization的对比？
如何直观地解释 backpropagation 算法？
Dirichlet Processes 是一个什么样的随机过程？
如何评价1700亿参数的GPT-3？
迁移学习与fine-tuning有什么区别？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如果不按套路下棋是不是就能赢 Alpha Go 了？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？