如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
为什么要学习吴恩达的机器学习？如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
有哪些比较好的机器学习，深度学习的网络资源可利用？
2018年了，MXNet 发展的如何了？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
怎么形象理解embedding这个概念？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
前一个讨论
人是如何做黑盒优化的？
相关的话题
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
transformer中的Q,K,V到底是什么？
如何评价深度学习之父Hinton发布的Capsule论文？
KL散度衡量的是两个概率分布的距离吗？
如何看待在某度搜不到megengine官网？
算法工程师的落地能力具体指的是什么？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
未来20年，新技术将从哪些方面改变人的消费方式？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
深度学习有哪些好玩的案例？
为什么在R语言里多用<-而不是=表示赋值？
分布函数相同，概率密度一定相同吗?
深度学习方面还有什么Open Problem?
如何直观地解释 backpropagation 算法？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如何评价小米开源的移动端深度学习框架MACE？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
神经网络的损失函数为什么是非凸的?
AAAI 2022有哪些值得关注的方向？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
深度学习图像处理什么时候用到GPU？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何评价Hinton组的新工作SimCLR?
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？