如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
Resnet是否只是一个深度学习的trick？如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
国内目前的量化交易是否很少涉及到机器学习？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
为什么 Non-Convex Optimization 受到了越来越大的关注？
人工智能就业前景越来越严峻了，你还在坚持吗？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
请问刘知远老师提供的网易新闻标注数据集开源吗？
前一个讨论
人是如何做黑盒优化的？
相关的话题
如何看待多所 985 大学开设人工智能专业？能识别情绪的机器人可以算做有情感的机器人吗？
CVPR 2019 有哪些值得关注的亮点？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
能否使用区块链的算力来解决深度学习训练？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
深度学习中，模型大了好还是小了好呢？
深度学习做股票预测靠谱吗？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
DL/ML 模型如何部署到生产环境中？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
让人工智能去下路边街头的象棋残局会赢吗？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何看待旷视科技新产品监视学生上课？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
2019年NeurIPS有哪些糟糕的论文？
因果推断（causal inference）是回归（regression）问题的一种特例吗？
为什么做机器学习的很少使用假设检验？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
三维重建 3D reconstruction 有哪些实用算法？
为什么要压缩模型，而不是直接训练一个小的CNN？
为什么现在很多人不看好商汤科技？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
神经网络为什么可以（理论上）拟合任何函数？
Graph Attention Network的本质是什么？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？