如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
计算机视觉顶尖期刊和会议有哪些？怎么形象理解embedding这个概念？
贝叶斯深度学习是什么，和传统神经网络有何不同？
MPI 在大规模机器学习领域的前景如何？
在数据分析、挖掘方面，有哪些好书值得推荐？
2021年人工智能领域有哪些关键性进展和突破？
深度学习中有哪些数据增强方法？
人工智能 CV 岗位是不是现在供严重大于需？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何评价谷歌大脑的EfficientNet？
前一个讨论
人是如何做黑盒优化的？
相关的话题
注意力机制是如何学习到模型所应注意的区域的？三维重建怎么入门？
如何评价论文「Stochastic Training is Not Necessary ...」?
如何开发一个自己的 TensorFlow？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
西交利物浦大学（英国利物浦大学博士学位）全奖博士?
如果用机器学习的理论来理解人的行为，会有什么发现？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何看待swin transformer成为ICCV2021的 best paper？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
有哪些贝叶斯推理入门的书籍？
国内有哪些不错的CV(计算机视觉)团队?
如何全面理解工程师红利？
未来 3~5 年内，哪个方向的机器学习人才最紧缺？
机器学习中如何识别图片中的手是手背还是手心？
深度学习中Attention与全连接层的区别何在？
关于材料计算，模拟，仿真什么区别?
基于大数据的个人信用体系有没有可能被滥用？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
adversarial training为什么会起作用？
多模态方面，有哪些牛组值得我们follow他们的工作？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
ICLR 2019 有什么值得关注的亮点？
人工智能和自动控制能在一起擦出什么样的火花？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?