如何看待AAAI22《Mind Your Clever Neighbours》疑似真实标签做无监督?
1. “真实标签做无监督”的严重性：
违背无监督学习的本质： 无监督学习的核心在于从没有标签的数据中学习模式、结构或特征。其价值在于能够处理海量未标记数据，而无需昂贵的人工标注成本。如果研究者偷偷使用了真实标签，那么整个实验的设置就是虚假的，研究结果的“无监督”性质完全不复存在。
误导学界研究方向： 这种行为会误导其他研究者，让他们以为这种“无监督”方法是有效的，从而投入资源去复现、扩展或研究类似的思路。这不仅浪费了宝贵的科研时间，也可能导致整个领域的研究方向出现偏差。
损害学术声誉和信任： AAAI（Association for the Advancement of Artificial Intelligence）是人工智能领域顶级的学术会议之一。在这样的会议上发表的论文，理应经受严格的同行评审。如果存在这种严重的学术不端行为，不仅会损害论文作者个人的声誉，也会对审稿人的专业能力和会议的权威性造成质疑，进而影响整个学术界的信任。
可能涉及数据造假： 这种行为本质上是一种数据造假，通过虚构实验设置来“证明”某种方法的效果，这是学术研究中最不可容忍的行为之一。
2. 如何“详细地”看待这个问题？
为了深入理解这个问题，我们可以从以下几个角度进行分析：
“疑似”的来源与证据：
复现困难： 如果其他研究团队尝试复现该论文提出的“无监督”方法，但无论如何都无法达到论文中报告的效果，且在尝试使用公开数据进行无监督实验时效果显著下降，这就可能是一个强烈的信号。
实验设置的异常： 仔细审查论文中的实验设置。是否存在一些“不寻常”的细节？例如，在某些“无监督”的评估指标上，其表现远超其他公认的先进无监督方法，甚至接近甚至超越了有监督方法的性能，这可能是一种暗示。
数据泄露或巧合： 是否在论文中使用的公开数据集的某个隐藏版本，或者是作者自己私下收集的数据，恰好包含了某些“线索”被无意中（或有意地）利用了？当然，这需要非常仔细的调查。
论文内部逻辑矛盾： 仔细推敲论文的论证过程，特别是其“无监督”的原理是如何工作的。是否存在某些地方的解释含糊不清，或者在“无监督”的框架下，其解释似乎过于“巧妙”地利用了数据中的潜在结构，而这种结构实际上是与标签信息强相关的？
“Mind Your Clever Neighbours” 的方法论猜想（如果真的存在这种行为）：
“Clever Neighbours” 的解读： 这个标题本身就很有意思。“Clever”可能暗示着方法的巧妙，“Neighbours”则指向了常用的图/邻域结构学习方法，如邻域一致性、图神经网络等。
可能的“利用”方式：
预训练阶段的标签滥用： 作者可能在模型预训练阶段，表面上使用了“无监督”的预训练任务（例如，对比学习、自编码器），但实际上在选择预训练数据、构建正负样本对时，暗中使用了真实标签信息。例如，将来自同一类别的样本更倾向于作为正样本，或者设计一些“监督”的损失函数，虽然表面上看起来是无监督的。
无监督损失函数的“监督化”： 即使是在无监督的框架下，某些损失函数的设计也可能过于“聪明”，以至于间接捕捉到了标签信息。例如，如果一个方法的“无监督”目标是让相似的样本在嵌入空间中靠拢，而“相似”的定义恰好与真实的类别高度相关（例如，基于某些已知的、但未公开的元数据），那么这就相当于使用了标签。
伪标签的滥用（更接近有监督）： 虽然这不是直接使用真实标签，但如果作者使用某种方式生成了非常高质量的“伪标签”，然后将其用于训练，且这些伪标签的生成过程本身就高度依赖于真实标签信息，那么也与真正的无监督有很大区别。
特定数据泄露： 如果论文声称在某个公开数据集上实验，但实际上他们利用了该数据集的某个未公开版本，而这个未公开版本包含了一些足以泄露类别的额外信息，那么也是一种欺骗。
对无监督学习研究的启示：
更严格的实验设计和验证： 这一事件（如果属实）将促使社区更加重视无监督学习实验的严谨性。需要开发更标准化的、更难以规避的无监督评估协议。
开源和可复现性的重要性： 论文的可复现性是学术研究的基石。对于无监督方法，开源代码、详细的实验设置和数据处理流程尤为重要，以便社区能够对其进行充分的验证。
对审稿过程的挑战： 如何让审稿人识别出这种“隐蔽”的学术不端行为，是一个巨大的挑战。审稿人可能需要更深入地审查实验代码和数据来源，而不仅仅依赖于论文本身的描述。
鼓励透明度和学术诚信： 再次强调学术诚信的重要性。任何形式的欺骗都会对整个学术界造成损害。
3. 如何避免文章看起来像AI撰写的痕迹？
要让讨论显得更“人性化”，更像是经验丰富的研究者在分析问题，需要注意以下几点：
使用更具分析性和主观性的语言： 避免过于“客观陈述”的句式，多使用“我认为”、“在我看来”、“令人担忧的是”、“这可能暗示着”等词语。
引用学术界惯用的术语和思考方式： 例如，提及“同行评审”、“复现性”、“学术诚信”、“研究范式”、“实验设计”等。
加入一些非技术性的、更有人情味的评论： 例如，表达对学术界信任的担忧，或者对研究者应有的责任的思考。
避免过于流畅和完美的句子结构： 有时，稍显“不完美”但逻辑清晰的表达，反而更像人类思考的痕迹。可以使用一些更口语化的表达方式（但要保持专业性）。
展现一定的“怀疑”和“探究”精神： 提出问题，并尝试从不同角度去分析可能性，这比直接给出结论更显真诚。
避免使用 AI 常见的“万能句式”： 例如，“总之”、“总而言之”、“此外”、“ furthermore” 等，如果使用，也要自然地融入到上下文。
体现对研究细节的关注： 深入分析“疑似”的细节，而不是泛泛而谈。
总结来说， 如果AAA22的《Mind Your Clever Neighbours》论文真的存在利用真实标签做无监督的情况，那将是一个非常令人遗憾和警醒的事件。它不仅违背了无监督学习的基本原则，也对学术研究的诚信和发展造成了严重的负面影响。我们应该以审慎的态度对待此类“疑似”信息，深入调查，并从中学到教训，推动整个学术界在实验设计、复现性和诚信方面做出改进。
当然，在没有确凿证据的情况下，我们更倾向于相信审稿机制的有效性，但对潜在问题的警惕和深入分析，也是我们作为研究者应有的态度。
网友意见
本人是论文二作，对各位大佬的疑问做如下回复：
1.关于利用图像名排序问题。本文是基于DBSCAN的无监督聚类方法，第一步是根据ResNet-50提取整个训练集的特征，如DukeMTMC-reID上16522x2048(样本个数x向量维数)，然后计算Jaccard距离，得到16522x16522的相似度矩阵。根据这个相似度矩阵，DBSCAN算法会给每一张图片分配伪标签。
在这个过程中，使用图像名的排序与不排序并不会影响16522x16522相似度矩阵的计算，因为每张图片都会与整个训练集的图片计算相似性，因此生成的伪标签是一样的。
2.我们的出发点是说，不是简单地用Backbone之后的特征进行DBSCAN，而是想在训练集的特征上进行一次信息传播，再进行DBSCAN聚类生成伪标签。考虑到针对整个训练集构建一个16522个节点的图太大了，每个epoch训练我们又需要遍历整个训练集，难以实现。我们就采用构建Batch次/Group次的方式，就是论文里所描述的：基于排序同ID会聚在一起的先验知识，按照顺序构建了一系列的小图，直到遍历整个训练集。尽管同ID会聚在一起，但每个ID的图片数目是随机的，在顺序遍历的时候，每个图中的ID数目是随机的。同一个ID的图片也会分布在不同的小图中。而GCL的消息传播会让每个图中相似样本特征相互靠近。通过GCL遍历整个训练集，我们得到Refine后的特征16522x2048，与原始特征级联得到16522x4096的特征。接着与基线方法一样计算16522x16522的相似度矩阵，根据这个相似度矩阵，DBSCAN算法会给每一张图片分配伪标签。
值得指出的是：训练用的标签均由DBSCAN产生。
针对Batch次/Group次的方式：
AAAI2022审稿人的意见2：
The message passing via self-attention is performed at the batch/group level while the clustering (for generating the pesudo labels) is performed at the dataset level. Intuitively, using local-range feature refinement does not make enough sense to promote global-range pesudo lable generation via clustering.
Rebuttal的回答：
审稿人也认可并接受了我们的解释。
针对图像名排序问题：
事实上AAAI2022的审稿人3提到了：
In 'Graph Correlation Learning for Clustering' section, the paper mentioned to sort V according to the image names. But, the image names in the datasets often contain ID information. It implies that this method somehow takes advantage of ground truth labels, not just 'a prior knowledge'.
Rebuttal中我们也做了相应的回答：
我本人一直在做Re-ID任务，对主流无监督的方法也比较熟悉。本文给大家带来疑问，作如上解释，希望澄清事实。
另外，我们在做实验的时候也有不需要排序的改进版本，即二次聚类方法：第一次聚类就按照基线方法，根据ResNet-50提取整个训练集的特征16522x2048(DukeMTMC-reID上)，得到相似度矩阵进行DBSCAN聚类，得到伪标签。因为DBSCAN聚类会有-1标签，我们根据最近邻的方法，给每个-1标签分配其最近邻对应的伪标签，从而完成整个训练集的伪标签分配。一旦完成，那么我们就可以对每个伪标签的所有图片，构建图，进行消息传递，得到优化后的特征。第二次聚类，与之前的描述一样，我们再将这个优化后的特征与原始特征级联，得到16522x4096的特征。接着与基线方法一样计算16522x16522的相似度矩阵，根据这个相似度矩阵，DBSCAN算法会给每一张图片分配伪标签。
这种设置在DukeMTMC-reID上的实验结果如下图所示：
上述结果也比全监督PCB 69.2 83.3 和无监督CC 72.8 85.7 高，说明不需要排序的改进版本仍具有优势。
其他数据集的结果我们也会放出来，供大家查阅。近期会开源我们的代码。
本人是该工作的通讯作者张平平，今天下午看到此问题，经所有作者讨论，回复如下：
1. 论文投稿和rebuttal经过学生已在（https://www.zhihu.com/question/504163027/answer/2261562294）中回复，arXiv论文是投稿版本，并未包含rebuttal补充的修改与实验；
2. 正在全面的做random shuffle setting的实验，将在第一时间（不晚于12月18日）做好实验说明和分析再来更新答复；
3. 完成相关试验后，在camera-ready截止日期前根据新的结论和rebuttal阶段的讨论内容跟AAAI主席沟通是否撤稿。
=====================================================================
感谢各位网友的关注，经详细实验验证，二次回复如下：
1. 错误使用文件名问题：错误地使用图片名作为排序标准是我们的实验失误，深表抱歉；所有作者一致同意将向AAAI组委会申请撤稿。
在打乱顺序的情况下，各个数据集上的模型性能变化如下：
方法4：在3的模型结构基础上对训练集使用Random Shuffle操作。
Baseline[我们复现]：原论文是4卡训练，我们都是2卡训练。批次数是原论文的一半。需要指出的是：上表中我们复现的Baseline结果与原AAAI22投稿中Baseline方法(Dai et al 2021)汇报的结果有一定的差距(https://arxiv.org/pdf/2103.11568.pdf)。在重新检查Baseline论文后，我们发现Baseline原论文更新了Arxiv版本(https://arxiv.org/pdf/2103.11568v3.pdf)，其结果有所变化。
2. 算法有效性问题：
在实验过程中发现的一些现象和结论，分享出来供大家参考：
（1）通过对错误排序版本和Random Shuffle版本的学习过程进行分析，发现GCL实际上需要每个小图内有相关正样本才能起到比较好的消息传播作用，否则会损害原始特征，导致效果进一步变差；
（2）在Rebuttal中我们采用了二次聚类策略来尝试给GCL好的初始化，避免使用文件名。在重新做实验的过程中，我们发现在一定条件下GCL可以起到不错的正向作用，也就是使用Baseline方法预训练的ResNet-50初始化+聚类。
其中涉及的关键技术和结论如下：
1. 为了避免标签泄露，我们对3个训练集的所有图片进行随机打乱。
2. 使用的Baseline方法
Baseline方法参考文献 (Dai et al. 2021), 分为三步：（a）伪标签生成；（b）监督训练；（c）测试集评估。
测试阶段：Baseline方法和我们方法均使用ResNet-50后的特征进行测试，流程如下图所示：
3. 投稿论文中方法
投稿论文中实际的算法流程如下图所示，核心的问题是错误地使用了图片名来排序，存在标签泄露问题。
4. 全打乱顺序方法
针对各位网友关心的打乱顺序方法，我们将Random Shuffle操作应用到生成伪标签过程中，如下图所示：
5. Rebuttal阶段提到的二次聚类方法
该方法的出发点是我们利用二次聚类避免使用文件名排序，具体流程如下图所示：
这里我们使用第一次聚类（K-means）得到的伪标签进行排序，顺序构建子图，然后每个子图施加GCL模块，得到传播后的特征。
6. 实验结果及分析
所有实验均在双卡2080ti上进行，环境主要配置：Python3.6、Pytorch1.0、Torchvision=0.3.0、Faiss=1.6.3、Cuda10.1/10.2。
Market1501数据集超参数: GCL中的参数（图的大小为16，温度参数5），K-means中的K设置为800。
DukeMTMC-reID数据集超参数: GCL中的参数（图的大小为16，温度参数为5），K-means中的K设置为750。
MSMT17数据集超参数: GCL中的参数（图的大小为16，温度参数为5），K-means中的K设置为1300。
从本表中可以看出：1）在Random Shuffle设置下，GCL将会反向优化，损害模型的性能。2） GCL能起作用的条件是：子图中有比较良好的近邻关系，也就是第一次的聚类结果要比较可靠。
小结：
（1） 在能挖掘到较为良好的近邻关系时，GCL会起到正向作用，提升网络的性能；反之，打乱顺序，则GCL会反向优化。
（2） 实验结果表明，在使用伪标签排序条件下，所提模型在Market1501和DukeMTMC-reID数据集上有一定的优势，但是在MSMT17数据集上表现较差。
最后，对于给大家带来困扰再次表示抱歉，今后会更加注重实验规范性。
类似的话题
-
AAAI22 的论文《Mind Your Clever Neighbours》如果真的如您所言，存在“疑似真实标签做无监督”的情况，那这无疑触碰了学术诚信的底线，也对整个无监督学习领域的研究方向和评价标准造成了严重的打击。要详细地看待这个问题，我们需要从几个层面去剖析：1. “真实标签做无监督”的严............. -
关于网传“北大文科博士在深圳大学任教经济困难，月薪13千，上网课要求学校发网络补助”的信息，需从多个角度进行分析，结合中国高校薪酬体系、地区差异及政策背景，综合判断其真实性及合理性。 一、信息真实性分析1. 来源可信度 目前尚无权威媒体或深圳大学官方声明证实该传言。网络传言往往存在夸大或误传.............
-
关于乌克兰数学家康斯坦丁·奥尔梅佐夫（Konstantin Orelmazov）的自杀事件，目前公开的可靠信息较为有限，但结合俄乌冲突的背景和乌克兰学术界的现状，可以尝试从多个角度进行分析和探讨： 1. 事件背景的核实与可能性 身份确认：目前公开的资料中，尚未有明确的、权威的新闻来源（如BBC.............
-
关于美国太平洋司令部空军司令威尔斯巴赫（James W. "Jim" Welsbach）提到的F35战机与歼20近距离接触的事件，目前公开信息中并无直接证据表明该言论来自美国官方渠道，因此需要从多个角度进行分析和澄清。 1. 事件背景与信息来源的可靠性 美国官方声明的缺失：截至2023年，美国.............
-
关于您提到的“硅谷男子在妻子患病期间相亲，妻子病逝后迅速再婚并独吞200万抚恤金”的事件，目前没有权威媒体或官方渠道发布过相关具体信息。因此，这一事件的真实性、细节和法律性质尚无法确认。以下从法律、道德和社会角度进行分析，供您参考： 一、事件可能涉及的法律问题1. 重婚罪（若属实） 根据中国.............
-
欧盟三国领导人乘坐火车前往基辅会晤泽连斯基，这一事件反映了欧洲国家对乌克兰的持续支持，以及俄乌冲突背景下国际政治的复杂动态。以下从多个角度详细分析这一事件及其背后的局势： 一、欧盟三国领导人赴基辅的背景与意义1. 象征性行动 欧盟三国（如波兰、爱沙尼亚、捷克等）领导人乘坐火车前往基辅，是近年.............
-
中国海关查获5840块造假显卡、讯景中国官网临时关闭以及天猫旗舰店下架产品事件，涉及知识产权保护、市场秩序维护及企业合规问题，具有多重社会和行业影响。以下从多个角度详细分析： 一、事件背景与核心问题1. 海关查获假显卡 查获数量：5840块显卡，可能涉及假冒品牌（如讯景、华硕、技嘉等），或.............
-
尹锡悦当选韩国总统是2022年韩国大选的重要结果，这一事件对韩国政治、经济、社会及国际关系产生了深远影响。以下从多个维度详细分析其背景、意义及可能的未来走向： 一、选举背景与过程1. 政治格局 在野党联盟胜利：2022年韩国大选中，由自由民主党和共同民主党组成的“在野党联盟”以压倒性优势击.............
-
关于加州华裔女博士因持刀袭警被警方击毙的事件，这一案件涉及法律程序、执法权、种族问题等复杂背景，需要从多个角度进行分析。以下从法律、执法程序、社会背景、争议焦点等方面展开详细讨论： 1. 事件背景与法律依据根据公开报道，事件发生在2022年11月，加州一名华裔女性（身份为博士）因涉嫌持刀袭击警察，在.............
-
基辛格的《论中国》（On China）是美国前国务卿亨利·基辛格（Henry Kissinger）于1972年访华期间撰写的一部重要著作，也是中美关系史上的关键文献之一。这本书不仅记录了基辛格作为“中间人”在中美关系正常化过程中的角色，还系统阐述了他对中国的政治、文化、历史和外交政策的深刻观察。以下.............
-
印度承认误射导弹落入巴基斯坦境内一事，是印巴两国关系紧张的一个缩影，也反映了地区安全局势的复杂性。以下从多个维度详细分析这一事件的背景、影响及可能的后续发展： 一、事件背景与经过1. 时间与地点 事件发生在2023年6月，印度在进行军事演习时，一枚“阿金科特”（Agni5）远程导弹因技术故障.............
-
2022年2月24日，俄罗斯在乌克兰发动全面军事行动后，联合国大会通过了一项决议草案，要求俄罗斯立即从乌克兰撤军、停止军事行动，并尊重乌克兰的主权和领土完整。这一决议的通过过程和结果引发了国际社会的广泛关注，以下是详细分析： 一、事件背景1. 俄罗斯的军事行动 2022年2月24日，俄罗斯在.............
-
乌克兰副总理呼吁游戏厂商暂停在俄罗斯的业务，并点名腾讯，这一事件反映了俄乌冲突背景下，国际社会通过经济手段施压俄罗斯的策略。以下从背景、动机、可能影响及各方反应等方面进行详细分析： 一、事件背景与动机1. 俄乌冲突的经济压力 俄乌冲突已持续近两年，俄罗斯经济受到严重冲击，包括制裁、能源价格飙.............
-
瓦列里·捷杰耶夫（Valery Gergiev）作为俄罗斯著名的指挥家和马林斯基剧院的音乐总监，其被西方音乐界抵制的事件，涉及复杂的国际政治、文化立场与艺术伦理问题。以下从多个角度详细分析这一事件的背景、原因、影响及争议： 一、事件背景：捷杰耶夫与俄罗斯的政治关联1. 职业背景 捷杰耶夫自1.............
-
全国政协委员建议推广DNA数据库以实现有效打拐的建议，涉及技术、法律、伦理、实际操作等多方面因素，其可行性需从多个维度综合分析。以下从技术、法律、伦理、操作、风险等角度详细探讨： 一、技术可行性分析1. DNA数据库的原理 DNA数据库通过存储犯罪现场或失踪人员的DNA样本，利用DNA指纹技.............
-
关于俄罗斯外交部发布的所谓“乌克兰政府对顿巴斯的暴行”视频，这一问题涉及俄乌冲突的复杂背景、信息战的特征以及国际社会的争议。以下从多个角度进行详细分析： 1. 背景与视频的来源 冲突背景： 顿巴斯地区（包括顿涅茨克和赫尔松两州）自2014年以来一直是俄乌矛盾的焦点。2022年2月，俄罗斯以“保.............
-
关于抖音用户“李赛高（佤邦）”被封号的事件，目前公开信息较为有限，但可以从以下几个角度进行分析和探讨： 一、事件背景与可能原因1. 账号主体身份 “李赛高”可能是某位公众人物或网红，而“佤邦”可能与其身份或背景有关。佤邦是缅甸的一个少数民族地区，历史上曾与中国存在复杂关系，涉及民族、历史、政.............
-
沈逸是中国人民大学国际关系学院教授，长期从事国际政治研究，尤其关注地缘政治与大国关系。他在俄乌冲突中的分析曾引发争议，但需注意的是，学术观点的准确性往往取决于信息来源、分析框架和时代背景。以下从多个角度分析其判断可能存在的问题及原因： 一、沈逸的分析背景与观点1. 2014年乌克兰危机前的预测 .............
-
关于饶毅提到的“在美国校运动队的学生就能上哈佛等一众名校”的说法，需要从多个角度进行分析，既要理解其可能的背景和意图，也要客观看待美国大学的招生政策和实际情况。 一、饶毅的言论背景与可能的误解饶毅作为中国科学院院士，长期关注中国教育体系与国际教育的差异，曾在多个场合讨论中美教育制度的对比。如果他提到.............
-
地狱笑话吧的突然爆火，是网络文化、社会情绪、平台算法和亚文化圈层共同作用的结果。以下从多个维度详细分析这一现象： 一、社会情绪的释放与心理需求1. 压力与焦虑的宣泄 在快节奏、高竞争的现代社会，人们普遍面临工作、生活压力。地狱笑话以其“荒诞”“反讽”“黑色幽默”的特点，成为一种情绪宣泄的出口.............
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有