百科问答小站 logo
百科问答小站 font logo



人是如何做黑盒优化的? 第1页

  

user avatar   lokinko 网友的相关建议: 
      

简单介绍一篇最近看过的通过梯度盗取用户训练数据的文章吧

《Deep Leakage from Gradient》

在联邦学习中,每个用户在本地上传梯度或者模型参数,通过一个 Server 端对模型进行更新,那么就有人研究能不能通过人工智能模型这个黑盒以及梯度信息,从中盗用可用的用户数据呢?

通过本地不断生成样本,比较本地梯度和他人梯度的差距作为loss,将loss最小化使得生成的数据越来越靠近他人用户的数据,最终实现数据的窃取。

神奇的事情发生了,即使大家无法理解这个黑盒里是在做什么,只要能控制输入和输出,就能透过黑盒消除其他影响,论文结果如下

论文高保真的从梯度中还原了原始数据。

无论是图像数据还是文本数据,都被轻易地识破并还原。

这种基于神经网络黑盒来进行攻击的方式应该也属于黑盒优化的一种思路吧~仅供参考。

论文链接:papers.nips.cc/paper/20




  

相关话题

  人类从什么时候开始驯养猫? 
  有没有这样的函数,其一阶导等于1,二阶导等于2,三阶导等于3,n阶导等于n,n一直趋于无穷大? 
  能否使用神经网络来判断奇偶数? 
  生物书上说现在已经有植物细胞和动物细胞成功融合的案例。这样融合得到的杂交细胞分裂分化会变成什么样子? 
  如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津? 
  是否存在一个世界,这个世界没有任何关于物理化学甚至数学方面的性质,只是一个单纯的世界? 
  如果物种间突然没有了生殖隔离地球会怎么样? 
  如果一个人把蓝色看成绿色,把绿色看成蓝色,如何让他知道他和别人不一样? 
  能不能简单的说一下PCR扩增技术是什么呀? 
  把猫的胡子剪了,会对猫有什么影响? 

前一个讨论
消融实验是什么?
下一个讨论
如何判断两个Deep Learning 数据集的数据分布是否一致?





© 2025-02-10 - tinynew.org. All Rights Reserved.
© 2025-02-10 - tinynew.org. 保留所有权利