百科问答小站 logo
百科问答小站 font logo



深度学习的多个loss如何平衡? 第1页

  

user avatar   guo-yi-wen 网友的相关建议: 
      

其实这是目前深度学习领域被某种程度上忽视了的一个重要问题,在近几年大火的multi-task learning,generative adversarial networks, 等等很多机器学习任务和方法里面都会遇到,很多paper的做法都是暴力调参结果玄学……这里偷偷跟大家分享两个很有趣的研究视角

  1. 从预测不确定性的角度引入Bayesian框架,根据各个loss分量当前的大小自动设定其权重。有代表性的工作参见Alex Kendall等人的CVPR2018文章 Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics,文章的二作Yarin Gal是Zoubin Ghahramani的高徒,近几年结合Bayesian思想和深度学习做了很多solid的工作。
  2. 构建所有loss的Pareto,以一次训练的超低代价得到多种超参组合对应的结果。有代表性的工作参见Intel在2018年NeurIPS(对,就是那个刚改了名字的机器学习顶会)发表的Multi-Task Learning as Multi-Objective Optimization 因为跟文章的作者都是老熟人,这里就不尬吹了,大家有兴趣的可以仔细读一读,干货满满。


user avatar   hzwer 网友的相关建议: 
      

其实这完全是意料之内的翻车。

有心的朋友其实可以去翻找一下MIUI的部门等级变化,就会发现一个极其有趣的现象,目前翻车的两个版本,包括13和12.5,基本上都是内部等级降级后的MIUI团队制作出来的。

可能有人不是很懂这跟内部部门等级升降有什么关系。

简单来说就是,一个部门内部等级越高,它的部门领导距离核心层也就越近,甚至直接就是核心层,它能得到的资源也好,能得到的重视程度也好,都不是普通中高层执掌的部门所能比的。

MIUI作为小米起家的重要支撑,早期等级是相当高的,雷军和部分联合创始人都曾经是它的负责人,所以在小米公司的内部,它的权重无疑是很高的,甚至于其他部门需要配合MIUI部门展开一些工作。

但在后来,MIUI的部门被分拆了,主要负责系统开发的联合创始人离开小米,取而代之的是金凡。领导地位和部门地位双降意味着MIUI的权重大大降低,至少已经不复以前风光了,而版本更新,在有限的资源投入的前提下,自然也只能做修补性的工作,亦或者是一些市面上友商已经有的功能进行技术性移植。无他,这样成本最低。

但这样的后果是严重的,因为友商的系统,即使同源,也会有不同的开发逻辑和技术实现逻辑,强行技术移植,带来的就是不稳定甚至是出现严重问题。

很多人说金凡负责的前几个版本也没问题啊。那是因为问题没有爆发,当时的MIUI还享受着前期资源带来的红利。只是到了12.5,红利已经吃完,问题开始显现而已。

解决这个问题的方式也简单,把MIUI的开发部门恢复到以前的地位,让一个懂技术的核心高层去负责,然后,砸钱去开发、重写、调教,并适配。

表面看来是技术问题,实际上反映的,只是小米部门调整策略出现问题了而已,只是这个后果是消费者承担。




  

相关话题

  为什么多方安全计算(或者隐私计算/联邦学习)在中国这么火? 
  能否使用区块链的算力来解决深度学习训练? 
  为什么在R语言里多用<-而不是=表示赋值? 
  如何简单理解贝叶斯决策理论(Bayes Decision Theory)? 
  三门问题(蒙提霍尔悖论)变种,如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗? 
  如何证明数据增强(Data Augmentation)有效性? 
  为什么做GPU计算,深度学习用amd显卡的很少,基本都nvidia? 
  写深度学习代码是先写model还是dataset还是train呢,有个一般化的顺序吗? 
  写深度学习代码是先写model还是dataset还是train呢,有个一般化的顺序吗? 
  如何看待周志华等人的新书《机器学习理论导引》? 

前一个讨论
如何看待 John Martinis 离开谷歌?
下一个讨论
请解释下variational inference?





© 2024-12-22 - tinynew.org. All Rights Reserved.
© 2024-12-22 - tinynew.org. 保留所有权利