百科问答小站 logo
百科问答小站 font logo



如何评价 NVIDIA 最新技术 5 秒训练 NERF? 第1页

  

user avatar   huang-xiang-38 网友的相关建议: 
      

刚看到新闻非常惊讶,粗读了一下文章,原来是一堆加速hack,思路好哇,

作者的思路是(本人理解可能有误):

  1. 对于图像/3D信息表达,传统方法存储的是结构化数据,计算是干净的公式,与计算分离的;
  2. 神经网络计算与数据混到了一起,典型如Nerf,radience field数据信息存储到了网络权重里;
  3. 但信息完全在网络权重里导致训练非常慢,效率低,网络表达能力也受训练的限制;
  4. 于是有了parametric encoding方式,把latent feature用结构化方式存储,例如存到3D grid上,这样表达能力不受网络权重数量的限制,每次back propogate的参数只跟3D grid对应的cell以及小网络相关,训练的时间也大量缩短;
  5. 但3D grid这种结构化数据,其实也非常浪费,因为三维模型只有表面信息有意义,绝大多数的cell都是空的;
  6. 用分层的树形数据结构能减少内存和需要训练的数据量,但在训练过程中动态调整树的结构开销也不小;同样稀疏数据结构同样因为需要动态更新开销也大;
  7. 所以不管那些空间结构,用个LOD哈希表存grid的feature,把位置hash一下存最dense,效率最高;
  8. 为了简单,哈希函数选了个最快的,哈希碰撞就不管了,因为有LOD,并不在乎某一层的error,因为Loss是把所有层都叠一起训练的,在当前层碰撞了也没关系,反正前后层会弥补;



  

相关话题

  计算机视觉(CV)的算法有哪些,具体都有哪些特点? 
  如何通俗易懂地讲解 Photoshop 中的「通道」概念? 
  为啥gan里面几乎不用pooling? 
  GAN 真的创造了新的信息吗? 
  如何看待网传RTX3080拿货需要搭5张2070才能拿? 
  怎么在家学习一些关于机器学习的知识? 
  GPU核心为什么会以显卡这种形式进行销售? 
  为什么3060没有2070性能强反而不生产2070? 
  坐标日本,计算机视觉专攻。有英文交流氛围浓厚的研究室推荐吗? 
  应届硕士毕业生如何拿到知名互联网公司算法岗(机器学习、数据挖掘、深度学习) offer? 

前一个讨论
攻博期间你是如何度过没有正向反馈的阶段?
下一个讨论
导师的什么话或者行为让你对科研失去了兴趣或者充满向往?





© 2025-06-16 - tinynew.org. All Rights Reserved.
© 2025-06-16 - tinynew.org. 保留所有权利