百科问答小站 logo
百科问答小站 font logo



如何评价 NVIDIA 最新技术 5 秒训练 NERF? 第1页

  

user avatar   huang-xiang-38 网友的相关建议: 
      

刚看到新闻非常惊讶,粗读了一下文章,原来是一堆加速hack,思路好哇,

作者的思路是(本人理解可能有误):

  1. 对于图像/3D信息表达,传统方法存储的是结构化数据,计算是干净的公式,与计算分离的;
  2. 神经网络计算与数据混到了一起,典型如Nerf,radience field数据信息存储到了网络权重里;
  3. 但信息完全在网络权重里导致训练非常慢,效率低,网络表达能力也受训练的限制;
  4. 于是有了parametric encoding方式,把latent feature用结构化方式存储,例如存到3D grid上,这样表达能力不受网络权重数量的限制,每次back propogate的参数只跟3D grid对应的cell以及小网络相关,训练的时间也大量缩短;
  5. 但3D grid这种结构化数据,其实也非常浪费,因为三维模型只有表面信息有意义,绝大多数的cell都是空的;
  6. 用分层的树形数据结构能减少内存和需要训练的数据量,但在训练过程中动态调整树的结构开销也不小;同样稀疏数据结构同样因为需要动态更新开销也大;
  7. 所以不管那些空间结构,用个LOD哈希表存grid的feature,把位置hash一下存最dense,效率最高;
  8. 为了简单,哈希函数选了个最快的,哈希碰撞就不管了,因为有LOD,并不在乎某一层的error,因为Loss是把所有层都叠一起训练的,在当前层碰撞了也没关系,反正前后层会弥补;



  

相关话题

  如何评价Google发布的第二代深度学习系统TensorFlow? 
  这一波人工智能泡沫将会怎么破灭? 
  2021 年8月底,能否迎来原价显卡? 
  能否对卷积神经网络工作原理做一个直观的解释? 
  显卡涨价是游戏党的福利, 一边玩游戏一边挖矿,为什么还有人傻等原价卡? 
  Transformer是如何处理可变长度数据的? 
  如何用一句话证明自然语言处理很难? 
  三维重建怎么入门? 
  R 中的哪些命令或者包让你相见恨晚? 
  需要怎样的基本知识才能看懂卡吧图吧大佬们装逼? 

前一个讨论
攻博期间你是如何度过没有正向反馈的阶段?
下一个讨论
导师的什么话或者行为让你对科研失去了兴趣或者充满向往?





© 2025-05-20 - tinynew.org. All Rights Reserved.
© 2025-05-20 - tinynew.org. 保留所有权利