百科问答小站 logo
百科问答小站 font logo



现在的BERT等语言模型,最快训练要多久? 第1页

  

user avatar   su-jian-lin-22 网友的相关建议: 
      

首先明确一个结论:预训练成本基本上是不可能降的。

怎么理解这句话呢?大概就是说你要达到RoBERTa base的效果,那么就必须付出大致相当于训练RoBERTa base的算力,就算你把Self Attention换成CNN、RNN、MLP都是这样,因为Transformer之所以慢,是因为它大,而不是因为它有Self Attention(参考《线性Transformer应该不是你要等的那个模型》);而预训练模型效果之所以好,是因为它在大模型的基础上预训练,所以大是必要条件。

有了这个结论后,你想提高训练速度,就只有三个选择:1、选择更小的模型(比如small、tiny);2、买更快的卡(比如80G的A100);3、减少训练数据。

前两者好理解,第三个选择,主要是因为预训练数据到了一定数量之后,“质量”就重于“数量”了,如果别人用100G通用数据训练,你能挑出10G高质量数据训练,速度就快了10倍,说不准效果还更好。这个“高质量”有两个含义,第一个是数据本身的噪声要少,第二个就是跟你所要做的下游任务的相关性。这方面的工作,推荐看杨植麟大佬最近的《NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework》

当然,框架本身的调整(比如混合精度训练)也能带来一定的速度提升,但这不在本回答的考虑范围内(或者说,框架本身的优化默认都打开)。




  

相关话题

  插值和拟合最根本的区别是什么?机器学习为啥用拟合?? 
  Word2vec 翻译到另一种语言,其向量空间之间的映射会不会是线性的? 
  自动化的控制与检测领域中,有没有像机器学习、图像处理领域一样经典巧妙的算法? 
  我决定进军期货市场,您有什么建议吗? 
  R 中的哪些命令或者包让你相见恨晚? 
  如何看待Geoffrey Hinton的言论,深度学习要另起炉灶,彻底抛弃反向传播? 
  当前(2020年)机器学习中有哪些研究方向特别的坑? 
  计算机视觉中video understanding领域有什么研究方向和比较重要的成果? 
  如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training? 
  下一代 AI 框架长什么样? 

前一个讨论
你见过哪些怪异的量化交易策略?
下一个讨论
有哪些效果拔群的 WebAssembly 应用?





© 2025-06-08 - tinynew.org. All Rights Reserved.
© 2025-06-08 - tinynew.org. 保留所有权利