百科问答小站 logo
百科问答小站 font logo



你们学科究竟能有多烧钱? 第1页

  

user avatar   lokinko 网友的相关建议: 
      

GPT-3

Open-AI 设计了一个拥有1700亿参数的模型:GPT-3。

训练一个GPT-3模型需要“355个GPU年”(一块GPU运行355年的运算量)。

微软花钱攒了一个包含 10000 个 Nvidia Tesla V100 GPU的分布式集群,专门供 OpenAI 做模型训练。

不幸的是,在数据划分中存在bug导致部分数据重叠,但重新训练太太太太太贵了。

事实证明,炼丹师必须要配上极品炼丹炉以及各色异火,就能暴力炼丹。


user avatar   xxg1413 网友的相关建议: 
      

比如:训练一个GPT-3




  

相关话题

  作为一名研究生,如何提高自身的科研水平? 
  2021 各省市高考成绩陆续公布,你查分了吗?你的分数能上想去的大学吗? 
  如何评价中科院期刊分区的二级学科把「核物理」除名引起核物理学家集体抗议? 
  怎么看待大学晚自习玩手机被逮了要求写检讨? 
  客观来讲,机械专业有哪些好的地方? 
  如何看待海淀妈妈们认为Python是儿童才学的低端编程? 
  大学是不是学越难的专业越有前途? 
  如何看待政协委员建议婚恋教育设为大学必修课? 
  如何看待南京大学公开采购招标拟在 Nature 杂志刊校庆特刊稿,预算 120 万元? 
  是否存在这种审稿人思维:因为完全看懂了论文更增加了将之拒掉的几率? 

前一个讨论
备受互联网巨头推崇的『开放计算』到底是什么?可以应用到传统行业吗?
下一个讨论
有没有材料科学和计算机相结合的专业方向?





© 2024-12-26 - tinynew.org. All Rights Reserved.
© 2024-12-26 - tinynew.org. 保留所有权利