Open-AI 设计了一个拥有1700亿参数的模型:GPT-3。
训练一个GPT-3模型需要“355个GPU年”(一块GPU运行355年的运算量)。
微软花钱攒了一个包含 10000 个 Nvidia Tesla V100 GPU的分布式集群,专门供 OpenAI 做模型训练。
不幸的是,在数据划分中存在bug导致部分数据重叠,但重新训练太太太太太贵了。
事实证明,炼丹师必须要配上极品炼丹炉以及各色异火,就能暴力炼丹。
比如:训练一个GPT-3
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有
问题列表1