Open-AI 设计了一个拥有1700亿参数的模型:GPT-3。
训练一个GPT-3模型需要“355个GPU年”(一块GPU运行355年的运算量)。
微软花钱攒了一个包含 10000 个 Nvidia Tesla V100 GPU的分布式集群,专门供 OpenAI 做模型训练。
不幸的是,在数据划分中存在bug导致部分数据重叠,但重新训练太太太太太贵了。
事实证明,炼丹师必须要配上极品炼丹炉以及各色异火,就能暴力炼丹。
比如:训练一个GPT-3