GPT-3 到底花了多少钱？为什么有的网站显示 1200 万美元，有的显示 460 万美元呢？ 第1页

GPT-3 ^[1] 到底花了多少钱？这可能永远是个谜。

在 Open AI 官网上并没有发现对此的说明。

通过追溯信源，的确发现GPT-3模型的训练开支有两种（估算）说法^[2]：

超过 1200 万美元 ^{[3] [4]}

最少 460 万美元 ^{[5] [6]}

其中 460万美元训练开支的估算过程如下：

OpenAI最近发布了GPT-3，这是有史以来最大的语言模型。
GPT-3拥有1750亿个参数，即使使用 市场上价格最低的GPU云 ，也需要355年的时间和460万美元的培训费用。使用 Lambda GPU实例 为例，Tesla V100定价为 $1.50 /小时

延伸阅读：

训练 AlphaGo Zero 花了多少钱？

参考

1. ^ https://arxiv.org/pdf/2005.14165.pdf
2. ^What is GPT-3? How can you use it? https://mc.ai/what-is-gpt-3-how-can-you-use-it/
3. ^OpenAI’s massive GPT-3 model is impressive, but size isn’t everything https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/
4. ^OpenAI launches an API to commercialize its research https://venturebeat.com/2020/06/11/openai-launches-an-api-to-commercialize-its-research/
5. ^GPT-3 Key Takeaways https://lambdalabs.com/blog/demystifying-gpt-3/
6. ^GPT-3, The $4,600,000 Language Model https://www.reddit.com/r/MachineLearning/comments/h0jwoz/d_gpt3_the_4600000_language_model/