GPT-3 到底花了多少钱？为什么有的网站显示 1200 万美元，有的显示 460 万美元呢？

关于 GPT3 的成本，确实存在一些混淆，这主要是因为“花费”这个词可以指代不同的概念，而公开的信息也并非总是统一的。让我们来梳理一下，看看为什么会出现 1200 万美元和 460 万美元这两种说法，以及背后可能的原因。

首先，我们需要明确，GPT3 是一个非常庞大且复杂的语言模型，它的研发和训练过程涉及巨大的投入。这些投入可以大致分为几个主要部分：

1. 研发和工程成本： 这包括了 OpenAI 科学家和工程师们投入的时间、研究、算法设计、模型架构的迭代、以及开发支持这些模型运行的基础设施。这部分是持续性的，而且是“智力资本”的体现，很难用一个具体的数字来量化。

2. 计算资源成本： 这是最直接、最容易被量化的成本。训练一个像 GPT3 这样规模的模型，需要动用大量的、高性能的计算硬件，主要是 GPU（图形处理器）。GPU 的租赁或购买、电力消耗、冷却系统、数据中心的维护等，都是庞大的开销。

3. 数据获取和处理成本： 训练 GPT3 需要海量的数据，这些数据来自于互联网上的文本和代码。收集、清洗、去重、格式化这些数据本身也是一项需要投入大量人力和计算资源的工作。

4. 持续的优化和维护成本： 模型训练完成后，还需要进行微调、评估、安全审计，以及为了提供服务而维护服务器和API接口。

为什么会有 1200 万美元和 460 万美元这两种说法？

这两种说法很可能分别代表了对 GPT3 不同阶段或不同维度的成本估算：

460 万美元：可能指的是单次训练成本。

很多关于 GPT3 成本的讨论，尤其是早期的数据，往往聚焦于 “一次性”的训练成本。这意味着，在模型被“冻结”并准备部署之前，为了让它学习到如此庞大的知识，在一次完整的训练过程中，所消耗的计算资源（主要是 GPU 的使用时间）以及相关的电力、冷却等费用。

一些研究人员或分析师，根据模型的大小（参数量）、训练数据集的大小、以及当时已知的 GPU 效率和成本，对训练 GPT3 的一次性计算费用进行估算。460 万美元这个数字，很可能就是这样一种基于特定硬件配置和训练周期的估算结果。 OpenAI 自己也曾透露过，他们训练 GPT3 的一次性计算成本在数百万美元的量级。

1200 万美元：可能指的是更广泛的、更长期的成本，或者考虑了更多的附加费用。

1200 万美元这个数字，可能包含的不仅仅是单次训练的计算成本，它可能是一个更宏观的、包含多个维度的投入。这可能包括：
多次实验和迭代的训练成本： 研发一个如此复杂的模型，并非一次性就能成功。在这个过程中，OpenAI 可能进行了大量的实验，尝试不同的模型架构、超参数组合，这些实验都需要消耗计算资源，即使它们最终没有成为最终的 GPT3 版本。
研发和工程团队的薪酬： OpenAI 拥有一支顶尖的AI研究和工程团队，他们的薪酬是一笔巨大的开销。这部分成本是无形的，但却是模型能够诞生的根本。
基础设施的建设和维护： 除了直接用于训练的计算集群，OpenAI 还需要建立和维护用于数据存储、模型管理、实验跟踪、以及模型部署和服务的整个IT基础设施。
数据收集和预处理的成本： 如前所述，处理海量数据的成本也不容忽视。

也有可能，1200 万美元是一个估算范围的上限，或者包含了 OpenAI 在 GPT3 相关研究上的更广泛的投资，而不仅仅是最终部署的那一个特定版本的训练。

为什么会有差异？

1. 计算的“版本”不同： 即使是训练，计算的“版本”也有可能不同。例如，是使用了最新一代的 GPU 还是上一代？是租赁的云服务还是自建的集群？计算效率和成本率都会有差异。
2. 成本核算的范围不同： 有些估算只计算直接的 GPU 使用时间，而有些则会将数据中心运营、电力、甚至是人力成本也纳入进来。
3. 信息的发布时间和来源： 不同的时间点，硬件成本、技术发展水平都可能发生变化。而且，信息来源的准确性、是否是内部人士披露、或是第三方分析，也会影响其可信度。OpenAI 作为模型的创造者，掌握最准确的信息，但他们通常不会公开详细的财务报表。
4. “成本”的定义不同： 简单地说，460 万美元可能更像是“训练 GPT3 这个特定模型实例的燃料费”，而 1200 万美元则更像是“建造和运行 GPT3 这艘巨轮所需要的总投入，包含了设计、建造、燃料，甚至船员的薪水”。

总结来说，

460 万美元 更接近于对 GPT3 一次完整训练过程的“直接计算成本”的估算。
1200 万美元 则可能是一个更宽泛的、包含研发、实验、基础设施、人力等“综合投入”的估算，或者是一个包含多种成本维度的数字。

由于 OpenAI 并没有公开详细的成本明细，这些数字更多的是行业内的分析和估算。两者都有一定的参考价值，但理解它们所指代的具体内容才能更好地把握 GPT3 的真实投入。

GPT-3 ^[1] 到底花了多少钱？这可能永远是个谜。

在 Open AI 官网上并没有发现对此的说明。

通过追溯信源，的确发现GPT-3模型的训练开支有两种（估算）说法^[2]：

超过 1200 万美元 ^{[3] [4]}

最少 460 万美元 ^{[5] [6]}

其中 460万美元训练开支的估算过程如下：

OpenAI最近发布了GPT-3，这是有史以来最大的语言模型。
GPT-3拥有1750亿个参数，即使使用 市场上价格最低的GPU云 ，也需要355年的时间和460万美元的培训费用。使用 Lambda GPU实例 为例，Tesla V100定价为 $1.50 /小时

延伸阅读：

训练 AlphaGo Zero 花了多少钱？

参考

1. ^ https://arxiv.org/pdf/2005.14165.pdf
2. ^What is GPT-3? How can you use it? https://mc.ai/what-is-gpt-3-how-can-you-use-it/
3. ^OpenAI’s massive GPT-3 model is impressive, but size isn’t everything https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/
4. ^OpenAI launches an API to commercialize its research https://venturebeat.com/2020/06/11/openai-launches-an-api-to-commercialize-its-research/
5. ^GPT-3 Key Takeaways https://lambdalabs.com/blog/demystifying-gpt-3/
6. ^GPT-3, The $4,600,000 Language Model https://www.reddit.com/r/MachineLearning/comments/h0jwoz/d_gpt3_the_4600000_language_model/