ayx爱游戏部署像ChatGPT这样的大语言模型玩具模型到底要花多少钱?
栏目:Bwin必赢 发布时间:2023-04-27 22:12:00

  ayx爱游戏然而,这些大模型也极耗资源,导致在经济意义上难以实现规模化部署ayx爱游戏。但这一切随着 ChatGPT 的到来而宣告终结。

  ChatGPT API 的价格随使用方式而变化。其成本为每 1000 个 token 计费 0.002 美元。每个 token 约为一个英文单词的 3/4,就是说,一条请求内的 token 数量等于提示词 + 所生成的输出 token 的总和。

  假定大家每天需要处理 1000 个小文本块,每个文本块对应一页文本(即 500 个单词,约合 667 个 token),那么日均成本就是

  但如果每天需要处理上百万份这类文档,情况又会如何呢?那计算下来就是日均 1300 美元,每年约 50 万美元!达到这个规模,ChatGPT 就从酷炫的玩具一下子成了沉重的业务运营负担!(当然,能否靠它赚到更多的钱另说。)

  而且企业选择开源生成式模型,而不用 OpenAI 家 GPT 系列模型的理由也有很多。可能是不满于 OpenAI 的服务经常中断,可能是开源大模型更易于定制,也可能是使用成本更有优势模型玩具。

  虽然开源模型可以免费使用,但用于托管和部署模型的基础设施却不可能凭空得来。

  但粗略估算成本大约在每小时 5 美元左右。这就相当于每天 150 美元上下!

  下面来看 AWS Lambda 部分的成本,它的价格由内存用量和请求频率决定。

  从性能上看,ChatGPT 和 GPT-4 的响应质量确实比开源大模型强一些。但开源模型阵营也在迎头赶上,所以我们将有越来越坚定的理由选择这一派。

  首先,企业希望根据特定数据源对开源模型做微调。在经过针对性微调之后ayx爱游戏,开源模型的性能往往会反超专为通用场景打造的 ChatGPT 及其他 OpenAI 后续模型。事实证明,BloombergGPT 等领域特定模型已经成为生成式 AI 世界中一股不容忽视的重要力量。