编程客栈() 7月31日消息:研究表明，对于类似 OpenAI 的服务，由于计算成本的计量和计费方式，英语输入和输出比其他语言要便宜得多，其中简体中文的成本约为英语的两倍，西班牙语为英语的 1.5 倍，而掸语则要贵 15 倍。

一项由牛津大学进行的研究发现，让一个大型语言模型处理一句缅甸语句子需要 198 个 tokens，而同样的英语句子只需 17 个 tokens。Token 代表通过 API 访问大型语言模型（如 OpenAI 的 ChatGPT 或Anthropic 的 Claude 2）的计算成本，这意味着使用服务处理缅甸语句子比处理英语句子要贵 11 倍。

这种「标记化」模型意味着在不理想的情况下，访问和训练非英语语言模型会更昂贵。这是因为像中文这样的语言与英语在结构上（无论是语法上还是字符数量上）有所不同，从而导致其标记化的成本更高。

(资料图)

举个例子，根据 OpenAI 的 GPT3 tokenizer，将「your affection」这个词组标记化为英语只需两个 tokens，而在简体中文中则需要八个 tokens。这是因为简体中文的文本虽然只有 4 个字符（你的感情），而英语文本有 14 个字符。

微软自己在解释其 ChatGPT 模型的 API 访问和使用的页面上提供了一个很有用的工具，其中甚至包括了一个标记化工具，您可以用来测试每个提示的标记成本。在那里，我们可以看到在英语中，1 个 token 约等于 4 个字符，100 个 tokens 约等于 75 个英文单词。但是这种数学规则并不能应用于其他任何语言，微软清楚地表明了这一点。

在人工智能相关的成本方面，英语的成本效益无可匹敌；例如，相对于输出而言，中文的成本是英语的两倍。但这只是 AI 公司迄今为止javascript用于训练模型的可用训练数据的反映。人工智能的爆发已经向世界展示了高质量紧急数据（作为生活记录而产生的数据）的价值。

此问题直接关系到 AI 公司希望实现递归训练的愿望，python即能够用自己的输出训练 AI 模型。php如果实现了这一点，那么未来模型仍将显示英语与其他语言相比的成本效益，其他语言的复杂性和更有限的基础训练数据导致了更高的标记化速率。

为了进一步复杂化问题，似乎除了标记化之外，其他衡量成本的方法最终也会遇到相同的问题。无论是通过位数还是字符计数，显然没有任何一种语言能够超越英语的实际实用性——英语的「可压缩性」较高，因此标记数量较低。

这意味着问题不在于模型的货币化方式；它实际上是技术和基础模型在训练中的一个真实局限。而且不难想象，这个问题会影响到各个版本的多语言模型。毕竟，它们编程客栈几乎都是以相同方式构建的。

当我们考虑到推出大型语言模型（如 ChatGPT）或生成式图像网络（如 Midjourney）的公司主要位于美国时，这种成本差异已经导致一些国家推出了培训和使用本地语言的大型语言模型的计划。中国和印度都这样做了，而且都声称这样做是为了配合英语为基础的 AI 网络所允许的创新速度。而这种速度主要受到访问和训练成本的限制。

每个人都希望花尽可能少的钱获得尽可能多的东西，这是很自然的。而这些动态直接影响根据基础语言进行 LLM 培训和部署的成本。人工智能业务是如此复杂，其影响如此深远，我们必须非常小心地采取每一个小步骤。