最近，一位网友整理了一份「每个LLM开发者都应该知道的数字」，同时解释了这些数字为何重要，以及我们应该如何利用它们。
他在谷歌的时候，就有一份由传奇工程师Jeff Dean整理的文件，叫做「每个工程师都应该知道的数字」。
Jeff Dean：「每个工程师都应该知道的数字」
而对于LLM（Large Language Model）开发者来说，有一组类似的用于粗略估算的数字也是非常有用的。
Prompt
40-90%：在提示中添加「简明扼要」之后节省的成本
要知道，你是按照LLM在输出时用掉的token来付费的。
这意味着，让模型简明扼要（be concise）地进行表述，可以省下很多钱。
与此同时，这个理念还可以扩展到更多地方。
比如，你本来想用GPT-4生成10个备选方案，现在也许可以先要求它提供5个，就可以留下另一半的钱了。
1.3：每个词的平均token数
LLM是以token为单位进行操作的。
而token是单词或单词的子部分，比如「eating」可能被分解成两个token「eat」和「ing」。
一般来说，750个英文单词将产生大约1000个token。
对于英语以外的语言，每个词的token会有所增加，具体数量取决于它们在LLM的嵌入语料库中的通用性。
价格
考虑到LLM的使用成本很高，因此和价格相关的数字就变得尤为重要了。
~50：GPT-4与GPT-3.5 Turbo的成本比
使用GPT-3.5-Turbo大约比GPT-4便宜50倍。说「大约」是因为GPT-4对提示和生成的收费方式不同。
所以在实际应用时，最好确认一下GPT-3.5-Turbo是不是就足够完成你的需求。
例如，对于概括总结这样的任务，GPT-3.5-Turbo绰绰有余。
5：使用GPT-3.5-Turbo与OpenAI嵌入进行文本生成的成本比
这意味着在向量存储系统中查找某个内容比使用用LLM生成要便宜得多。
具体来说，在神经信息检索系统中查找，比向GPT-3.5-Turbo提问要少花约5倍的费用。与GPT-4相比，成本差距更是高达250倍！
10：OpenAI嵌入与自我托管嵌入的成本比
注意：这个数字对负载和嵌入的批大小非常敏感，因此请将其视为近似值。
通过g4dn.4xlarge（按需价格：1.20美元/小时），我们可以利用用HuggingFace的SentenceTransformers（与OpenAI的嵌入相当）以每秒约9000个token的速度进行嵌入。
在这种速度和节点类型下进行一些基本的计算，表明自我托管的嵌入可以便宜10倍。
6：OpenAI基础模型与微调模型查询的成本比
在OpenAI上，微调模型的成本是基础模型的6倍。
这也意味着，相比微调定制模型，调整基础模型的提示更具成本效益。
1：自我托管基础模型与微调模型查询的成本比
如果你自己托管模型，那么微调模型和基础模型的成本几乎相同：这两种模型的参数数量是一样的。
训练和微调
~100万美元：在1.4万亿个token上训练130亿参数模型的成本
论文地址：https://arxiv.org/pdf/2302.13971.pdf
LLaMa的论文中提到，他们花了21天的时间，使用了2048个A100 80GB GPU，才训练出了LLaMa模型。
假设我们在Red Pajama训练集上训练自己的模型，假设一切正常，没有任何崩溃，并且第一次就成功，就会得到上述的数字。
此外，这个过程还涉及到2048个GPU之间的协调。
大多数公司，并没有条件做到这些。
不过，最关键的信息是：我们有可能训练出自己的LLM，只是这个过程并不便宜。
并且每次运行，都需要好几天时间。
相比之下，使用预训练模型，会便宜得多。
< 0.001：微调与从头开始训练的成本费率
这个数字有点笼统，总的来说，微调的成本可以忽略不计。
例如，你可以用大约7美元的价格，微调一个6B参数的模型。
即使按照OpenAI对其最昂贵的微调模型Davinci的费率，每1000个token也只要花费3美分。
这意味着，如果要微调莎士比亚的全部作品（大约100万个单词），只需要花费四五十美元。
不过，微调是一回事，从头开始训练，就是另一回事了......
GPU显存
如果您正在自托管模型，了解GPU显存就非常重要，因为LLM正在将GPU的显存推向极限。
以下统计信息专门用于推理。如果要进行训练或微调，就需要相当多的显存。
V100：16GB，A10G：24GB，A100：40/80GB：GPU显存容量
了解不同类型的GPU的显存量是很重要的，因为这将限制你的LLM可以拥有的参数量。
一般来说，我们喜欢使用A10G，因为它们在AWS上的按需价格是每小时1.5到2美元，并且用有24G的GPU显存，而每个A100的价格约为5美元/小时。
2x 参数量：LLM的典型GPU显存要求
举个例子，当你拥有一个70亿参数的模型时，就需要大约14GB的GPU显存。
这是因为大多数情况下，每个参数需要一个16位浮点数（或2个字节）。
通常不需要超过16位精度，但大多数时候，当精度达到8位时，分辨率就开始降低（在某些情况下，这也可以接受）。
当然，也有一些项目改善了这种情况。比如llama.cpp就通过在6GB GPU上量化到4位（8位也可以），跑通了130亿参数的模型，但这并不常见。
~1GB：嵌入模型的典型GPU显存要求
每当你嵌入语句（聚类、语义搜索和分类任务经常要做的事）时，你就需要一个像语句转换器这样的嵌入模型。OpenAI也有自己的商用嵌入模型。
通常不必担心GPU上的显存嵌入占用多少，它们相当小，甚至可以在同一GPU上嵌入LLM。
>10x：通过批处理LLM请求，提高吞吐量
通过GPU运行LLM查询的延迟非常高：吞吐量为每秒0.2个查询的话，延迟可能需要5秒。
有趣的是，如果你运行两个任务，延迟可能只需要5.2秒。
这意味着，如果能将25个查询捆绑在一起，则需要大约10秒的延迟，而吞吐量已提高到每秒2.5个查询。
不过，请接着往下看。
~1 MB：130亿参数模型输出1个token所需的GPU显存
你所需要的显存与你想生成的最大token数量直接成正比。
比如，生成最多512个token（大约380个单词）的输出，就需要512MB的显存。
你可能会说，这没什么大不了的——我有24GB的显存，512MB算什么？然而，如果你想运行更大的batch，这个数值就会开始累加了。
比如，如果你想做16个batch，显存就会直接增加到8GB。
