出 Stable Diffusion 的公司也出语言大模型了，效果还挺好。本周三，StableLM 的发布引来了科技圈的关注。
Stability AI 是近期势头正盛的创业公司，因为开源的 AI 画图工具 Stable Diffusion 而饱受好评。在周三的发布中，该公司宣布其语言大模型现已可供开发人员在 GitHub 上使用和改编。
与业内标杆 ChatGPT 一样，StableLM 旨在高效地生成文本和代码。它在名为 Pile 的开源数据集的更大版本上进行训练，其中包含来自各种来源的信息，包括维基百科、Stack Exchange 和 PubMed，共 22 个数据集，容量达到 825GB，1.5 万亿个 token。
Stability AI 表示，StableLM 模型目前可用版本的参数在 30 亿到 70 亿之间，未来将有 15 亿到 650 亿范围的多种参数模型可用。
项目链接：https://github.com/stability-AI/stableLM/
根据目前人们的测试，如果跑 7B 模型（8 bit），需要用到 12GB 的显存。
Stability AI 也放出了一些 StableLM 的问答示例：
StableLM 基于 Stability AI 此前与非营利组织 EleutherAI 合作开发的开源语言模型，包括 GPT-J、GPT-NeoX 和 Pythia，新模型面向尽可能大的用户群。此前在 Stable Diffusion 上，Stability AI 通过多种方式提供其文本到图像 AI 的技术，包括公开演示、软件测试版和模型的完整下载，也允许开发人员使用其工具并进行各种集成。
相比 OpenAI 的封闭，Stability AI 一直把自身定位为 AI 研究社区的一员，我们大概率会在 StableLM 上看到和上月发布的 Meta 开源 LLaMa 语言模型同样的情况。大量基于原版模型的算法可能会出现，在较小模型体量之上实现很好的效果。
StableLM 的微调版聊天界面。
此外，现在每个人都可以尝试在 Hugging Face 上托管的 StableLM 微调聊天模型上和 AI 进行对话：https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
和所有语言大模型一样，StableLM 模型仍然存在「幻觉」问题，如果你尝试问它如何制作花生酱三明治，StableLM 会给出一个非常复杂且荒谬的食谱。它还建议人们在慰问卡上添加一张「有趣的图画」。
Stability AI 警告说，虽然它使用的数据集应该有助于「将基础语言模型引导到『更安全』的文本分布中，但并不是所有的偏见和毒性都可以通过微调来减轻。
现在 StableLM 模型已在 GitHub 存储库中上线。Stability AI 表示将在不久的将来发布一份完整的技术报告，此外还将启动众包 RLHF 计划，并与 Open Assistant 等社区合作，为 AI 聊天助手创建一个开源数据集。
