ChemBench：大语言模型化学能力评测数据集

恋恋青鸟

发布于 2024-5-28 10:25

浏览

0收藏

ChemBench 是上海人工智能实验室 AI for Science 团队自建的化学语言模型评测数据集，实现了大模型能力在化学领域的全面评估。

研究团队从互联网公开资源中采集并设计构建了 4100 多道多项选择题，每个选择题只有一个正确答案。覆盖了基于文本的分子生成、名称转换、性质预测、温度预测、分子描述、产率预测、溶剂预测、逆合成分析、产物预测九大化学任务。

ChemBench 评测任务介绍

随着大语言模型的飞速发展，一系列特定领域的垂类模型也不断涌现，这其中就包含化学大模型。但是如何全面的评估一个大模型的化学能力仍然是一个比较棘手的问题。

目前对化学领域大语言模型的能力评估会存在以下问题：

1. 目前很多已有的化学任务评测基准，往往只是针对某个具体的化学任务进行评测，或是为了特定领域模型所设计，并不适用于测试大语言模型。

2. 现有的对化学大语言模型的评测基准大多采用问答形式，使用 BLEU 或者 ROUGE 等指标进行评测，这些类型的评估指标会受到语言模型输出风格的显著影响，不适合科学事实正确性的评测，在这种情况下，如果模型输出了更好的语言风格，但是包含事实性错误，可能会获得更高的评估分数。

为了解决这些问题，上海 AI Lab 化学大模型团队提出了 ChemBench，由多项选择题构建，用来评估大语言模型的化学能力。

评测的任务以及每个任务题目数量分布如下图：

ChemBench：大语言模型化学能力评测数据集-AI.x社区

Name Conversion：名称转换任务，指分子的 IUPAC chemical name 和 smiles 互相的转换，测试了模型对分子不同描述的认知

Property Prediction：性质预测任务，针对分子预测其不同有用的化学性质

Mol2Caption：分子描述任务，针对特定分子进行多样的描述表征

Caption2mol：基于文本的分子生成，用户给定特定对分子的描述，模型预测出相应的分子的结构式

Product Prediction：产物预测任务，预测化学反应能得到的产物

Yield Prediction：产量预测任务，预测特定化学反应能得到的产量

Retrosynthesis：逆合成分析任务，根据成品分子预测其合成的路径

Solvent Prediction：溶剂预测任务，预测化学反应中所需要的溶剂

Temperature Prediction：温度预测任务，预测特定化学反应需要的温度条件

在多项选择题的构建中，团队还借助 ChatGPT，通过对每个任务设计专用的提示工程，构建每个题目的错误选项，使得模型的错误选项有足够难度的混淆，保证了选项的辨别难度。

数据集题目展示

下面将选取 ChemBench 中不同任务的题目进行展示。

Name Conversion 名称转换任务的题目展示如下：

```
{
        "question": "\nHow would you express this IUPAC name in SMILES format? CC1(C2=C(N=C1C=CC=C3C(C4=C(N3CCCS(=O)(=O)O)N=CC=C4)(C)C)[N+](=CC=C2)CCCCCC(=O)O)C",
        "answer": "D",
        "D": "6-[2-[3-[3,3-dimethyl-1-(3-sulfopropyl)pyrrolo[2,3-b]pyridin-2-ylidene]prop-1-enyl]-3,3-dimethyl-pyrrolo[2,3-b]pyridin-7-ium-7-yl]hexanoic acid",
        "A": "6-[2-[3-[3,3-dimethyl-1-(3-phosphonopropyl)pyrrolo[2,3-c]pyridin-2-ylidene]ethylidene]-3,3-dimethyl-pyrrolo[2,3-a]pyridin-7-ium-7-yl]hexanoic acid",
        "B": "6-[2-[3-[1-(3-carboxypropyl)-3,3-dimethylindolizin-2-ylidene]prop-1-enyl]-3,3-dimethyl-1H-pyrrolo[3,2-b]pyridin-7-yl]hexanoic acid",
        "C": "6-[2-[3-[3,3-dimethyl-1-(3-sulfopropyl)pyridin-2(1H)-one]-prop-1-enyl]-3,3-dimethyl-pyrrolo[2,3-b]pyridin-7-ium-7-yl]hexanoic acid"
    },
```1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

Retrosynthesis 逆合成分析任务的题目展示如下：

```
  {
        "question": "Which ingredients are commonly selected for creating Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1 ?\n",
        "answer": "A",
        "A": "Chemicals employed in the creation of Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1  can be chosen from CCO and Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=N)NC3=O)cnc2c1. There's a chance that reactions will emerge, with Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=N)NC3=O)cnc2c1.CCO>Cl>Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1. potentially representing the reaction equations.",
        "C": "The possibility of reactions exists, and CCOC(=O)c1c(C(F)(F)F)cc(-c2ccc(OC(F)(F)F)cc2)nc1CC1CC1.[H].[H][Al+3].[Li+].[H].[H].>>redients are commonly selected for creating Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1. could portray the reaction equations. Chemicals used in the formulation of redients are commonly selected for creating Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1  can be chosen from CCOC(=O)c1c(C(F)(F)F)cc(-c2ccc(OC(F)(F)F)cc2)nc1CC1CC1.",
        "B": "It's possible for reactions to manifest, with CC(F)(F)c1cc(B2OC(C)(C)C(C)(C)O2)ccc1Cl.Cc1nccn1Cc1cc(Cl)cnn1>>redients are commonly selected for creating Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1. potentially representing reaction equations. Materials used in the composition of Cc1nccn1Cc1cc(-c2ccc(Cl)c(C(C)(F)F)c2)cnn1 and Cl  can be selected from CC(F)(F)c1cc(B2OC(C)(C)C(C)(C)O2)ccc1Cl and Cc1nccn1Cc1cc(Cl)cnn1.",
        "D": "Materials used for manufacturing redients are commonly selected for creating Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1  can be chosen from COc1cccc2c1ccc1c(C(=O)O)cc3c(c12)OCO3. Reactions could potentially emerge, with COc1cccc2c1ccc1c(C(=O)O)cc3c(c12)OCO3.Cl.c1ccncc1>Cl>redients are commonly selected for creating Cc1oc(-c2ccccc2)nc1COc1ccc2cc(CC3SC(=O)NC3=O)cnc2c1. possibly serving as indicators of reaction equations."
    },
```1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

Mol2Caption 分子描述任务的题目展示如下：

```
 {
        "question": "Describe this molecule.\nO=C(NCc1ccco1)c1cc2ccccc2o1",
        "answer": "B",
        "B": "The molecule is a benzofuran derivative.",
        "A": "The molecule is a member of steroids.",
        "C": "The molecule is a member of carboxylic acids.",
        "D": "The molecule is a member of flavonoids."
    },
```1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

同时，7B开源模型、GPT-3.5、GPT-4 在 ChemBench 上的化学能力由弱变强，符合人们对于这些模型使用上能力的认知，也进一步反映了ChemBench测评的有效性和客观性。

ChemBench：大语言模型化学能力评测数据集-AI.x社区