【模型测试】大模型评测工具OpenCompass使用方法总结 原创

conda create --name opencompass pythnotallow=3.10 -y
conda activate opencompass
1.
2.

git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .
1.
2.
3.

# 安装sentencepiece
pip install torch sentencepiece protobuf
1.
2.

# 安装torch
pip install torch torchvision torchaudio
1.
2.

# 测试API可用
from openai import OpenAI
openai_api_key = "sk-fe599*******"
openai_api_base = "https://api.deepseek.com/"
model = "deepseek-chat"


client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "你是一个很有用的助手。"},
        {"role": "user", "content": "中华人民共和国的首都是哪里？"},
    ]
)
print(chat_response.choices[0].message.content)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.

中华人民共和国的首都是北京。北京是中国的政治、文化、国际交往和科技创新中心，承载着中华民族的悠久历史和灿烂文化，同时也是中国共产党中央委员会、全国人民代表大会和国务院等国家最高权力机关的所在地。北京的发展成就充分展示了中国特色社会主义制度的优越性和中国共产党领导的伟大力量。
1.

import os
from opencompass.models import OpenAISDK


internlm_url = 'https://api.deepseek.com/'                                    # 前面获得的 api 服务地址
internlm_api_key = "sk-fe5990***"                                             # 前面获得的 API Key

models = [
    dict(
        type=OpenAISDK,
        path='deepseek-chat',               # 请求服务时的 model name
        key=internlm_api_key, 
        openai_api_base=internlm_url, 
        rpm_verbose=True,                   # 是否打印请求速率
        query_per_secnotallow=0.16,              # 服务请求速率
        max_out_len=1024,                   # 最大输出长度
        max_seq_len=4096,                   # 最大输入长度
        temperature=0.01,                   # 生成温度
        batch_size=1,                       # 批处理大小
        retry=3,                            # 重试次数
    )
]
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.

from mmengine import read_base

with read_base():
    from ..cmmlu.cmmlu_gen_c13365 import cmmlu_datasets


# 每个数据集只取前2个样本进行评测
for d in cmmlu_datasets:
    d['abbr'] = 'demo_' + d['abbr']
    d['reader_cfg']['test_range'] = '[0:1]' # 这里每个数据集只取1个样本, 方便快速评测.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

python run.py --models custom_api.py --datasets demo_cmmlu_chat_gen.py --debug
1.