大模型训练完成之后可以直接使用吗？该怎么使用训练好的大模型？ 原创

huggingface官网地址：https://huggingface.co/models 需科学上网

import torch
from torch import nn
# 神经网络结构 当作例子没有具体实现
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        pass


    def forward(self, x):
        return x


# 创建一个模型对象
model = MyModel()


# 第一种保存模型的方式
torch.save(model, "my_model.pth")


# 第二种保存模型的方式 使用dict字段保存参数
torch.save(model.state_dict(), "dict_my_model.pth")

import torch
from torch import nn
# 神经网络结构 当作例子没有具体实现
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        pass


    def forward(self, x):
        return x


# 创建一个模型对象
model = MyModel()


# 第一种保存模型的方式
torch.save(model, "my_model.pth")


# 第二种保存模型的方式 使用dict字段保存参数
torch.save(model.state_dict(), "dict_my_model.pth")


# 第一种加载模型的方式 有了这个之后就不需要使用 model = MyModule()创建模型了
load_model = torch.load("my_model.pth")
print(load_model)




# 第二种加载方式 这里只会加载模型的参数
dict_load = torch.load("dict_my_model.pth")
print(dict_load)


#  因此，需要先创建模型，再从字典中加载参数
dict_model = MyModel()
dict_model.load_state_dict(torch.load("dict_my_model.pth"))
print("------------------")
print(dict_model)

from transformers import AutoTokenizer, AutoModelForCausalLM


# 大模型名词
model_id = "shenzhi-wang/Llama3-8B-Chinese-Chat"


# 加载分词器 在自然语言处理中，需要对文字进行分词 并转换为神经网络能够识别的向量格式
tokenizer = AutoTokenizer.from_pretrained(model_id)


# 加载大模型
model = AutoModelForCausalLM.from_pretrained(
    model_id, torch_dtype="auto", device_map="auto"
)






"""


 用户使用，按照大模型提供的输入案例来操作
"""
messages = [
    {"role": "system", "content": "You are Llama3-8B-Chinese-Chat, which is finetuned on Llama3-8B-Instruct with Chinese-English mixed data by the ORPO alignment algorithm. You, Llama3-8B-Chinese-Chat, is developed by Shenzhi Wang (王慎执 in Chinese). You are a helpful assistant."},
    {"role": "user", "content": "介绍一下你自己"},
]


# 数据预处理
input_ids = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)


# 大模型只能识别向量格式的数据，所以在开始之前需要对数据进行预处理
outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)


# 获取结果
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

import torch
from torch import nn
# 神经网络结构 当作例子没有具体实现
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        pass

    def forward(self, x):
        return x

# 创建一个模型对象
model = MyModel()

# 第一种保存模型的方式
torch.save(model, "my_model.pth")

# 第二种保存模型的方式 使用dict字段保存参数
torch.save(model.state_dict(), "dict_my_model.pth")

# 第一种加载模型的方式 有了这个之后就不需要使用 model = MyModule()创建模型了
load_model = torch.load("my_model.pth")
print(load_model)


# 第二种加载方式 这里只会加载模型的参数
dict_load = torch.load("dict_my_model.pth")
print(dict_load)

#  因此，需要先创建模型，再从字典中加载参数
dict_model = MyModel()
dict_model.load_state_dict(torch.load("dict_my_model.pth"))
print("------------------")
print(dict_model)

""" 数据预处理 """
def process_prefix(param):
    # params是输入参数，自然语言处理中就是字符串，计算机视觉处理中就是图片或视频
    # 把参数转换为张量/向量
    inputs = torch.Tensor(param)
    """
        当然，这里只是简单举个例子，实际的预处理要比这复杂的多，不但要实现功能，还有保证接口的可扩展性，以及上层功能的调用
    """
    return inputs

# 把用户输入转化为向量后 输入到模型中
resp = dict_model(process_prefix(""))

def process_post(resp):
    """
        这里主要对模型的输出进行处理，不同的模型输出数据格式不一，所以为了使用的方便，需要对模型输出进行处理
    """