大语言模型插件功能在携程的Python实践

{
      "sid": "FSDjX-WRwSA4zTZMALqx",  // 会话的ID，它必须包含在后续所有HTTP请求的查询参数中
      "upgrades": ["websocket"],  // 数组包含服务器支持的所有“更好”传输的列表
      "pingInterval": 25000,  // 心跳检测时间，25秒
      "pingTimeout": 20000  // # 心跳超时时间，20秒
  }

all_plugins = {
    "google": {
        "name_cn": "谷歌搜索",  # 中文名称
        "sync": True,  # 是否同步执行
        "message": "{result}",  # 返回给用户的消息
        # info内容为符合ChatGLM3 function call规范的函数定义
        "info": {
            "name": "google",  # 函数名
            "description": "当问题需要进行实时搜索(如今天的日期或者今天的天气等)时, 或者无法回答时, 使用 google 搜索",  # 函数描述
            "parameters": {
                "type": "object",
                "properties": {
                    "keyword": {  # 传参参数名
                        "type": "string",  # 参数数据类型
                        "description": "搜索的关键词"  # 参数描述
                    }
                },
                "required": ["keyword"]  # 必填参数
            }
        }
    },
    "ping": {
        "name_cn": "ping",
        "sync": False,
        "message": "使用ping插件，由于该任务执行时间比较长，完成后我会主动将结果发送给您。请耐心等待。如果您有其他问题，可以继续提问。",
        "info": {
            "name": "ping",
            "description": "使用ping工具对IP地址进行ping测试",
            "parameters": {
                "type": "object",
                "properties": {
                    "addr": {
                        "type": "string",
                        "description": "被ping的ip或者域名"
                    }
                },
                "required": ["addr"]
            }
        }
    }
}

class Functions:
    @classmethod
    def ping(cls, **kwargs):
        """ping实现"""
        # 省略ping的代码实现
        pass


    @classmethod
    def google(cls, **kwargs):
        """google搜索实现"""
        # 查询关键字
        keyword = kwargs['keyword']
        # 搜索结果
        search_context = []
        # 使用google api搜索
        res = server['service'].cse().list(q=keyword, cx=server['cx'], ).execute()
        # 遍历搜索结果
        for row in res.get('items', []):
            # 提取每条搜索结果的简要信息
            search_context.append(row['snippet'])
        # 汇总搜索结果和问题组成prompt
        prompt = [{"role": "user", "content": f"请结合以下内容，回答问题：{keyword}\n" + "\n".join(search_context)}]
        # 调用大语言模型生成答案
        return reply_text(prompt)

import torch
from transformers import AutoTokenizer, AutoModel


def main():
    """使用插件时回复文字"""
    DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'
    tokenizer = AutoTokenizer.from_pretrained('/home/chatglm3-6b', trust_remote_code=True)
    model = AutoModel.from_pretrained('/home/chatglm3-6b', trust_remote_code=True).to(DEVICE).eval()
    # 汇总所有的插件信息
    tools = [plugin['info'] for plugin in all_plugins.values()]
    # 将插件信息设置在对话历史中
    history = [{"role": "system", "content": "Answer the following questions as best as you can. You have access to the following tools:", "tools": tools}]
    # 调用function calling
    response, _ = model.chat(tokenizer, query, history=history)
    # 获取匹配的插件名称
    plugin_name = response.get("name", "")
    # 获取匹配的插件参数
    arguments = response.get("parameters", {})
    # 没有匹配到插件则退出
    if not plugin_name:
        return None
    # 获取插件完整信息
    plugin = all_plugins[plugin_name]
    # 使用反射机制获取插件对应的函数对象
    func = getattr(Functions, plugin_name)
    # 执行函数并返回结果
    res = func(**arguments)
    return res

from flask import Flask
from flask_socketio import SocketIO


# flask原始 app
web_app = Flask(__name__, static_folder=Config.STATIC_PATH)


# socketIO包装app
socketio = SocketIO(web_app, cors_allowed_origins="*", logger=True)


# 可监听连接和断开
@socketio.on('connect')
def handle_connect():
    print("connect")


@socketio.on('disconnect')
def handle_disconnect():
    print("disconnect")


# 本地启动app
if __name__ == '__main__':
    socketio.run(web_app, address, port, allow_unsafe_werkzeug=True)

def main(user, question):
    """使用插件时回复文字"""
    ...代码同上
    # 使用反射机制获取插件对应的函数对象
    func = getattr(Functions, plugin_name)
    # 判断插件是否同步
    if plugin['sync']:
        # 同步的插件，直接调用函数
        res = func(**arguments)
    else:
        # 异步的插件，这里使用线程池示例执行异步任务
        thread_pool = ThreadPool(3)
        
        # 定义回调函数, 接收到结果后推送给前端
        def callback(result):
            # 推送给前端
            socketio.emit(user, f"任务结果为: {result}")


        # 异步调用
        res = thread_pool.apply_async(func, kwds=arguments, callback=callback)
    return res