LangServe如何革新LLM应用部署？

from fastapi import FastAPI
from langchain.prompts.chat import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
)
from langchain_openai import ChatOpenAI
from langserve import add_routes


# FastAPI是一个基于Python的Web框架，用于构建高性能、可扩展的API
app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="A simple API server using Langchain's Runnable interfaces",
)


# 接口1
add_routes(
    app,
    ChatOpenAI(),
    path="/openai",
)


# 接口2
system_message_prompt = SystemMessagePromptTemplate.from_template("""
    You are a helpful assistant that translates {input_language} to {output_language}.
""")
human_message_prompt = HumanMessagePromptTemplate.from_template("{text}")


chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])


add_routes(
    app,
    chat_prompt | ChatOpenAI(),
    path="/translate",
)


if __name__ == "__main__":
    import uvicorn
    # Python的Web服务器
    uvicorn.run(app, host="localhost", port=9999)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.

python app.py
1.

from langchain.prompts.chat import ChatPromptTemplate
from langserve import RemoteRunnable


# 配置远程接口
openai_llm = RemoteRunnable("http://localhost:9999/openai/")


# 创建提示词
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一名资深的AI大模型专家"),
        ("human", "请帮忙讲解一下，有哪些常用的通用开源大模型，中外各自罗列5个"),
    ]
).format_messages()


# LLM接口调用
openai_llm.invoke(prompt)


# 输出：
# AIMessage(content='当谈论通用开源大模型时，常常会提到自然语言处理（NLP）领域中的预训练模型。以下是中外各自常用的5个通用开源大模型：
# **国外：**
# 1. BERT（Bidirectional Encoder Representations from Transformers）：由Google开发，是一种基于Transformer架构的预训练模型，用于各种NLP任务。
# 2. GPT-3（Generative Pre-trained Transformer 3）：由OpenAI发布，是一个非常大的语言生成模型，可以用于文本生成等任务。
# 3. RoBERTa（A Robustly Optimized BERT Approach）：由Facebook发布的预训练模型，基于BERT进行了一些优化，用于提高性能。
# 4. T5（Text-to-Text Transfer Transformer）：由Google发布，是一个通用的文本生成模型，可以应用于多种NLP任务。
# 5. XLNet：由谷歌Brain团队发布，是一种自回归预训练模型，结合Transformer-XL和自回归方法。
# **国内：**
# 6. ERNIE（Enhanced Representation through kNowledge Integration）：由百度发布，是一种基于Transformer架构的多语言预训练模型，融合了知识融合的方法。
# 7. GPT-2（Generative Pre-trained Transformer 2）：由哈工大讯飞联合实验室发布，是一个类似于GPT-3的语言生成模型，用于文本生成等任务。
# 8. HFL/THU Bert：由清华大学自然语言处理与社会人文计算实验室发布，是一个BERT的中文预训练模型，适用于中文NLP任务。
# 9. RoFormer：由华为发布，是一种优化的中文预训练模型，用于中文NLP任务。
# 10. PaddleNLP：由百度发布，是一个NLP模型库，提供了多种预训练模型，包括BERT、ERNIE等，适用于各种NLP任务。')
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.