大模型之初识RAG 原创

pip install bs4
pip install langchain_chroma
1.
2.

from utils import get_ernie_models
from utils import get_qwen_models

llm, chat, embed = get_qwen_models()
1.
2.
3.
4.

# 解析 Web 页面的库（用面向对象的方式来封装 HTML 页面）
import bs4
# hub 生态中心
from langchain import hub
# 引入 Chroma 向量库
from langchain_chroma importChroma
# 在线加载网页
from langchain_community.document_loaders importWebBaseLoader
# 输出解析器
from langchain_core.output_parsers importStrOutputParser
# 可执行的占位符
from langchain_core.runnables importRunnablePassthrough
# 文档切分器
from langchain_text_splitters import RecursiveCharacterTextSplitter
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

loader = WebBaseLoader(
    web_paths=("https://17aitech.com/?p=14624",),
    bs_kwargs=dict(
        parse_notallow=bs4.SoupStrainer(
            class_=("ast-breadcrumbs", "site-content", "md-post-toc")
        )
    ),
)

# 加载数据
docs = loader.load()
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

# 递归式 字符级 文本 切分器
"""
    chunk_size: 建议段落大小
"""
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
splits
1.
2.
3.
4.
5.
6.
7.

batch_size = 6  # 每次处理的样本数量
vectorstore = Chroma(embedding_functinotallow=embed)  # 初始化 Chroma 向量数据库并提供嵌入函数

# 分批入库
for i in range(0, len(splits), batch_size):
    batch = splits[i:i + batch_size]  # 获取当前批次的样本
    vectorstore.add_documents(documents=batch)  # 入库
1.
2.
3.
4.
5.
6.
7.

# 把向量操作封装为一个基本检索器
retriever = vectorstore.as_retriever()
1.
2.

from langchain_core.prompts import ChatPromptTemplate

# RAG系统经典的 Prompt (A 增强的过程)
prompt = ChatPromptTemplate.from_messages([
  ("human", """You are an assistant for question-answering tasks. Use the following pieces 
  of retrieved context to answer the question. 
  If you don't know the answer, just say that you don't know. 
  Use three sentences maximum and keep the answer concise.
  Question: {question} 
  Context: {context} 
  Answer:""")
])
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

def format_docs(docs):
"""
    将检索到的文档列表格式化为一个大字符串。

    参数：
    docs (list): 包含文档对象的列表，每个文档对象应具有 `page_content` 属性。

    返回：
    str: 一个由文档内容组成的大字符串，文档之间用两个换行符分隔。
    """
return"\n\n".join(doc.page_content for doc in docs)

# RAG 链
rag_chain =(
{"context": retriever | format_docs,
"question":RunnablePassthrough()}
| prompt
| chat
|StrOutputParser()
)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.

rag_chain.invoke(input="Prompt初步了解文章中，作者示例中的Langserve接口的IP地址是多少?")
1.