RAGFlow自动化脚本套件：自定义解析+回答质量评估+参数自动调优

def create_legal_dataset(rag_object, dataset_name="法规知识库"):
    # 添加更多高级配置
    dataset = rag_object.create_dataset(
        name=dataset_name,
        descriptinotallow="包含生物安全法等法律法规文档",
        embedding_model="BAAI/bge-m3",
        chunk_method="laws",
        permissinotallow="team",  # 设置为团队可访问
        parser_cnotallow={
            "raptor": {"user_raptor": False}
        }  # 为法律文档添加特定的解析器配置
    )
    return dataset
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

def upload_documents_with_metadata(dataset, docs_path):
    documents = []
    for filename in os.listdir(docs_path):
        if filename.endswith(('.docx', '.doc', '.pdf', '.txt')):
            file_path = os.path.join(docs_path, filename)
            with open(file_path, "rb") as f:
                blob = f.read()
                # 添加元数据
                documents.append({
                    "display_name": filename,
                    "blob": blob,
                    "meta_fields": {
                        "法律类型": "行政法规" if "条例" in filename else "法律",
                        "颁布年份": filename.split("（")[1].split("）")[0] if "（" in filename else "未知",
                        "效力级别": "国家级"
                    }
                })
    dataset.upload_documents(documents)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.

def customize_document_parsing(dataset, doc_ids):
    # 获取文档并更新解析配置
    for doc_id in doc_ids:
        docs = dataset.list_documents(id=doc_id)
        if docs:
            doc = docs[0]
            # 更新文档解析配置
            doc.update({
                "chunk_method": "laws",
                "parser_config": {
                    "raptor": {"user_raptor": True}
                }
            })
    # 然后解析文档
    dataset.async_parse_documents(doc_ids)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

def create_legal_assistant(rag_object, dataset_id, assistant_name="法规助手"):
    # 创建具有高级配置的聊天助手
    assistant = rag_object.create_chat(
        name=assistant_name,
        dataset_ids=[dataset_id],
        llm={
            "model_name": "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
            "temperature": 0.1,
            "top_p": 0.3,
            "presence_penalty": 0.2,
            "frequency_penalty": 0.7,
            "max_token": 1024
        },
        prompt={
            "similarity_threshold": 0.2,  # 设置相似度阈值
            "keywords_similarity_weight": 0.7,  # 关键词相似度权重
            "top_n": 8,  # 检索topN文档
            "rerank_model": "BAAI/bge-reranker-v2-m3",  # 使用重排序模型
            "prompt": """你是一位专业的法律顾问，精通中国法律法规，尤其是生物安全法等相关法规。
请基于检索到的法律条文，准确回答用户的问题。
回答时请：
1. 引用具体的法律条款编号
2. 解释法律条文的含义
3. 如有必要，说明条文之间的关联
4. 保持客观，不要添加个人观点
5. 如果检索结果不足以回答问题，请明确说明
{knowledge}
"""
        }
    )
    return assistant
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.

def setup_multiple_datasets(rag_object):
    # 创建多个专题数据集
    datasets = []
    topics = ["生物安全法", "传染病防治法", "野生动物保护法"]
    
    for topic in topics:
        dataset = rag_object.create_dataset(
            name=f"{topic}知识库",
            descriptinotallow=f"专门针对{topic}的法律法规解析",
            embedding_model="BAAI/bge-m3",
            chunk_method="laws",
            permissinotallow="team"  # 团队共享
        )
        datasets.append(dataset)
    
    # 创建综合法律助手，关联所有数据集
    dataset_ids = [dataset.id for dataset in datasets]
    assistant = create_legal_assistant(rag_object, dataset_ids, "综合法律法规顾问")
    
    return datasets, assistant
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.