阿里巴巴研究院推出 XiYan-SQL：用于Text-to-SQL的多生成器集成人工智能框架 原创

01、概述

随着人工智能技术的迅速发展，如何让普通用户轻松查询复杂数据库成为一个备受关注的课题。最近，阿里巴巴研究院推出了一项突破性技术——XiYan-SQL，它为自然语言到SQL（NL2SQL）的任务提供了全新解决方案。这项技术不仅提升了查询的精确度，还实现了跨数据库的高适配性，为大数据时代的信息挖掘带来了新契机。

02、什么是NL2SQL？

NL2SQL是一种自然语言处理（NLP）技术，可以将人类的自然语言查询转化为结构化查询语言（SQL）语句。简单来说，它让不懂编程的用户也能像“对话”一样与数据库互动，从复杂的数据中快速提取有用信息。例如，用户输入一句“查询过去一周的销售额”，系统就能生成相应的SQL语句：

SELECT SUM(sales) FROM orders WHERE date > CURRENT_DATE - INTERVAL 7 DAY;

这项技术广泛应用于金融、医疗、零售等领域，在提升工作效率和决策能力方面起到了重要作用。然而，现有方法在生成SQL时，往往难以兼顾精确度与通用性。XiYan-SQL正是为了解决这一核心痛点应运而生。

03、当前NL2SQL技术的难题

尽管NL2SQL的潜力巨大，但在实际应用中仍面临以下挑战：

• 查询精确度与适配性的平衡：传统方法要么生成高度精确的SQL，但在多种数据库结构中表现有限；要么尝试通用性，但生成的SQL不够准确。
• 计算资源的限制：许多方法依赖大型语言模型（LLM）进行多次输出筛选，计算负担过重，不适合实时应用。
• 跨领域适配能力不足：现有框架往往在训练的特定领域表现优秀，但面对未见过的数据库或复杂查询时显得力不从心。

为解决上述问题，阿里巴巴研究团队综合了最新的技术成果，设计出XiYan-SQL，通过全新框架实现了精确度、适配性与高效性的统一。

04、XiYan-SQL的技术亮点

XiYan-SQL的核心创新体现在其多生成器集成框架和先进的半结构化模式表示方法（M-Schema）上，具体包括以下几点：

1. 半结构化模式表示（M-Schema）

传统SQL生成系统常因无法理解数据库的复杂层次结构而出错。为此，XiYan-SQL引入了M-Schema，通过整合关键数据元素（如数据类型、主键和示例值），提升了对数据库结构的理解能力。

• 层次结构识别：通过识别表与字段的关联关系，优化查询逻辑。
• 减少冗余信息：仅保留关键属性，大幅提高生成效率。这一创新不仅帮助系统生成更贴合上下文的SQL，还显著减少了语法和逻辑错误。

2. 多生成器集成策略

在SQL生成阶段，XiYan-SQL结合了两种生成器：

• 基于提示学习（ICL）的生成器：利用大语言模型（如GPT-4）生成多样化SQL，提升语法和风格的多样性。
• 基于监督微调（SFT）的生成器：通过任务优化的小型模型，实现快速且高质量的生成。两者协同工作，使生成的SQL既具有多样性，又能满足复杂查询需求。

3. 多层纠错与筛选机制

生成SQL只是第一步，确保生成结果的准确性同样重要。XiYan-SQL采用三阶段纠错与筛选流程：

• 纠错模型：对初始生成的SQL进行语法和逻辑错误修复。
• 候选筛选：通过深度优化的筛选模型，精确挑选最优SQL。
• 综合优化：将逻辑一致性作为最终判断标准，替代传统的“自一致性策略”。

这一套机制有效提升了系统的鲁棒性和准确度。

05、性能测试

为了验证XiYan-SQL的表现，研究团队进行了多项严格测试。以下是主要成果：

• Spider基准测试：执行准确率高达89.65%，相比前沿模型大幅提升。
• SQL-Eval评测：取得69.86%的优异成绩，比前一代SQL-Coder-8B高出8个百分点。
• 非关系型数据库测试（NL2GQL）：准确率41.20%，创造了新纪录。
• Bird开发集：表现接近最优框架，准确率达到72.23%，仅比最高记录低不到1个百分点。

这一系列结果证明了XiYan-SQL在各种数据库场景中的适配性和稳定性。

06、关键优势总结

XiYan-SQL的卓越表现，源于其技术上的多重突破：

• 创新的数据库模式表示：通过M-Schema，显著提升了框架对复杂数据库结构的理解能力。
• 多样化的SQL生成策略：多生成器协作，满足不同场景的查询需求。
• 严密的纠错与筛选机制：保障生成结果的精确性和一致性。
• 跨领域的适配能力：无论是关系型数据库还是非关系型数据库，均展现出色的适应力。
• 领先的性能表现：多项基准测试的优异成绩，充分体现了这一框架的技术实力。

07、结语

XiYan-SQL的发布，不仅代表了当前NL2SQL领域的技术前沿，也为未来的数据库交互方式指明了方向。随着数据量的指数级增长，能够以自然语言快速提取信息的能力将变得至关重要。XiYan-SQL的成功表明，通过多技术整合与创新设计，可以有效克服现有框架的瓶颈。

未来，这一框架有望进一步优化，并广泛应用于智能助手、企业分析工具、数据可视化平台等领域，让数据查询变得像聊天一样简单。

参考：

1. ​​https://arxiv.org/abs/2411.08599v1​​
2. ​​https://github.com/XGenerationLab/XiYan-SQL​​

本文转载自公众号Halo咯咯 作者：基咯咯

原文链接：​​https://mp.weixin.qq.com/s/brQ2HagCbcgQn_9rdUA31A​​