微软LazyGraphRAG来了,700倍成本压缩!

发布于 2024-11-28 15:56
浏览
0收藏

微软最新又改版了一波GraphRAG,这波把知识图谱丢了,只剩下无向图了。

带来的优势是:

  • LazyGraphRAG 数据索引成本与向量 RAG 相同,且为全图 RAG 成本的 0.1%。
  • 对于与向量 RAG 相当的查询成本,LazyGraphRAG 在局部查询中优于所有竞争方法,包括LongRAG 和 GraphRAG DRIFT 搜索以及 GraphRAG 局部搜索。
  • 相同的 LazyGraphRAG 配置在全局查询方面也显示出与 GraphRAG 全局搜索相当的答案质量,但查询成本降低了 700 多倍。
  • 对于 GraphRAG 全局搜索的 4%查询成本,LazyGraphRAG 在本地和全局查询类型上,包括 C2 级别的 GraphRAG 全局搜索(大多数应用推荐的三级社区层次)上,显著优于所有竞争方法。

微软LazyGraphRAG来了,700倍成本压缩!-AI.x社区

图 1. 展示 LazyGraphRAG 在(100,500,1,500)相关性测试预算下,相对于每个(局部,全局)查询和(全面性,多样性,赋权)指标组合的竞争条件下的胜率簇状柱状图

二者区别:

  • 放弃实体关系抽取(关系太吃token了),抽取概念,构建无向概念图。再次基础上,层次化社区构建
  • 放弃社区报告,推理时处理
  • query做sub-q,做遍历,涉及到一些排序的策略,比如根据文本块的相关性去筛选社区。然后又判断社区的前k个文本块的相关性,决定是否要去筛选子社区。 大概就是没有社区报告了,从文本来入手了。
  • 生成答案差不多,map-reduce, 每个sub-q针对检索结果,生成结果,最后总结结果。微软LazyGraphRAG来了,700倍成本压缩!-AI.x社区

本文转载自 NLP前沿

收藏
回复
举报
回复
相关推荐