deepseek原理+应用+实践,和大家分享:
- 小众的,deepseek核心技术原理;
- 大众的,提示词要怎么写;
画外音:文末有大彩蛋。
今天和大家聊聊,deepseek的核心技术之一的知识图谱激活。
什么是知识图谱(Knowledge Graph)?
互联网上有很多孤立的信息,知识图谱以一种图的形式,通过实体(Entity),关系(Relation)和属性(Atrribute)这个三维组将这些信息组织起来,形成知识,来描述这个世界,这就是知识图谱。
知识图谱简直就是为AI量身定做的:
(1) 信息检索效率极大提升
- 传统:关键词匹配
- 知识图谱:语义关联
(2) 推理速度极大替身
- 传统:海量数据分析(秒,十秒级)
- 知识图谱:节点跳转(毫秒级)
(3) 可解释性强
- 传统:难以解释
- 知识图谱:按照路径推理
结合前几天两处核心知识的铺垫:
- 多跳推理:将信息关联,整合与推理;
- MOE:模型不再追求大而全,而是追求多个专而精的专家;
知识图谱能够以MOE训练出的多个专家为核心,将知识快速组织与关联起来。
那什么是知识图谱激活?
Knowledge Graph Activation,AI通过MOE预训练,得到了非常多专家核心节点。在回答用户问题的时候,需要:
- 快速定位专家类型;
- 快速加载专家子图谱;
这个过程,就是知识图谱激活。
知识图谱激活对我们写提示词,获取更佳的回答质量有什么启示呢?
为了提高效率与质量,可以在提示词中:
- 实体(Entity)或者属性(Atrribute)明确化:包含能够快速定位专家身份的关键词;
- 关系(Relation)显式化:包含能够快速定位专家身份的关键词;
- 领域或者身份显式化:明确告知领域,或者明确定义专家(专家团)身份;
画外音:MOE机制支持定义多专家身份,并且多个身份交叉验证能够提升回复质量。
如果我们不显式告诉AI希望他扮演什么专家:
- AI需要通过提示词推理出MOE专家角色,占用深度思考时间,效率会降低;
- 有概率推理出错误的专家,回复质量会下降;
案例一:属性明确化。
bad case:请介绍“架构师之路”。
这样的提示词,完全不符合预期。
画外音:Kimi居然还需要搜索,说明无法解答相关知识。
better case:请介绍帅气的“架构师之路”?
加入明确的属性,AI立刻能识别,载入并激活正确的知识子图谱,快速输出高质量内容。
画外音:Kimi不需要搜索,说明学习并固化了相关知识,形成了“真理”。
案例二:关系显示化。
bad case:请介绍几种降低通讯延时的方法。
软件?硬件?哪个领域?这样的提示词,未必能够找到正确的专家子节点。
better case:请介绍几种互联网架构中,降低服务与数据库通讯延时的方法。
通过提示词告之显示的关系:
互联网架构 -> 服务与数据库 -> 通讯延时
提升定位专家节点的效率,快速输出相关的知识。
案例三:领域或者身份显示化。
上面的case,还可以这么优化。
best case:假设你是由以下专家组成的团队:
- 分布式领域系统架构师
- 互联网资深网络工程师
- 资深DBA
请分别从各自领域提出3种降低服务与数据库通讯延时的方法。
直接定位专家节点,缩短回复时间,提升回答质量,多个专家还能够交叉验证(大而全模型可能过拟合)。
总结
- 知识图谱是AI的核心技术(之一),通过实体,关系,属性组织与描述现实世界的信息,形成知识;
- 知识图谱激活能极大提升AI输出效率与输出质量;
- 提示词通过属性明确化,关系显示化,领域与身份显示化,能够最大化发挥AI的潜力;
一切的一切,提示词只有适配了AI的认知模式,才能最高效的发挥最大的作用。
知其然,知其所以然。
思路比结论更重要。
补充阅读材料:
《知识图谱激活》:https://www.clouddatainsights.com/activating-an-active-metadata-knowledge-graph-for-data-management-applications/