熵减AI
LV.1
科技类博客
声望 55
关注 0
粉丝 0
私信
主帖 5
回帖
论文名称KBLAM:KNOWLEDGEBASEAUGMENTEDLANGUAGEMODELICLR2025的论文,MS系的这篇论文介绍了一种名为KBLAM(KnowledgeBaseaugmentedLanguageModel,知识库增强语言模型)的新方法,用于将外部知识库(KB)高效地集成到预训练的大型语言模型(LLM)中,以提升其在特定任务中的表现,同时避免传统方法的局限性。核心问题与背景LLM虽然在知识和推理方面表现优异,但当需要处理超出其参数存储知识的外部信息时,往往需要额外的增强手...
2h前 55浏览 0点赞 0回复 0收藏
我之前演示过几个OpenManus的demo,其实也就是demo,包括manus,现在也就是demo阶段,复杂的plan和flow,现在的代码支撑和LLM的能力都有待改善,但是我们这期不是吐槽文章,是来把OpenManus给打开看看它的实现是怎么样的,其实Manus也都差不多,甚至OWL也都差不多,我们看一个就够了。其他的几个目录也没啥特别需要看的,就看app。app里面有这么几个结构:1agent没啥好解释的2flow就是来做multiagent的planning和管理任务框架的...
9天前 664浏览 0点赞 0回复 0收藏
总结,模型门户留给GPT5去做了,4.5还是像Altman之前说的就是最后一代纯预训练。1一个超巨大的模型,grok3级别(10万卡),AK说每个0.5要提升10倍预训练算力,那对比GPT4的1.8T,也就说4.5是一个18T(18000B)级别的模型,所以必须跨多campus,异步梯度下降的训练方式(要求太高,这个目前只有grok,oai,gemini,3家真正严格实践过,anthropic都不行)。2拥有更多的知识(o3和人类比如博士生做题的合成数据),比4o能力提升百分之50(其实...
2025-03-12 00:22:42 780浏览 0点赞 0回复 0收藏
其实我这个问题不算瞎问。在你的项目里,你是真觉得GraphRAG有用,还是就图个新鲜劲,这个是非常重要的思考。RAG能干啥,其实不用复杂的解释了。传统的方式就是基于向量余弦近似度的查找,当然BM25其实也是传统RAG(别把它当新东西),常见一点的基本都有向量查找,或者向量+BM25关键字集成查找,为了方便我就画向量的了。如下图:通用LLM里不太存在专用领域的知识,RAG可以作为外挂知识库的补充,补充新的知识,另外有些问题,...
2025-02-27 13:11:25 926浏览 0点赞 0回复 0收藏
有点意思的论文2410.13639ACOMPARATIVESTUDYONREASONINGPATTERNSOFOPENAI’SO1MODEL简而言之就是曼彻斯特大学,浙大和中科大还有一些开源的项目组一些一起研究OpenAIO1的人,来发O1为什么牛B的论文。正常,研究红楼梦毕竟也有红学(我是一集红楼梦也没看过,书和电视都没看过)。。。文章主要讲分析猜测和评估OpenAI的推理模式在不同任务上的效果。同时也利用不同的模型比如GPT4o,Gemma,LLama,Qwen等尝试利用分析出来的O1的推...
2025-02-19 09:11:43 917浏览 0点赞 0回复 0收藏
获得成就
已积累 873 人气
获得 0 个点赞
获得 0 次收藏