AI.x社区

BERT通过使用其双向方法帮助机器理解人类语言的场景，从而增强NLP的性能。本文探讨BERT如何实现这一目标。大型语言模型(LLM)对人类语言的理解和处理起到了重要的催化作用。自然学习处理(NLP)弥合了人类与机器之间的沟通鸿沟，带来了无缝的客户体验。NLP对于解释具有直接意图的简单语言非常有用。但是，当涉及到解释由同音异义词、同义词、反义词、讽刺等引起的文本歧义时，它还有很长的路要走。“来自Transformers的双向编码器...

1.背景大型语言模型（LLMs）在众多语言任务中展现出非常不错的效果，然而，LLMs中的幻觉现象正极大地削弱它们的可信度和实用性。一种解决大语言模型幻觉的方法是检索增强生成（RAG），通过检索文档来提供基于检索到文档中的事实信息的更准确的用户查询答复。大语言模型幻觉（Hallucination）是指大语言模型产生错误或者误导性的信息。然而，RAG并未完全根除幻觉，这样因此激发大量研究来提高RAG的准确性。一个不完善的RAG系统，...

一、背景本文中我们继续介绍一种LLM推理优化相关的工作，通过路由的方式组合多个模型；其与投机采样类似，通过多个不同规模和性能的模型组合来降本增效，然而又有本质的区别。投机采样在一个Query内会反复调用大小模型，而路由方式在调用之前已经确定好需要调用哪个模型，直到调用结束。目前常见有两种路由的范式：按意图路由：与传统意图识别思路类似。其思路是虽然小模型可能整体实力不如大模型，但是在某些垂类可能与大模型...

一、结论写在前面​论文标题：ASurveyofPromptEngineeringMethodsinLargeLanguageModelsforDifferentNLPTasks论文链接：​​https:arxiv.orgpdf2407.12994​​大型语言模型（LLMs）在众多不同的自然语言处理（NLP）任务上展现出卓越的性能。提示工程在增强LLMs已有的能力方面发挥着关键作用，以在各种NLP任务上实现显著的性能提升。提示工程需要编写称为提示的自然语言指令，以结构化的方式从LLMs中引出知识。与先前的最先进（S...

最近OpenAI的大动作极为频繁，公司于7月18日宣布推出新的生成式AI模型"GPT4oMini"。同时还在开发一个名为"Strawberry"的更高级AI模型，前日又发布了SearchGPT，可以说是十分高产了。OpenAI发布SearchGPT，对标Perplexity，与Google竞争但是据TheInformation最新报道，OpenAI正面临严峻的财务危机。这家ChatGPT的开发商在2024年遭遇高达50亿美元的亏损，并有可能在未来12个月内耗尽现金储备。这一惊人预测基于一份未公开的财务数...

多模态实体链接的重要性与挑战多模态实体链接（MultimodalEntityLinking,MEL）是知识图谱领域中的一项基础任务，旨在将文档中的提及（mentions）链接到知识库中的实体。随着社交媒体和互联网的发展，文本和视觉的多模态性成为数据任务中的重要媒介。同时，线上信息的质量参差不齐，许多提及本身含糊不清，上下文信息粗糙，仅依靠文本模态往往难以进行有效消歧。然而，文本和视觉模态的结合往往能更精确、更轻松地进行消歧。例如...

大家好，我是HxShine今天分享一篇GoogleDeepMind公司的一篇文章，Title:FromRAGtoRICHES:RetrievalInterlacedwithSequenceGeneration：从RAG到RICHES：在生成过程中完成检索。这篇文章提出了一种新的方法RICHES，它将检索RAG与生成完全结合在一块。RICHES消除了对单独构建RAG系统再结合LLM进行生成的模式，为传统的RAG系统提供了一种替代方案。它通过直接解码其内容来检索文档，并受到语料库的约束。RICHES允许我们仅通过提示即...

今天，Meta发布了Llama3.1模型，延续了他们从最初的Llama3“预览版”开始就践行的开源理念，即尽早发布和频繁发布。Llama3.1模型有三种规模：8B、70B和长期传闻中的405B参数。对于其规模来说，这些模型是同类中最优秀的开源模型。4050亿参数模型直接与Anthropic的Claude3和OpenAI的GPT4o处于同一水平。Llama3.1的营销以及Meta的AI战略正在直接推动将开源软件实践转化为开源AI。这次发布的核心和AI的未来是AI能有多“开源”，以...

出品51CTO技术栈（微信号：blog51cto）美东时间7月25日，OpenAI官方网站上发布了全新的人工智能搜索功能原型SearchGPT，这一举措也被视为OpenAI与亚马逊创始人贝索斯支持的初创公司Perplexity之间更为直接的竞争。据OpenAI表示，目前SearchGPT只是一个临时原型，未来计划将部分新功能直接融入ChatGPT。1.传言成真5月份就有传言称OpenAI将推出自己的搜索引擎，不过在5月13日OpenAI春季发布会中这款搜索引擎并未发布，SamAltman当...

出品51CTO技术栈（微信号：blog51cto）Llama3.1405B被吐槽太笨重？英伟达对手AI新星Groq一招绝杀：上LPU直接速度翻倍，直接让Llama3.1飞升AGI!Meta最新发布的Llama3.1405B的开源让AI圈不平静了！追捧者感慨"GPT4o的能力已握在手中”，而批评者反驳说，大体量消耗这么多算力，有些结果跑得还不如GPT4omini，太失望了！不过，Meta与英伟达劲敌Groq的联手直接让速度问题从此消失了！Groq利用自己的超级速度向社区提供最新的Llama3....

Meta的Llama3.1再经历过泄露、再泄露事件，酝酿了几天，终于在2024.7.23最后十几分钟发布了，包括8B、70B、405B三个尺寸：Llama3.1系列模型特点Llama3.1是一个自回归语言模型，使用优化的变换器架构。调整版本使用监督式微调（SFT）和基于人类反馈的强化学习（RLHF）以符合人类对有用性和安全性的偏好。提供8B、70B和405B三种大小的模型。预训练数据来自公开可用的在线数据，微调数据包括公开可用的指令数据集以及超过2500万个...

在《迷人的数据与香农的视角》一文中，我介绍了自己的“顿悟”：事物由不同层次的随机变量展现出来的信息来表达，不同层次上的随机变量携带不同的信息，共同组合影响上一层的随机变量的信息表达，而随机变量对外表达的信息则取决于该随机变量的条件概率分布。不少朋友赞同，同行更认为与深度学习相通。如果真正理解了这句话的涵义，你其实已经理解了深度学习的精髓。例如识别一个人，体形、肤色、脸型、眼睛、鼻梁、嘴角等等，...

大型语言模型的成功主要归功于Transformer架构的引入，Transformer通过自注意力机制和交叉注意力机制，能够有效地处理长距离依赖关系，使得模型在理解和生成语言方面表现出色。这些技术进步使得LLMs在各种应用中得到了广泛应用，包括自动翻译、文本生成、对话系统等。尽管LLMs展示了强大的语言处理能力，它们在信息处理方式上与人类存在根本差异。人类的认知不仅依赖于语言，还包括体验、情感和社会互动等多方面的因素。因此，...

如果你询问任何正在使用大型语言模型（LLM）构建智能代理的开发者，他们很可能会告诉你，智能代理在规划和推理方面的不足是影响其可靠性的一个主要问题。智能代理的规划究竟是什么？目前人们是如何克服这一缺陷的？我们对智能代理未来规划和推理的发展趋势有何预测？接下来的文章将一一解答这些问题。编辑注：本文经翻译并二次整理自planningforagents一文。规划和推理的真正含义是什么？智能代理的规划和推理，指的是它如何思...

有朋友问我，现在这么多大语言模型，哪一款最好用？这并没有标准答案，每个模型都有自己独特优势，需要根据具体的使用场景来区分。带大家一起盘点下国内比较常用的几款大模型及其特性，看看哪款适合你？百度——“文心一言”大模型产品介绍文心一言是百度基于文心大模型打造的生成式AI产品，具备跨模态、跨语言的深度语义理解与生成能力。2023年10月，文心大模型4.0版本发布，实现基础模型的全面升级，理解、生成、逻辑、记忆四...

今天给大家介绍一篇清华大学关于深度时序模型的最新综述性工作。这篇文章的着眼点是深度时间序列模型的模型结构方面，提供了各类时间序列问题的深度学习模型结构发展过程和效果对比，并提供了一套复现各类深度时序模型的开源代码，目前git上已经5k+个star。下面整体介绍一下本文的核心内容，包括任务类型、基础模块、模型结构、Benchmark、实验评估等5个部分。其中，开源代码的代码解析，已经逐步更新到了知识星球中，感兴趣的...

论文链接：https:arxiv.orgpdf2407.16655项目主页：https:aimuofa.github.ioMovieDreamergithub链接：https:github.comaimuofaMovieDreamer亮点直击MovieDreamer，一个新颖的分层框架，将自回归模型与扩散渲染结合起来，平衡长时间叙事连贯性与短时间视觉保真度。该方法大幅延长了生成视频内容的时长，达到数千个关键帧。使用多模态自回归模型生成视觉token序列。自回归模型支持zeroshot和fewshot的个性化生成场景，并支持可变...

Stability.ai开源了创新视频模型StableVideo4D（简称“SV4D”），可将一个视频轻松创建8个角度的动态3D视频。使用方法也非常简单，用户只需要上传视频然后选择3D相机姿势，经过大约40秒左右的推理就能完成视频创建。相比SV3D、STAG4D等同类模型，SV4D的推理效率和生成质量都获得了大幅度提升。开源地址：https:huggingface.costabilityaisv4d以目前的技术，用单个视频生成动态3D视频面临不少难题。因为这涉及同时推理对象在未见...

OpenAI宣布正在测试全新搜索引擎产品SearchGPT，用户通过文本问答方式就能获取有相关来源的答案。例如，在体育领域今天有哪些重大新闻，SearchGPT就能快速生成带图片有来源的新闻，并附带详细的有清晰、内联、命名的属性和超链接。传统的搜索引擎在收录网址时非常慢，根据权重不同通常需要几小时甚至一两天才能完成。而SearchGPT的效率非常高，几乎可以实时为你提供最新的资讯。SearchGPT另外一大技术优势就是，能根据搜索到的...

本文将介绍一种经精心设计的开发可靠的高性能LLM应用程序所遵循的软件设计原则——LLM三角原则。基于这一原则开发LLM应用，有助于缩短应用LLM的巨大潜力和现实世界实施面临的挑战之间的差距。引言大型语言模型(LLM)存在巨大的潜力，但是想开发出高可靠性的生产级LLM应用程序仍然存在相当大的挑战。在经历过构建了数十个LLM系统的实践后，我将成功开发LLM应用的公式提炼为任何团队都可以遵循的3+1基本原则。“LLM原生应用程序有1...