AI.x社区

当将大型语言模型（LLMs）集成到各种应用程序中时，通常需要通过检索增强生成（RAG）为基础的提示或微调等技术，引入新的信息，如领域特定知识或专有数据。然而，挑战在于确定将这些新知识灌输到模型中的最有效方法。检索增强微调（RAFT）是一种简单而强大的微调方法，可增强模型在特定领域内以“开放书本”设置回答问题的性能。开放书本是指模型可以参考文档来回答问题的范式。RAFT的操作方式是通过训练模型忽略不对回答给定问...

今天给大家分享一个加速视觉分割大模型的工作：EfficientViTSAM。这是一种新的加速SAM系列。保留了SAM的轻量级提示编码器和mask解码器，同时用EfficientViT替换了沉重的图像编码器。对于训练，首先从SAMViTH图像编码器到EfficientViT的知识蒸馏开始。随后在SA1B数据集上进行端到端训练。由于EfficientViT的效率和容量，EfficientViTSAM在A100GPU上的TensorRT加速比SAMViTH高出48.9倍，而且不会牺牲性能。开源地址：https:github...

去年6月底，我们在arXiv上发布了业内首篇多模态大语言模型领域的综述《ASurveyonMultimodalLargeLanguageModels》，系统性梳理了多模态大语言模型的进展和发展方向，目前论文引用120+，开源GitHub项目获得8.3KStars。自论文发布以来，我们收到了很多读者非常宝贵的意见，感谢大家的支持！论文链接：https:arxiv.orgpdf2306.13549.pdf项目链接(每日更新最新论文)：https:github.comBradyFUAwesomeMultimodalLargeLanguageModels...

北大和字节联手搞了个大的：提出图像生成新范式，从预测下一个token变成预测下一级分辨率，效果超越Sora核心组件DiffusionTransformer（DiT）。并且代码开源，短短几天已经揽下1.3k标星，登上GitHub趋势榜。具体是个什么效果？实验数据上，这个名为VAR（VisualAutoregressiveModeling）的新方法不仅图像生成质量超过DiT等传统SOTA，推理速度也提高了20+倍。这也是自回归模型首次在图像生成领域击败DiT。​直观感受上，话不多说...

网络开发领域的发展日新月异，并由技术进步、用户偏好和行业需求三个维度所共同驱动。随着时间的推移，网络开发的趋势也在不断变化，这就要求开发人员必须适应新的变化和需求，以保持其工作效率和市场竞争力。针对这些挑战，专门的JavaScript库提供了一种有效的解决方案，帮助开发人员迅速适应这一变化过程。近年来，我精心筛选了网络开发领域内的一些热门主题，并围绕这些主题搜集了一系列实用的JavaScript库。借助这些精选的...

研究人员创建了一个奇特的机器学习模型，用于寻找更广泛的提示，以训练聊天机器人避免产生仇恨或有害的输出。用户可以要求ChatGPT编写计算机程序或总结一篇文章，AI聊天机器人很可能能够生成有用的代码或写出合理的摘要。然而，也有人可能会要求制造炸弹的说明，而聊天机器人也可能会提供这些。为了防止这种情况以及其他安全问题，通常构建大型语言模型的公司会使用一种称为“红队测试”的过程进行保障。人类测试团队编写旨在触...

Grok1.5V是下xAI第一代多模态大模型，除了其强大的文本能力外，Grok现在还可以处理各种各样的视觉信息，包括文档、图表、示意图、截图和照片。Grok1.5V即将提供给早期测试人员和现有的Grok用户使用。能力Grok1.5V在多个领域与现有多模态大模型具有竞争力，从多学科推理到理解文档、科学图表、截图和照片。Grok在新RealWorldQA基准测试中表现优异，该测试衡量了对现实世界空间理解的能力。对于下面的所有数据集，在零提示的情况...

想象一个实体化的AI代理，充当家庭机器人的大脑或时尚的智能眼镜。这样的代理需要利用视觉等感知模态来理解周围环境，并能够用清晰、日常语言有效地与人交流。这类似于构建“世界模型”，即代理对外部世界的内部表示，可以通过语言查询。这是一个长期愿景和一个艰巨的研究挑战——Meta正在积极探索。近日，Meta发布了开放词汇体验问答（OpenEQA）框架——一个衡量AI代理通过开放词汇问题来理解其环境的新基准。这类似于我们如何...

出品51CTO技术栈（微信号：blog51cto）围绕使用AI助手减少手动工作、利用代码生成器提高软件开发者生产力和通过生成式AI进行创新，业界正掀起一股热潮。这些商业机遇促使许多开发团队构建知识库，使用向量数据库，并将大型语言模型（LLMs）嵌入到他们的应用中。构建具有LLM功能的应用程序的一些通用用例包括搜索体验、内容生成、文档摘要、聊天机器人和客户服务应用。行业实例包括在医疗保健领域开发患者门户、在金融服务领域改...

2023年10月1日，欧盟碳边境调节机制（CBAM）法规，即全球首个“碳关税”开始实施。据世界银行研究报告称，如果“碳关税”全面实施，在国际市场上，中国制造可能将面临平均26%的关税，出口量可能因此下滑21%。本文为大家深度解读碳关税，从碳关税的定义、发展历程、征收方式到相关影响、企业应对措施五个方面展开。一、碳关税的定义碳关税，即碳边界调整机制（CBAM），也称碳边境调节税，指主权国家或地区对高耗能产品进口征收的...

大型语言模型（LLMs）在自然语言处理任务中取得了显著的成功。然而，LLMs在处理需要超出其预训练内容的专业知识的查询时，往往难以提供准确的回答。为了克服这一限制，研究者提出了将外部知识源，如知识图谱（KGs），与LLMs集成的方法。KGs提供了结构化、明确且可解释的知识表示，是克服LLMs内在限制的协同方法。尽管LLMs与KGs的融合在近期研究中引起了广泛关注，但现有的方法往往仅依赖于LLM对问题的分析，忽视了KGs中丰富的认...

最近，ChatGPT推出了一项引人注目的新功能——自定义GPT，这一创新功能为用户带来了前所未有的个性化体验。通过提供特定的文档、网页链接等资料，用户可以轻松打造一个完全符合自己需求和偏好的聊天机器人。启用该功能后，聊天机器人将能够更好地理解用户的意图，提供更加个性化和精准的交流体验。这一功能的推出，无疑将为用户带来更加便捷、高效的沟通方式，让每一次交流都充满惊喜和满足。如果你暂时不想亲自动手创建定制版...

鉴于我们在Reka成功地培训了相当强大的多模态语言模型，许多人对从零开始建立基础设施并训练大型语言和多模态模型的经验特别感兴趣。我在社交媒体上经常抱怨外部（Google之外）的基础设施和代码，这让人们对我在荒野中错过了什么，以及我对什么讨厌喜欢非常好奇。所以终于有了这篇文章。这篇博客文章揭示了挑战和经验教训。我希望这篇文章对许多人来说既有趣又有教育意义。在荒野中训练LLMs（图片由DallE生成）在LLMs时代的硬件...

1概念在计算机、人工智能专业技术领域，一般将Agent译为“智能体”，其定义是在一定的环境中体现出自治性、反应性、社会性、预动性、思辨性（慎思性）、认知性等一种或多种智能特征的软件或硬件实体。AIAgent则是指由LLM驱动的智能体。目前它还没有一个被广泛接受的定义，但我们可以把它描述成这样一个系统：利用LLM推理问题，能自行创建解决问题的计划，会借助一系列工具来执行计划。简而言之，AIAgent是一个具有复杂推理能力...

通过什么方式够实现通用人工智能？近期由AGIHouse组织的一场主题演讲给出了解答。OpenAISora团队核心成员TimBrooks和BillPeebles对通用人工智能的实现分享了一些他们的看法，作为Sora研究负责人，他们表示：「视频生成技术将通过模拟一切来实现AGI」。这不禁引发了网友们的惊叹：模拟一切！兄弟，我好怕……也有网友对其所称的「模拟一切」进行调侃，认为AGI是不可能实现的。从Sora发布以来，就吸引了众多人的关注，其功能的强...

在实践中，人类预测的准确性依赖于「群体智慧」（wisdomofthecrowd）效应，即通过聚集一群个体预测者，对未来事件的预测准确率会显著提高。过去关于大型语言模型（LLMs）预测能力的工作表明，即便是最强大的LLM也仍然比不过人类的群体智慧。最近，来自伦敦政治经济学院、MIT和宾夕法尼亚大学的研究人员做了两项研究，通过简单、实际适用的预测集成方法，表明LLMs可以实现与人类群体竞赛相当的预测准确率。论文链接：​​​https...

前两天刚刚疯传的Suno挑战者、“音乐版Sora”正式现真身：正式名称Udio，已完全免费开放，每人每月有足足1200首额度，网友们都玩疯了。有人居然写了首催更奥特曼快点发布GPT5的金属作品。咳咳，更高能的甚至还创作出了脱口秀……！创始人看完都直拍大腿：这绝对是我们意料之外的功能。场面之热闹，有了Sora诞生之时的感觉了。不仅各种风格要啥有啥（古典、流行、说唱、钢琴爵士、重金属等等），还支持多种语言，中文韩文歌也可...

撰稿｜言征出品51CTO技术栈（微信号：blog51cto）AIGC圈太魔幻了，啪啪打脸的时刻总是在路上！开源的模型会变闭源，比如被认为是开源独角兽的Mistral，开始考虑“使命与商业利益之间的平衡”，推出闭源的旗舰大模型Large。当然，上一次这么说的还要数OpenAI。不过在外界看来，理由就是四个字：我、要、赚、钱！再比如，一开始攻击谷歌搜索广告泛滥的AI搜索宠儿PerplexityAI也宣布了自己网站开始卖起了广告位，同样一改对于“恰...

这就是微软与中国科技大学、香港中文大学（深圳）和浙江大学等机构合作，推出的NaturalSpeech3系统。该系统采用了创新的属性分解扩散模型和属性分解语音神经编解码器FACodec，从“表示”和“建模”两个维度对语音数据进行深入研究。通过数据模型的规模化方法，在多说话人数据集LibriSpeech上首次实现了零样本的人类水平语音合成。指定特征实现个性化输出文本到语音合成（TTS）技术作为生成式人工智能的关键分支，在大型语言模型...

啥？新版GPT4是在Q的输出上微调的？在竞技场重回榜一的新版GPT4Turbo，成功再次踩中大家嗨点。它此次的性能提升体现在数学、推理、代码上，而且输出内容废话更少。最让大家感到兴奋的是其数学推理能力，现在可以在一些问题上完胜其他大模型。比如“求yx^45x^2x+4和yx^23x交点的y坐标之和。”只有最新版GPT4Turbo能测出来。这条推特被公开承认自己参与过Q的LukaszKaiser转发。NoamBrown也发推表示新版GPT4Turbo在推理能力上大幅...