AI.x社区

在构建人工智能系统的过程中，数据的质量至关重要，但现实世界中的数据往往充满了噪声，甚至被恶意投毒，这给人工智能的发展带来了巨大的挑战。如何有效地清洗这些“脏样本”，以确保模型训练的准确性和可靠性，成为了一个亟待解决的问题。近期，香港中文大学（深圳）与腾讯AILab的研究团队在ICLR2024提出了提出了一种通用的数据清洗框架（VDC），利用多模态大模型（MLLM）来识别数据集中的视觉语言不一致性，从而检测出数据集...

一、Langchain是什么？如今各类AI模型层出不穷，百花齐放，大佬们开发的速度永远遥遥领先于学习者的学习速度。。为了解放生产力，不让应用层开发人员受限于各语言模型的生产部署中..LangChain横空出世界。Langchain可以说是现阶段十分值得学习的一个AI架构，那么究竟它有什么魔法才会配享如此高的地位呢？会不会学习成本很高？不要担心！Langchain虽然功能强大，但其实它就是一个为了提升构建LLM相关应用效率的一个工具，我们也...

1、背景RTPLLM是阿里巴巴大模型预测团队开发的大模型推理加速引擎，作为一个高性能的大模型推理解决方案，它已被广泛应用于阿里内部。该引擎与当前广泛使用的多种主流模型兼容，并通过采用高性能的CUDA算子来实现了如PagedAttention和ContinuousBatching等多项优化措施。RTPLLM还支持包括多模态、LoRA、PTuning、以及WeightOnly动态量化等先进功能。随着大模型的广泛应用，如何降低推理延迟并优化成本已成为业界关注的焦点。我...

可缩放矢量图形（ScalableVectorGraphics，SVG）是用于描述二维图型和图型应用程序的基本元素；与传统的像素图形不同，SVG使用数学描述来定义图形，因此可以在任何大小下无损地缩放而不失真。这使得SVG成为网站设计领域的理想选择，特别是在需要适应不同分辨率和设备的情况下。但是创作者手工设计SVG是高成本并具有挑战的。最近，随着CLIP和生成式模型的快速发展，文本引导的矢量图合成（TexttoSVG）在抽象像素风格[1,2]和矢量...

我们在GitHub上开源了一个个性化联邦学习算法仓库（PFLlib），目前已经获得1K+个Star和200+个Fork，在业内收到了广泛的好评。PFLlib囊括了34个联邦学习算法（其中包含27个个性化联邦学习算法）、3大类数据异质场景、20个数据集。​开源该仓库的主要目的是：1）降低初学者研究个性化联邦学习算法的门槛；2）提供一个统一的实验环境，在多种场景和多个方面对不同个性化联邦学习算法进行评估，为个性化联邦学习算法在具体场景中应...

以国内大模型初创企业主要投资方的身份，腾讯和阿里再次站在了“金主爸爸”的位置。2023年至今，这两家曾经的投资大户不约而同地大幅减少了自己的出手次数。据天眼查公开数据，2023年一整年，腾讯投资仅出手33次，平均每月不足3次。而2021年和2022年，腾讯分别投出302笔和91笔。但聚焦在大模型相关领域，腾讯和阿里又是国内最“慷慨”的投资方。早前，知名投资人朱啸虎在接受腾讯科技访谈时称：“这些（中国大模型）公司，要场...

在奥斯卡获奖科幻电影《Her》里，失恋作家爱上了人工智能操作系统“萨曼莎”。声音性感沙哑、聊天善解人意、陪伴无时不在，并且能够和用户进行各种天马行空的对谈，接住所有“懂你”的梗，让用户感觉“被理解”、“被看见”，于是AI成了与用户灵魂高度契合的“soulmate”，满足孤独人类社交需求。如今，AIGC技术突破式发展让科幻成为现实。随着ChatGPT、Sora、Suno相继横空出世，AI社交的底层技术、模式创新都拥有了新变化。以C...

斯坦福的ALOHA家务机器人团队，发布了最新研究成果——项目名为YellAtYourRobot（简称YAY），有了它，机器人的“翻车”动作，只要喊句话就能纠正了！而且机器人可以随着人类的喊话动态提升动作水平、即时调整策略，并根据反馈持续自我改进。比如在这个场景中，机器人没能完成系统设定的“把海绵放入袋子”的任务。这时研究者直接朝它喊话，“用海绵把袋子撑得再开一些”，之后就一下子成功了。而且，这些纠正的指令还会被系统记...

OpenAI的秘密武器、ChatGPT背后功臣RLHF，被开源了。来自HuggingFace、加拿大蒙特利尔Mila研究所、网易伏羲AILab的研究人员从零开始复现了OpenAI的RLHFpipeline，罗列了25个关键实施细节。最终成功展示了随着模型大小的增加，响应质量显著提升的scaling行为，其中2.8B、6.9B的Pythia模型在性能上超过了OpenAI发布的1.3Bcheckpoint。没有写在论文中，但被作者在推文中po出来的，还有一个初步的Pythia1.4B实验，根据GPT4的数据显...

生成式人工智能(GenAI)代表了人工智能的一个重大飞跃，能够创建文本、音频、图像、代码等新颖而逼真的数据。虽然这项创新具有巨大的潜力，但它也引发了人们对数据安全和隐私的严重担忧。本文深入探讨了生成式人工智的技术能力及其对数据安全的影响，潜在的漏洞和缓解策略，以及为确保负责任和合乎道德的发展而进行合作的必要性。揭示生成式人工智能的能力生成式人工智能包含一系列技术，包括深度学习模型，可以从现有数据中学习...

在大模型落地应用的过程中，端侧AI是非常重要的一个方向。近日，斯坦福大学研究人员推出的Octopusv2火了，受到了开发者社区的极大关注，模型一夜下载量超2k。20亿参数的Octopusv2可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了GPT4，并将上下文长度减少了95%。此外，Octopusv2比Llama7B+RAG方案快36倍。不少网友感叹：设备端AI智能体的时代到来了！论文：Octopusv2:Ondevicelanguagemodelforsuperagent论...

文本嵌入模型在自然语言处理中扮演着重要角色，为各种文本相关任务提供了强大的语义表示和计算能力。在语义表示上，文本嵌入模型将文本转换为高维向量空间中的向量表示，其中语义上相似的文本在向量空间中距离较近，从而捕捉了文本的语义信息，这种表示有助于计算机更好地理解和处理自然语言；在文本相似度计算上，基于文本嵌入的向量表示，可以轻松地计算文本之间的相似度，从而支持各种应用，如信息检索、问答系统和推荐系统...

GPT4V的推出引爆了多模态大模型的研究。GPT4V在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力，成为如今最领先的多模态大模型。然而，近期很多工作发现GPT4V在很多基本能力上却意外的出现短板。例如，在微软一篇长达166页的技术报告《TheDawnofLMMs:PreliminaryExplorationswithGPT4V(ision)》中，作者发现，对于一个不太复杂的图像中的苹果数量，GPT4V竟然怎么数也数不对。然而，学术界和工业界尚不清楚导致这...

出品51CTO技术栈（微信号：blog51cto）“模型越大，效果越好”，ScalingLaw再次被OpenAI带火了，但谷歌的研究人员的最新研究证伪了这一观点。在周一发表的一项研究中，谷歌研究院和约翰霍普金斯大学的研究人员对人工智能(AI)模型在图像生成任务中的效率有了新的认识。这些发现挑战了“越大越好”的普遍信念，可能对开发更高效的人工智能系统产生重大影响。1.模型大小与性能之间的较量这项研究由研究人员KangfuMei和ZhengzhongTu...

出品51CTO技术栈（微信号：blog51cto）编译丨伊风视频生成模型的脚步永不停歇！图片4月2日，谷歌刚刚发布了强到可怕的AI视频编辑工具VLOGGER。VLOGGER就像收集了很多视频生成领域的前沿AI技能，而打造出的一款百宝箱。其中也有一些亮点细节，例如通过AI编辑，将让画面中讲话者的闭眼、闭嘴、甚至“wink”。这意味着视频编辑在细节的深入上又精进了一个level！VLOGGER的工作原理即输入音频和图像，由“读唇器”根据音频预测说话...

谷歌的美女程序员，将Llama的推理速度提高了500%！近日，天才程序员JustineTunney发推表示自己更新了Llamafile的代码，她重写了84个新的矩阵乘法内核，使得Llamafile可以更快地读取提示和图像。与llama.cpp相比，新的Llamafile在CPU上的推理速度提升了30%到500%。其中，ARMv8.2+（如RPI5）、Intel（如Alderlake）和AVX512（如Zen4）计算机的改进最为显著。另外，对于适合L2缓存的矩阵，新的内核比MKL快2倍！JustineTunney表示：...

几天前，OpenAI官方账号发布了第一支由Sora制作的MV——Worldweight，引全网围观。AI视频，已然成为多模态LLM发展的大趋势。然而，除了视频生成，让LLM对复杂视频进行理解，也至关重要。最近，来自KAUST和哈佛大学的研究人员提出了MiniGPT4Video——专为视频理解而设计的多模态大模型。论文地址：​​https:arxiv.orgpdf2404.03413.pdf​​值得一提的是，MiniGPT4Video能够同时处理时态视觉数据和文本数据，因此善于理解视频的...

AI的下一个重大突破是理解情感吗？HumeAI表示是的。3月27日，一家名为HumeAI的新创公司宣布，他们已经在一轮B轮融资中筹集了5000万美元。这家初创公司由前GoogleDeepMind研究员AlanCowen共同创立并担任CEO。HumeAI与其他人工智能模型提供商和初创公司的区别在于，它专注于创建一款能够理解人类情感、适当做出反应并向用户传达情感的人工智能助手。这款聊天机器人不仅基于文本，还使用语音对话作为其接口，通过听取人类用户的语...

基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。除了上下文窗口较小外，LLM的性能会随着输入内容长度的增加而下降，即便输入内容未超过模型的上下文窗口长度限制也是如此。相比之下，人类却可以阅读、理解和推理很长的文本。LLM和人类在阅读长度上存在差异的主要原因在于阅读方法：LLM逐字地输入精确的内容，并且该过程相对被动；但过于准确的信息往往会被遗忘，而阅...

GPT5已经开始红队测试了？就在这几天，网上已经有多人晒出了OpenAI发给自己的红队录取通知书。此前有传闻说，GPT5将于今年6月发布。看起来，红队测试与模型发布的时间线十分吻合。有网友直接晒出了自己收到OpenAI邮件邀请的截图。这倒是和此前SamAltman的说法对上了。据悉，GPT5早已为大家准备好，只是发布风险太大了，所以还得往后延。三个月就能用了？不过还有人表示，先别急，这些人只是收到了红队邀请测试而已，并没有提及...