AI.x社区

引言：AI的全面智能之路人工智能的发展已从简单算法进化到复杂的大型基础模型，尤其在理解开放世界环境中的感官信息方面取得显著进步。然而，关键转折点在于从过度简化方法转向强调整体运作的系统，催生了AgentAI的兴起。AgentAI将大型基础模型整合到代理行动中的具体系统，涉及机器人学、游戏和医疗保健等多领域。本文提出新的代理基础模型，展现其在多个任务和领域中的非凡能力，挑战传统学习和认知观念。同时，从跨学科角度...

一、前言前几天AI创富俱乐部初创合伙人中的【2周同学深圳】深夜分享了使用AI自动化制作PPT的视频，后来看完录播，也是深有收获。这里也顺便说下，如果想加入我的合伙人的话，欢迎私聊哈。周同学接受了两个AI自动化制作PPT的网址，一个是chatppt，另外一个是Midshow，我个人觉得还是chatppt比较好用一些，各方面做的也非常的细致，上手也非常简单，门槛比较低。二、实现过程言归正传，AI自动化制作PPT确实是不难，一方面确实也不...

一、背景时间步入了2024年，新的技术趋势，如大模型AIGC多模态等技术，已经开始与实际业务相结合，并开始生产落地。这些新的技术趋势不仅提高了算力的需求，也给底层基础设施带来了更大的挑战。在计算方面，以GPU和FPGA等异构硬件为例，他们通过短周期的迭代和演进来适应不断变化的需求。阿里集团通过统一调度、统一资源池以及全面弹性等调度手段满足了复杂的计算需求。在存储方面，经典的微服务应用通过云原生化的方式，兼顾了...

一、背景2017年，《AttentionIsAllYouNeed》的一声惊雷，给世人带来了Transformer模型。2022年，以Transformer结构为核心的chatGPT，凭借其震惊世界的表现，掀起了“AI元年"的序幕：从此，各方纷纷投入大模型领域，前赴后继，热情高涨。然而，随之而来地，大模型在软硬件基础设施、算法及数据集等多方面的挑战和困难也逐步显现；今天我们将从AIInfra角度出发，带大家了解目前大模型在算力、存储、通信等多方面上硬件资源的挑战...

2022年底，ChatGPT上线，同时引爆了一个新的名词：提示工程（PromptEngineering）。简而言之，提示工程就是寻找一种编辑查询（query）的方式，使得大型语言模型（LLM）或AI绘画或视频生成器能得到最佳结果或者让用户能绕过这些模型的安保措施。现在的互联网上到处都是提示工程指南、快捷查询表、建议推文，可以帮助用户充分使用LLM。在商业领域，现在也有不少公司竞相使用LLM来构建产品copilot、自动化繁琐的工作、创造个人助理...

一、引言现阶段，程序代码是解决基于大型语言模型（LLM）的复杂推理任务的有效的方式之一，这类方法通常被称为"程序或代码思维链"(programofthought)。与传统思维链(chainofthought)方法相比，代码思维链方法将复杂问题分解为可执行的代码片段，并且利用代码执行器逐步解决子问题，可以较大程度提升基于大型语言模型的推理能力。然而目前代码程序数据本身的形式与大模型推理能力之间的相关性仍是未解之谜，我们对于构造何种代码...

01、引言LoRA(LowrankAdapter)在大模型（如GPT3，LLama,Qwen等）中，是一种重要的微调技术。该技术通过在不改变预训练模型参数的同时，添加低阶矩阵，学习新的、特定于任务的参数。这种微调方式不仅维持了模型的高效性能，也显著提升了模型训练和部署的效率。然而当对basemodel进行规模化多任务微调时，相关部署成本可能会显著增加。基于实际应用场景，成本和效率考虑，我们在RTPLLM框架上实现了两种LoRA方法：静态LoRA和动态Lo...

只需看一次(YOLO)是快速、准确的单阶段目标检测器。最近发布的YOLOv4与其他目标检测器相比，显示出非常好的结果。1.介绍当今大多数精确模型都需要使用许多GPU进行大minibatch的训练，使用单GPU训练实际上会使训练变得缓慢且不切实际。YOLOv4目标检测器可以在具有较小minibatch批处理大小的单GPU上进行训练，使得使用单1080Ti或2080TiGPU训练出超快速和精确的目标检测器成为可能。YOLOv4在MSCOCO数据集上实现了实时检测的最优表...

01、前言从2022年底chatGPT的一炮走红开始，基于大语言模型的对话应用如雨后春笋一般全面开花。刚刚过去的2023年是千帆竞发的一年，在这一年里我们见证了百模大战，开源模型社区可谓繁荣昌盛：从llama到它的无数变体、qwen系列的完整中文大模型生态构建、Mixtral等多模态的成功尝试、再到llava等视觉大语言模型的蓄势待发。在语言模型上，我们已经有了十分丰富的选择，这些模型在RTPLLM上都得到了较好的支持，可以高效地完成推...

一、引言视觉语言模型（VLMs）已在多种多模态理解和生成任务中展现了显著的性能表现。然而，尽管这些多模态模型在广泛的任务中表现出色，但是它们能否有效地捕获结构化知识(即理解对象间关系以及对象与其属性间关系的能力)仍然是一个未解决的问题。如图（a）所示，我们在分析CLIP模型时发现，与图像不匹配的标题（Ahorseisridinganastronaut）相比，图像与正确匹配的标题（Anastronautisridingahorse）之间的CLIP分数（即语义相...

一、引言知识图谱嵌入(KGE)已被证明是解决知识图补全(KGC)任务的有效方法。关系模式是指具有特定语义的关系、表示为图形模式，是影响KGE模型性能的重要因素。虽然之前的工作从理论上分析了KGE模型在不同关系模式下的能力，并建立了更好的关系模式建模与更好的KGC性能之间的粗略联系，但对关系模式上的KGE模型的全面定量分析仍然缺乏，因此不确定KGE对关系模式的理论支持如何有助于与该关系模式相关的三元组的性能。二、关系模式...

引言随着人工智能的飞速发展，机器学习，特别是深度学习，在过去几十年中在许多领域和应用中取得了显著的成就。例如，卷积神经网络（CNN）在图像分类和视觉对象识别方面的准确性常常超过人类，推动了自动驾驶车辆、面部识别、手写识别、图像检索和遥感图像处理等应用的快速发展。同样，循环神经网络（RNN）和基于Transformer的模型在序列学习和自然语言理解方面取得了成功，这些技术推动了机器翻译、语音识别和聊天机器人等应用...

引言在自然语言处理（NLP）的众多应用场景中，大型语言模型（LargeLanguageModel,LLM）展现了其卓越的文本理解与生成能力，不仅在传统的文本任务上成绩斐然，更在生物学、计算化学、药物研发等跨学科领域证明了其广泛的应用潜力。尽管如此，生物分子研究领域的特殊性—比如专用数据集的缺乏、数据标注的高复杂度、知识的多元化以及表示方式的不统一—仍旧是当前面临的关键挑战。针对这些问题，本文提出MolInstructions，这是一...

引言基于知识图谱嵌入的方法在实体对齐领域取得了巨大成功。本文以生成模型的视角重新解构了目前实体对齐方法的范式，展示了其与生成模型间的相似之处，并从理论上揭示了现有的基于生成对抗网络的方法的局限性。通过引入新的互变分自编码器（MutualVAE）作为生成模型，本文构建了一个生成式实体对齐框架（GEEA）。GEEA实现了知识图谱之间的实体转换，并且能够从随机噪声中生成新的实体。通过理论分析、实体对齐实验，以及实体合...

引言药物发现的核心环节之一是合成和设计具有理想化学特性的分子。随着语言模型展现出在解析复杂分子分布方面的潜力，研究人员开始尝试将分子的SMILES描述符与预训练语言模型相结合。然而，SMILES描述符的语法特质并不总能保障所生成化学结构的有效性，经常导致生成化学上无意义的字符串。除此之外，虽然分子语言模型在预训练过程中学习了大量的分子结构信息，它们仍难以准确捕捉到现实世界中化学与生物特性的复杂关系。这使得...

一、引言随着大型语言模型的兴起，自然语言处理（NLP）社区面临的主要挑战之一是如何高效地对模型进行微调。如果需要短期内改变模型的某些行为，重新进行参数微调可能会过于耗时和昂贵，在这种情况下，模型知识编辑（KnowledgeEditing）技术就显得尤为重要。本文主要研究模型知识编辑的鲁棒性，并重点探索两个新问题：知识冲突（KnowledgeConflict）和知识扭曲（KnowledgeDistortion）。二、背景本文研究的知识编辑方法均为修改...

一、引言多模态知识图谱补全（MMKGC）通过将实体的结构、视觉和文本信息纳入知识图谱的表示学习模型中，来预测多模态知识图谱中缺失的三元组。在这个过程中，来自不同模态的信息将共同用于度量一个三元组的合理性。现有的MMKGC方法往往默认MMKG上的模态信息是完整的，或者采用简单的方法完成缺失模态信息的补全，忽视了实体之间模态信息的不平衡问题，导致模态信息融合不充分以及原始模态信息的低效利用。模态信息的不平衡性主...

Sora生成的视频效果好吗？确实好。Sora算得上AGI发展历程上的里程碑吗？我个人觉得算。我们知道它效果好就行了，有必要知道Sora到底是怎么做的吗？我觉得最好是每个人能有知情的选择权，任何想知道的人都能够知道，这种状态比较好。那我们知道Sora到底是怎么做出来的吗？不知道。马斯克讽刺OpenAI是CloseAI，为示道不同，转头就把Grok开源了。且不论Grok效果是否足够好，马斯克此举是否有表演成分，能开源出来这行为就值得称赞...

01Havenask介绍Havenask是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来的核心竞争力产品，广泛应用在搜推广和大数据检索等典型场景。在2022年云栖大会云计算加速开源创新论坛上完成开源首发，同时作为阿里云开放搜索OpenSearch底层搜索引擎，OpenSearch自2014年商业化，目前已有千余家外部客户。02向量检索近年来，随着短视频、电商等领域的繁荣，产生了越来越多的非结构化数据，如图片、...

如果您过往发布的内容达到原创要求，那么赶紧去勾选「原创」吧。如果您后续发布的内容足够原创，那么记得勾选「原创」哟。您的版权权益，AI.x社区和您一起守护！原创要求：帖子：正文只要满足800汉字的原创内容就可以勾选原创视频：只要是原创！原创！原创！无任何限制，均可以勾选原创如何勾选原创？位置：发布页面底部悬浮栏勾选发布后，原创标识将会如此展示：AI.x社区鼓励大家积极对自行创作并发布的帖子勾选「原创」，但帖...