AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
向数字世界AGI迈进！让智能体直接控制键盘、鼠标，与一切软件交互
通用计算机控制信息革命产生了数字世界，数字世界为大模型的诞生提供了数据，也最容易实现通用人工智能（AGI）。向数字世界AGI迈进，北京智源人工智能研究院、新加坡南洋理工大学、北京大学携手提出通用计算机控制GeneralComputerControl(GCC)，即智能体需要像人一样看屏幕，通过键盘、鼠标完成计算机上的所有任务。在过去很长一段时间里，人工智能研究以游戏为场景，而GCC将为通用人工智能研究提供场景，也将进一步促进大模型...Cradle 代码端侧实时运行、3B媲美7B！美团、浙大等提出MobileVLM V2：更快、更强的端侧视觉语言模型
美团、浙大等于近日推出了MobileVLMV2，其中包含参数量1.7B、3B、以及7B的一系列视觉语言模型。代码与模型以及适配的端侧推理方案都已开源。论文地址：https:arxiv.orgabs2402.03766模型地址：https:huggingface.comtgv代码地址：https:github.comMeituanAutoMLMobileVLM大模型涌向移动端的浪潮愈演愈烈，作为第一个针对端侧的视觉语言模型的工作，归功于MobileVLM在小参数量下的强大性能和完善的端侧实时运行端侧推理方案，Mob...语言模型ICLR 2024 | 单卡训练仅需1天！川大、北邮等提出多模态噪声关联学习
在2024世界经济论坛的一次会谈中，图灵奖得主YannLeCun提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间[1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会ICL...多模态视频AIGC图像技术在淘宝人生2的探索和应用
淘宝人生2（又名：第二人生）是淘宝的一个虚拟人装扮类应用，承担了用户在淘宝的第二个人生的作用。我们旨在通过AI为淘宝人生2的用户提供丰富有趣的可玩性内容，随着最近火热的AIGC技术的发展，我们也进行了相关尝试和落地，目前已经上线了AI拍照风格化、AI写真馆、AI服饰涂鸦等项目。本文主要以AI服饰涂鸦为例介绍我们在AIGC图像领域的探索和应用，希望能够对大家有所启发和帮助，也欢迎大家建议和合作。一、项目背景为了能够...AIGC图像技术AIGC视频算法52个AIGC视频生成算法模型介绍
基于Diffusion模型的AIGC生成算法日益火热，其中文生图，图生图等图像生成技术普遍成熟，很多算法从业者开始从事视频生成算法的研究和开发，原因是视频生成领域相对空白。一、AIGC视频算法发展现状从2023年开始，AIGC+视频的新算法层出不穷，其中最直接的是把图像方面的成果引入视频领域，并结合时序信息去生成具有连续性的视频。随着Sora的出现，视频生成的效果又再次上升了一个台阶，因此有必要将去年一年到现在的视频领域进...视频生成语言模型安全评估新标杆：SALAD-Bench全面安全评估新基准
随着大语言模型在现实场景中逐渐落地（例如ChatGPT和Gemini），其生成内容的安全性也开始逐渐被大众关注。通常来讲，我们希望大模型避免生成包含危险内容的回复，从而减少对用户的不良影响，因此评测一个大模型的安全性并分析其弱点成为了一件急需完成的事情。上海人工智能实验室研究团队提出了新的大模型安全BenchmarkSALADBench。相比以往的Benchmarks，SALADBench有以下优势：包含三个层次结构，数量超2万条的大规模分类数据...大语言模型无需RLHF？ 基于图增强的大模型可控生成框架
引言可控文本生成（ControlledTextGeneration,CTG）是大语言模型（LargeLanguageModels,LLMs）文本生成的一个重要研究领域，旨在创造出符合特定标准或属性的文本。这包括调整文本的情绪倾向、确保内容安全性、或满足具体主题要求等。目前CTG实现的主流方式是结合有监督微调（SupervisedFineTuning,SFT）和人类反馈强化学习（ReinforcementLearningfromHumanFeedback,RLHF）的范式，通过直接改变模型参数以适应特定的输出要求。...大模型CVPR 2024满分论文解读：基于可变形三维高斯的高质量单目动态重建新方法
单目动态场景（MonocularDynamicScene）是指使用单眼摄像头观察并分析的动态环境，其中场景中的物体可以自由移动。单目动态场景重建对于理解环境中的动态变化、预测物体运动轨迹以及动态数字资产生成等任务至关重要。随着以神经辐射场（NeuralRadianceField,NeRF）为代表的神经渲染的兴起，越来越多的工作开始使用隐式表征（implicitrepresentation）进行动态场景的三维重建。尽管基于NeRF的一些代表工作，如DNeRF，Nerfies，Kp...单目动态场景今日arXiv最热大模型论文：清华把大模型用于城市规划，回龙观和大红门地区成研究对象
引言：参与式城市规划的新篇章随着城市化的不断推进，传统的城市规划方法面临着越来越多的挑战。这些方法往往需要大量的时间和人力，且严重依赖于经验丰富的城市规划师。为了应对这些挑战，参与式城市规划应运而生，它强调不同利益相关者，包括官员、专业人士、开发商、当地居民和公众的积极参与。这种包容性的方法旨在通过精心设计的程序、讨论、小组会议或研讨会，将多样化的视角纳入规划和决策过程中。然而，参与式规划的传...大语言模型LLMsWWW 2024 | 简单却强大：揭秘Transformer在动态图建模中的魔法
论文题目：OntheFeasibilityofSimpleTransformerforDynamicGraphModeling论文链接：https:arxiv.orgpdf2401.14009.pdf代码链接：https:github.comYuxiaWuSimpleDyG论文录用：TheWebConference2024MainConference作者主页：https:yuxiawu.github.io01摘要动态图建模在理解Web图中的复杂结构方面至关重要，涉及社交网络、推荐系统等多个应用领域。现有方法主要注重结构依赖性及其时序变化模式，但通常忽...Transformer今日arXiv最热大模型论文：超越LoRA，北京大学提出预训练模型非梯度优化法
引言：探索大型语言模型中低秩适应的新方法在自然语言处理领域，大语言模型（LLMs）的迅猛发展带来了前所未有的性能提升。然而，随之而来的是模型参数数量的激增，这不仅导致了调优成本的线性增长，也给在常规硬件上进行微调带来了挑战。为了解决这一问题，研究者们提出了一系列参数高效的调优方法，如LoRA，它们通过只调整模型中一小部分参数来实现与全参数微调相当的性能。尽管这些方法能够降低约30%的GPU内存需求，但仍需要...大型语言模型自然语言处理ICLR 2024 | UIUC等提出BioBridge：用知识图谱构建多模态生物医学基础模型
01引言这是UIUCZifengWang等发表在ICLR'24上的论文。论文题目：BioBridge:BridgingBiomedicalFoundationModelsviaKnowledgeGraphs论文链接：https:arxiv.orgpdf2310.03320.pdf在生物医学研究领域，一直以来，基础模型（FoundationModels，简称FMs）大多局限于单一模态的数据处理，比如仅仅专注于蛋白质序列、小分子结构或者是临床数据分析。这种单模态的处理框架虽然在特定任务上表现出色，但在应对多样化的生物医学数...知识图谱最新RAG综述来了！北京大学发布AIGC的检索增强技术综述
近期，RAG（RetrievalAugmentedGeneration）在AI领域引起了广泛关注，成为了众多研究者和开发者热议的焦点。作为一种将检索与生成相结合的技术，RAG展示了在各种任务中，如问答、对话生成和文本摘要等，取得卓越成果的潜力。它的出现为解决复杂问题提供了新的视角，使得人工智能在理解和回应用户需求方面更加精准和高效。RAG的重要性不容忽视，它为AI领域带来了创新的思路和突破性的进展。越来越多的研究者和开发者开始关注并投...RAG综述Attention不是唯一的选择：基于反事实推理的可解释性推荐
论文题目：AttentionIsNottheOnlyChoice:CounterfactualReasoningforPathBasedExplainableRecommendation论文链接：https:arxiv.orgpdf2401.05744近日，悉尼科技大学徐贯东教授团队，联合香港中文大学、昆士兰大学、香港理工大学、以及新加坡南洋理工大学等多家单位，发布了基于路径反事实推理的推荐系统解释新方法，并提出了一系列全新的定性和定量的解释性评价标准，引发同行广泛关注。01反事实推理的解释的背景...推荐系统对比近期发布的几个小模型，sLLM的天花板在哪里？
2024是大模型落地应用的关键年，接下来会看到更多从硬件、架构、算法等方面极限挖掘大模型效率的探索。众人拾柴火焰高，相信在大家共同的开源努力下，我们可以更快奔向AGI的目标。——摘自刘知远老师最近对Google发布Gemma后发的一条朋友圈写在前面：Google最近也劲爆放出Gemma模型，尽管体量较小，但对比的包括Llama27B和13B，以及风头正劲的Mistral7B，其已经在关键基准测试中明显超越了更大的模型。大家都在感叹最强的开源模...sLLM将所有有用的信息整合到一张图片中：大型多模态模型能够进行图片内的学习
论文题目：AllinaSingleImage:LargeMultimodalModelsareInImageLearners论文链接：https:arxiv.orgabs2402.17971开源链接：https:github.comAGIEdgerunnersInImageLearning01动机和背景近年来，大语言模型取得了显著的成功。尽管GPT4V有强大的文本理解和图片输入能力，但仍存在许多问题。例如，在读取一张复杂图片时，无法完全理解图像中呈现的信息。在本文中，我们提出了一种新的上下文学习机制——InImageLearning...GPT-4V橘猫减去「猫」会变成什么？清华联合阿里推出概念半透膜模型
第一步在常见AI作图模型输入「一只胖胖的像面包的橘猫」，画出一只长得很像面包的猫猫，然后用概念半透膜SPM技术，将猫猫这个概念擦掉，结果它就失去梦想变成了一只面包。上图1是更多的猫猫图失去猫这个概念后的结果。▲图1.概念半透膜SPM针对不同的「猫」图擦除猫概念后的效果下图2到图6展示了更多的示例。▲图2.失去梦想变成一只面包表情包▲图3.西装光剑米老鼠图擦除米老鼠概念▲图4.稻田里的史努比图擦除史努比概念▲图5.梵...AI国产RISC-V狂奔：端侧能跑大模型，AI计算成重头戏
RISCV迈向AI计算和高性能领域，应用和生态进一步壮大。芯东西3月18日报道，国产CPU的路不好走，但走得人多了，希望就大了起来。当前三大指令集架构中，唯一不受商业公司牵制的RISCV，正酝酿出越来越丰富的技术创新与商业成果。这在上周的玄铁RISCV生态大会上得到集中展示，来自半导体IP、芯片、软件等不同产业环节的代表性玩家们不仅踊跃晒出产品和工具进展，而且兴致勃勃地分享RISCV有望带给中国芯片产业的新趋势、新赛点、新...AI计算RISC-V今日arXiv最热NLP大模型论文：逆向解析Sora背后的秘密，谈AI视频的机遇与挑战
引言：Sora——AI在视频生成领域的新篇章随着AI技术的飞速发展，人工智能已在视频生成领域翻开新的篇章。自2022年11月ChatGPT问世以来，AI技术已在我们的日常生活和工业应用中发挥着举足轻重的作用。继此之后，OpenAI在2024年2月推出了Sora——这款革命性的文本到视频生成模型，能够依据用户提供的文本提示，生成栩栩如生、充满想象力的视频画面。与以往的视频生成模型相比，Sora的独特之处在于它能够生成长达一分钟的高质量视...SoraAI大模型提示学习样本量有玄机，自适应调节方法好
引言：探索文本分类中的个性化示例数量在自然语言处理（NLP）领域，预测模型已经从零开始训练演变为使用标记数据对预训练模型进行微调。这种微调的极端形式涉及到上下文学习（InContextLearning,ICL），其中预训练生成模型的输出（冻结的解码器参数）仅通过输入字符串（称为指令或提示）的变化来控制。ICL的一个重要组成部分是在提示中使用少量标记数据实例作为示例。尽管现有工作在推理过程中对每个数据实例使用固定数量的示例...大模型提自然语言处理
