AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
今日arXiv最热大模型论文：清华把大模型用于城市规划，回龙观和大红门地区成研究对象
引言：参与式城市规划的新篇章随着城市化的不断推进，传统的城市规划方法面临着越来越多的挑战。这些方法往往需要大量的时间和人力，且严重依赖于经验丰富的城市规划师。为了应对这些挑战，参与式城市规划应运而生，它强调不同利益相关者，包括官员、专业人士、开发商、当地居民和公众的积极参与。这种包容性的方法旨在通过精心设计的程序、讨论、小组会议或研讨会，将多样化的视角纳入规划和决策过程中。然而，参与式规划的传...大语言模型LLMsWWW 2024 | 简单却强大：揭秘Transformer在动态图建模中的魔法
论文题目：OntheFeasibilityofSimpleTransformerforDynamicGraphModeling论文链接：https:arxiv.orgpdf2401.14009.pdf代码链接：https:github.comYuxiaWuSimpleDyG论文录用：TheWebConference2024MainConference作者主页：https:yuxiawu.github.io01摘要动态图建模在理解Web图中的复杂结构方面至关重要，涉及社交网络、推荐系统等多个应用领域。现有方法主要注重结构依赖性及其时序变化模式，但通常忽...Transformer今日arXiv最热大模型论文：超越LoRA，北京大学提出预训练模型非梯度优化法
引言：探索大型语言模型中低秩适应的新方法在自然语言处理领域，大语言模型（LLMs）的迅猛发展带来了前所未有的性能提升。然而，随之而来的是模型参数数量的激增，这不仅导致了调优成本的线性增长，也给在常规硬件上进行微调带来了挑战。为了解决这一问题，研究者们提出了一系列参数高效的调优方法，如LoRA，它们通过只调整模型中一小部分参数来实现与全参数微调相当的性能。尽管这些方法能够降低约30%的GPU内存需求，但仍需要...大型语言模型自然语言处理ICLR 2024 | UIUC等提出BioBridge：用知识图谱构建多模态生物医学基础模型
01引言这是UIUCZifengWang等发表在ICLR'24上的论文。论文题目：BioBridge:BridgingBiomedicalFoundationModelsviaKnowledgeGraphs论文链接：https:arxiv.orgpdf2310.03320.pdf在生物医学研究领域，一直以来，基础模型（FoundationModels，简称FMs）大多局限于单一模态的数据处理，比如仅仅专注于蛋白质序列、小分子结构或者是临床数据分析。这种单模态的处理框架虽然在特定任务上表现出色，但在应对多样化的生物医学数...知识图谱最新RAG综述来了！北京大学发布AIGC的检索增强技术综述
近期，RAG（RetrievalAugmentedGeneration）在AI领域引起了广泛关注，成为了众多研究者和开发者热议的焦点。作为一种将检索与生成相结合的技术，RAG展示了在各种任务中，如问答、对话生成和文本摘要等，取得卓越成果的潜力。它的出现为解决复杂问题提供了新的视角，使得人工智能在理解和回应用户需求方面更加精准和高效。RAG的重要性不容忽视，它为AI领域带来了创新的思路和突破性的进展。越来越多的研究者和开发者开始关注并投...RAG综述Attention不是唯一的选择：基于反事实推理的可解释性推荐
论文题目：AttentionIsNottheOnlyChoice:CounterfactualReasoningforPathBasedExplainableRecommendation论文链接：https:arxiv.orgpdf2401.05744近日，悉尼科技大学徐贯东教授团队，联合香港中文大学、昆士兰大学、香港理工大学、以及新加坡南洋理工大学等多家单位，发布了基于路径反事实推理的推荐系统解释新方法，并提出了一系列全新的定性和定量的解释性评价标准，引发同行广泛关注。01反事实推理的解释的背景...推荐系统对比近期发布的几个小模型，sLLM的天花板在哪里？
2024是大模型落地应用的关键年，接下来会看到更多从硬件、架构、算法等方面极限挖掘大模型效率的探索。众人拾柴火焰高，相信在大家共同的开源努力下，我们可以更快奔向AGI的目标。——摘自刘知远老师最近对Google发布Gemma后发的一条朋友圈写在前面：Google最近也劲爆放出Gemma模型，尽管体量较小，但对比的包括Llama27B和13B，以及风头正劲的Mistral7B，其已经在关键基准测试中明显超越了更大的模型。大家都在感叹最强的开源模...sLLM将所有有用的信息整合到一张图片中：大型多模态模型能够进行图片内的学习
论文题目：AllinaSingleImage:LargeMultimodalModelsareInImageLearners论文链接：https:arxiv.orgabs2402.17971开源链接：https:github.comAGIEdgerunnersInImageLearning01动机和背景近年来，大语言模型取得了显著的成功。尽管GPT4V有强大的文本理解和图片输入能力，但仍存在许多问题。例如，在读取一张复杂图片时，无法完全理解图像中呈现的信息。在本文中，我们提出了一种新的上下文学习机制——InImageLearning...GPT-4V橘猫减去「猫」会变成什么？清华联合阿里推出概念半透膜模型
第一步在常见AI作图模型输入「一只胖胖的像面包的橘猫」，画出一只长得很像面包的猫猫，然后用概念半透膜SPM技术，将猫猫这个概念擦掉，结果它就失去梦想变成了一只面包。上图1是更多的猫猫图失去猫这个概念后的结果。▲图1.概念半透膜SPM针对不同的「猫」图擦除猫概念后的效果下图2到图6展示了更多的示例。▲图2.失去梦想变成一只面包表情包▲图3.西装光剑米老鼠图擦除米老鼠概念▲图4.稻田里的史努比图擦除史努比概念▲图5.梵...AI国产RISC-V狂奔：端侧能跑大模型，AI计算成重头戏
RISCV迈向AI计算和高性能领域，应用和生态进一步壮大。芯东西3月18日报道，国产CPU的路不好走，但走得人多了，希望就大了起来。当前三大指令集架构中，唯一不受商业公司牵制的RISCV，正酝酿出越来越丰富的技术创新与商业成果。这在上周的玄铁RISCV生态大会上得到集中展示，来自半导体IP、芯片、软件等不同产业环节的代表性玩家们不仅踊跃晒出产品和工具进展，而且兴致勃勃地分享RISCV有望带给中国芯片产业的新趋势、新赛点、新...AI计算RISC-V今日arXiv最热NLP大模型论文：逆向解析Sora背后的秘密，谈AI视频的机遇与挑战
引言：Sora——AI在视频生成领域的新篇章随着AI技术的飞速发展，人工智能已在视频生成领域翻开新的篇章。自2022年11月ChatGPT问世以来，AI技术已在我们的日常生活和工业应用中发挥着举足轻重的作用。继此之后，OpenAI在2024年2月推出了Sora——这款革命性的文本到视频生成模型，能够依据用户提供的文本提示，生成栩栩如生、充满想象力的视频画面。与以往的视频生成模型相比，Sora的独特之处在于它能够生成长达一分钟的高质量视...SoraAI大模型提示学习样本量有玄机，自适应调节方法好
引言：探索文本分类中的个性化示例数量在自然语言处理（NLP）领域，预测模型已经从零开始训练演变为使用标记数据对预训练模型进行微调。这种微调的极端形式涉及到上下文学习（InContextLearning,ICL），其中预训练生成模型的输出（冻结的解码器参数）仅通过输入字符串（称为指令或提示）的变化来控制。ICL的一个重要组成部分是在提示中使用少量标记数据实例作为示例。尽管现有工作在推理过程中对每个数据实例使用固定数量的示例...大模型提自然语言处理一次性支持 200 万字无损上下文！Kimi智能助手玩了个大的——月之暗面「登月」最新进展!
让大模型一次性无损地「吃下」一本书已经不是什么稀奇的事了，但如果我告诉你是下面👇🏻这样一本近百万字的书呢？没错，这么疯狂的事竟然真的发生了——就在昨天月之暗面（MoonshotAI）召集了一次媒体沟通会，宣布在大模型长上下文窗口技术上取得新的突破：不到半年，Kimi智能助手升级十倍——从支持20万字直接到支持200万字超长无损上下文。ps：KimiChat已改名为Kimi智能助手，并已在官网（kimi.ai）开启“内测”。超长上下文...大模型Kimi 智能助手微软新作「Mora」，复原了Sora
微软版Sora诞生了！Sora虽爆火但闭源，给学术界带来了不小的挑战。学者们只能尝试使用逆向工程来对Sora复现或扩展。尽管提出了DiffusionTransformer和空间patch策略，但想要达到Sora的性能还是很难，何况还缺乏算力和数据集。不过，研究者发起的新一波复现Sora的冲锋，这不就来了么！就在刚刚，理海大学联手微软团队一种新型的多AI智能体框架———Mora。图片论文地址：https:arxiv.orgabs2403.13248没错，理海大学和...微软Sora现场采访黄仁勋：20个灵魂问题，谈GPU定价和中国出口，怼AGI时间表
AI做的第一件伟大的事，是缩小技术鸿沟。芯东西美国圣何塞3月19日现场报道，美国科技圈最瞩目的AI技术盛会英伟达（NVIDIA）GTC大会正在火热举行。今日，英伟达创始人兼CEO黄仁勋在GTC大会上与芯东西等全球媒体进行交流，回应中美摩擦对英伟达的影响、对中国GPU产品出口计划、BlackwellGPU的定价与销售策略、台积电CoWoS供需情况等20个关键问题。▲黄仁勋微笑聆听记者提问（芯东西摄）英伟达最新发布的旗舰AI芯片BlackwellGPU为...人工智能GTC大会Blackwell让 Google AI 赋能搜索广告
从改善广告系列的创作，到在不断演进的用户搜索体验中提升广告的有效性，生成式AI可以为广告主赋能。去年，我们宣布了AI赋能广告的新时代，同时也做出承诺，确保广告主有机会在用户的搜索历程中触达潜在客户。今天，我们将分享在这方面取得的进展。通过以Gemini赋能的对话方式制作更出色的搜索广告系列正如我们在上个月所宣布，接下来的几个月内，我们将把我们规模最大、能力最强的AI模型Gemini推广到更多Google核...Google AI人工智能一文带你了解OpenAI Sora
最近AI圈最火的无疑是OpenAI在2月15日发布的Sora。Sora可以根据文本生成一分钟的高清视频，生成的视频画质、连续性、光影等都令人叹为观止，Sora无疑将视觉生成推到新的高度。本文将重点回答三个问题：Sora的原理是什么？Sora到底是不是世界模型？Sora会影响哪些行业？一、背景在国内外大多数AI厂商还在卷大语言模型之际，OpenAI悄无声息地发布了文生视频（texttovideo，简称t2v）模型Sora[1]，仅仅几个视频demo，就让整个AI圈...OpenAI我们 Gemini 时代的下一个篇章
多年来，我们一直在AI领域进行深入投资，将其作为改进我们所有产品的唯一最佳途径。我们对取得的进展感到非常兴奋，例如，您可以在GoogleLabs试用我们的搜索生成体验（SGE）。AI现在也是近年来我们发展迅速的两项业务的核心：我们的Cloud和Workspace服务，以及我们广受欢迎的GoogleOne订阅服务，其订阅用户数量即将突破1亿。当前最领先的水准去年12月，随着Gemini时代的开始，我们在让AI更好地助力每个人的道路上迈出了重要的一...Gemini人工智能阿里、百度双双出手，大模型长文本时代终于到来？
全民LongLLM时代终于到来。本月，中国初创AGI（通用人工智能）公司月之暗面宣布旗下大模型工具KimiChat正式升级到200万字参数量，与五个月前该大模型初次亮相时的20万字相比，提升十倍。KimiChat的升级彻底引爆市场，同时也引起长文本大模型（LongLLM）细分赛道更加激烈的竞争。（图源：阿里通义千问）昨日，阿里旗下的大模型工具通义千问宣布迎来重磅升级，向所有人开放最高1000万字的长文本处理能力，更重要的是，这项升级完...AGI大模型Long-LLM关于AI落地“最后一公里”，这里有30条前沿洞察
“2024年是大模型应用场景元年，中国完全可以走出一条具有中国特色的大模型发展之路。”周鸿祎的预测还言犹在耳，经历了“百模大战”的国产大模型胜出者们，已经吹响了商业场景落地之战的号角。3月14日，大模型独角兽智谱AI创始人兼CEO张鹏披露了公司目前的商业化进展：已有超2000家生态合作伙伴，实现了超1000个大模型规模化应用，与超200家企业进行深度共创，涵盖了传媒、咨询、消费、金融、新能源、互联网、智能办公等多个细...人工智能大模型AI
