AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
改变LoRA的初始化方式，北大新方法PiSSA显著提升微调效果
随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。为此，北京大学的研究团队提出了一种名为PiSSA的参数高效微调方法，在主流数据集上都超过了目前广泛使用的LoRA的微调效果。论文:PiSSA:PrincipalSingularValuesandSingularVectorsAdaptationofLargeLanguageModels论文链接:https:arxiv.orgpdf2404.02948.pdf代码链接:https:github.comGraphPKUPiSSA如图1所示，PiSSA(图1c)在模型架构上和LoRA[1]完全一致(图1b...训练模型直接扩展到无限长，谷歌Infini-Transformer终结上下文长度之争
精华谷歌又放大招了，发布下一代Transformer模型InfiniTransformer。InfiniTransformer引入了一种有效的方法，可以将基于Transformer的大型语言模型(LLM)扩展到无限长输入，而不增加内存和计算需求。使用该技术，研究者成功将一个1B的模型上下文长度提高到100万；应用到8B模型上，模型能处理500K的书籍摘要任务。自2017年开创性研究论文《AttentionisAllYouNeed》问世以来，Transformer架构就一直主导着生成式人工智能领域。而谷歌...Transformer架构GPT-4 Turbo更新：视觉能力+无限制使用
在最近的技术更新中，OpenAI引入了GPT4Turbo版本，带来了一系列引人注目的变化和提升。这次更新不仅增强了GPT4的能力，还对其使用限制进行了调整，这些变化可能对开发者和用户产生深远影响。下面就让我来带大家看看今天ChatGPT都发生了什么吧首先，GPT4Turbo的引入为OpenAI的技术堆栈增添了新的维度。这个新版本不仅具备了视觉功能，还扩大了上下文处理能力至128k，显著提升了模型的应用范围和效率。通过这项升级，开发者现在能...GPT-4视觉版本生成式视频的下一步是什么
上个月，当OpenAI公布其新的生成式视频模型Sora时，邀请了一些电影制作人来试用。本周，该公司发布了结果：七部超现实的短片，毫无疑问地表明了生成式视频的未来即将迅速到来。首批能将文本转化为视频的模型出现在2022年末，来自Meta、谷歌和视频技术初创公司Runway等公司。这是一个很棒的技巧，但结果是颗粒状、出现故障，并且只有几秒钟长。快进18个月，Sora的高清、逼真的最佳输出令人震撼，一些激动的观察者甚至预言好莱坞...生成式视频人工智能LiDAR仿真新思路 | LidarDM：助力4D世界生成，仿真杀器~
精华原标题：LidarDM:GenerativeLiDARSimulationinaGeneratedWorld论文链接：https:arxiv.orgpdf2404.02903.pdf代码链接：https:github.comvzyrianovlidardm作者单位：伊利诺伊大学麻省理工学院论文思路：本文提出了LidarDM，这是一种新颖的激光雷达生成模型，能够产生逼真、布局感知(layoutaware)、物理上可信以及时间上连贯的激光雷达视频。LidarDM在激光雷达生成建模方面具有两个前所未有的能力：（一）由驾驶场景引导的激光雷达...激光雷达模型为什么大佬都在说Agent是未来？换个角度来谈一谈
很多AI领域大佬，如吴恩达，Karpathy都表示看好Agent，将其作为未来最有潜力的方向。笔者曾经在之前文章提到过“RAG的尽头是Agent，AI的尽头是替代人”。这里的核心推理逻辑是什么？我们首先以“用户去某地旅游”为需求来解释LLM、RAG、Agent三者的能力边界以及需求满足度。LLM：能够生成“无法考证可能正确”以及“不一定及时”的相关行程攻略，景点等信息。RAG：能够检索一些时效性高、内容可靠的信息源的内容，并生成相关的...AgentAISOP甲骨文宠儿力压GPT-4斩获竞技场首胜，不绑定厂商，不做聊天机器人，Transformer最年轻作者带飞大模型创业新
原创编辑诺亚、伊风出品51CTO技术栈（微信号：blog51cto）近日在开源模型界，CommandR+风头正劲。在Arena榜单上，CommandR+凭借逾13000名支持者的票，一度跃升至第6位，其表现与GPT40314旗鼓相当！在一众对垒GPT4的开放权重模型中，斩获该榜单有史以来的首胜。图源：https:twitter.comlmsysorgstatus17776301337而Arena榜单，是近日用纯C语言手搓GPT2的AI大神AndrejKarpathy提过的唯二信任的测试基准之一。CommandR+隶属总部位于多...甲骨文GPT-4机器人AI写简历常用的指令大全
原创制作一份杰出的简历是获得梦想工作的关键一步。随着人工智能的崛起，像ChatGPT这样的工具显著简化了这一过程。在本文中，我将分享15个最佳的ChatGPT简历技巧，以最大化利用该工具在生成、编辑、完善、定制和校对简历方面的潜力。首先，让我们了解一个非常重要的概念：ATS（申请者追踪系统）。ATS是一种管理招聘流程的软件，帮助雇主从成千上万份简历中筛选出符合岗位要求的候选人。它通过特定的算法检测简历中的关键词、短语和...AI简历干货！100多条GPT写论文的经典指令
原创今日分享100多个常用的论文指令，希望对大家能带来prompt的启发和帮助...确定主题和标题1.举例说明医疗保健的新趋势，这可能是研究论文中有趣的研究主题。2.分析[插入主题名称]的研究是否存在空白，并提出潜在的研究主题。3.使用定量和定性研究方法推荐研究[插入主题名称]的主题。4.分析主题[插入主题名称]的范围是否足够广泛，并推荐我可以撰写的相关主题。5.比较以下主题，并根据哪些主题具有更大的范围和相关性，帮助我决定...GPT论文谷歌将免费提供3款，生成式AI图像编辑工具
4月11日，谷歌在官网宣布从5月15日起，将向所有谷歌相册用户免费提供MagicEditor、PhotoUnblur和MagicEraser三款生成式AI编辑工具。通过这三款强大的AI图像编辑工具，用户可以轻松将模糊的图片变高清，实现一键PS调色光影，删除图片多余内容等。而在此之前，这三个是谷歌Pixel手机独有功能。2023年10月4日，谷歌首次在Pixel8系列手机中内置了MagicEditor，在生成式AI的帮助下，用户可以精准、高效实现一键PS。例如，改变天空云...AI工具音乐版Sora！文生超逼真歌曲，可自定义歌词、时间延长
4月11日，由前谷歌Deepmind研究人员开发的文生音乐产品Udio，全面免费开放测试。根据「AIGC开放社区」实际使用体验，Udio生成的音乐质量、混音、情感表达、留白、通透度、连贯一致性、风格多样性等，超过同类产品Suno。并且支持混音、轨道延伸、自定义歌词3大特色功能。这意味着，Udio可以轻松制作出一首超3分钟的完整歌曲。目前，Udio支持中文，每月可免费生成1200首歌曲。对于专业音乐人或业余爱好者来说，都是一个提升创作效...AI 音乐行业大模型快速落地的一年，如何做？
生成式AI正成为时下科技企业“讲故事”的关键词之一。但从发展上看，无论是“文生文”的大语言模型，还是“文生图”的多模态模型，更多的是辅助人们进行一些简单的办公，或者提供一些娱乐，其面对的群体主要是终端的用户。消费侧的应用仅是AI大模型的冰山一角，大模型真正的价值则是在行业侧、企业侧的应用，据市场研究机构预测，到2025年，全球生成式AI市场规模将达到100亿美元以上。其中，企业级生成式AI市场将占据相当大的份...大模型图像生成/编辑应用落地必不可少！MuLAn：首个实例级RGBA分解数据集
文章：https:arxiv.orgpdf2404.02790.pdf数据集：https:MuLAndataset.github.io文本到图像生成已经取得了令人惊讶的成果，但精确的空间可控性和prompt的保真度仍然是极具挑战性的。通常通过繁琐的prompt工程、场景布局条件或图像编辑技术来解决这一限制，这些技术通常需要手绘mask。然而，现有的工作往往难以利用场景的自然实例级组合性，因为栅格化的RGB输出图像通常是平面的。为了解决这一挑战，本文介绍了MuLAn：...数据集模型AI大模型的“心脏”算力王者归来
在数字浪潮中，AI大模型如日中天，成为科技领域的焦点。然而，在这一切背后，算力作为支撑AI大模型的基石，更是功不可没。今天，就让我们一同探讨算力的重要性，见证其王者归来的时刻。什么是算力算力的字面意思，大家都懂，就是计算能力（ComputingPower）。更具体来说，算力是通过对信息数据进行处理，实现目标结果输出的计算能力。我们人类，其实就具备这样的能力。在我们的生命过程中，每时每刻都在进行着计算。我们的大脑...人工智能AI大模型算力扩散模型如何帮助创建更好的强化学习系统
原创扩散模型以其令人印象深刻的生成高质量图像的能力而闻名，它们是流行的文本到图像模型(例如DALLE、StableDiffusion和Midjourney)中使用的主要架构。然而，扩散模型不只是用于生成图像。Meta公司、普林斯顿大学和德克萨斯大学奥斯汀分校的研究人员最近联合发表的一篇研究报告表明，扩散模型可以帮助创建更好的强化学习系统。该报告引入了一种使用基于扩散的世界模型来训练强化学习代理的技术。扩散世界模型(DWM)通过预测未来多个...扩散模型强化学习系统人工智能从AIGC到AGI，为什么我们需要更多的“技术信仰派”？
原创整理伊风采访张晓楠嘉宾巴川、朱雷、肖然出品51CTO技术栈（微信号：blog51cto）作为AIGC应用落地元年，2024开年就抛给我们一些不太好回答的问题：在以探索AGI为长期目标时，我们该坚守技术信仰吗？除了复制国外GPT4、Sora这样的成功案例，我们该如何寻求更大发展和突破？即便算力问题得以解决，算法的难题如何跨越？国内企业为什么大都部署多个大模型？为什么并非所有企业都该拥抱AIGC？前不久51CTO全新直播栏目《AIGC实战派》...AIGCAGI技术编程的“Devin AI 时代”，软件开发者的喜与忧
原创作者KeithPitt编译伊风出品51CTO技术栈（微信号：blog51cto）这篇文章的作者基思皮特（KeithPitt），是一家软件开发公司Buildkite的创始人兼CEO。2013年，他和另一位软件工程师蒂姆卢卡斯（TimLucas）创立了该公司，并致力于为技术行业提供持续集成和持续交付（CICD）平台，最近刚获得了由OneVentures和AirTree共同领投的2100万美元B轮融资。作为一名拥有20年编程经验的老手，以及作为一家服务于软件开发者的公司的首席执行官，...AI软件开发更好、更安全、更不依赖OpenAI，微软的AI新动向，推出大模型安全工具Azure AI
编译丨伊风出品51CTO技术栈（微信号：blog51cto）对生成性人工智能（generativeAI）的需求正不断增长，而对LLM安全和可靠性的担忧也变得比以往任何时候都更加突出。企业希望能确保为内外部使用而开发的大规模语言模型（LLM）能够提供高质量的输出，而不会偏离到未知领域。微软认识到这些担忧，长期以来，微软使用OpenAI的模型只能调用API，对黑盒里的秘密缺少掌控的方法。微软近期宣布推出了新的AzureAI工具，用以帮助解决大模...OpenAI微软AI来自Anthropic：如何衡量大语言模型的说服力？
原创尽管人们长期以来一直在质疑AI模型是否会在某些时候变得像人类一样具有说服力，从而改变人们的想法，但在模型规模与输出说服力程度之间的关系方面，实证研究一直有限。为了解决这个问题，研究人员开发了一种基本方法来衡量说服力，并将其用于比较三个不同世代（Claude1、2和3）以及两类模型（紧凑型模型，即更小、更快、更具成本效益的模型，和前沿型模型，即更大、更有能力的模型）的各种Anthropica模型。在每一类模型（紧凑型...大语言模型Google开源大模型新成员CodeGemma、RecurrentGemma，继Transformer后新架构Griffin诞生
原创2024年2月，Google推出了Gemma，一系列轻量级、先进的开源大模型，这些模型是使用创建Gemini模型时所使用的相同研究和技术构建的。近日，Google宣布了Gemma家族的首批新增成员，为机器学习开发者扩展了创新责任的可能性：CodeGemma用于代码补全和生成任务以及指令跟随，以及RecurrentGemma，用于研究实验的效率优化架构。新成员之CodeGemma为开发者和企业提供的代码补全、生成和聊天利用Gemma模型的基础，CodeGemma为社区带来了...Google开源大模型
