AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
像俄罗斯方块一样生成视频！ 北大联合快手AI团队推出新框架VideoTetris实现跟随复杂指令的文生视频！
Paper:https:arxiv.orgabs2406.04277Code:https:github.comYangLing0818VideoTetrisProject:https:videotetris.github.io扩散模型在文本到视频（T2V）生成方面取得了巨大成功，视频生成模型正以飞快的速度发展。然而，现有的文生视频模型在应对复杂、细节丰富、多物体的指令时，仍存在一定的挑战。为了生成更精确的复杂视频，北京大学与快手AI团队推出了VideoTetris，定义了复杂组合指令生成任务，并...AI框架训练大模型自动在RAG和记忆间选择
原创本文介绍AdaptLLM技术是如何动态确定是否需要检索额外的上下文信息，以避免不必要的外部检索，进而提高LLM应用的效率。现如今，检索增强生成(Retrievalaugmentedgeneration，RAG)管道已经能够使得大语言模型(LargeLanguageModels，LLM)在其响应环节中，充分利用外部的信息源了。不过，由于RAG应用会针对发送给LLM的每个请求，都去检索外部信息，而LLM实际上已经包含了大量无需检索即可使用的知识，因此整个过程反而显得效率低下...大模型Adapt-LLM技术自适应检索苹果一夜重塑iPhone！GPT-4o加持Siri，AI深入所有APP，库克：开启苹果AI下一章
精华千呼万唤，苹果如何用AI重塑iPhone，答案终于揭晓！各种令人闻之激动的传闻，通通都是真的——确定和OpenAI达成合作，接入ChatGPT，使用GPT4o模型。Siri完成重生，iPhone人机交互模式重构，手机智能助手代劳一切近在咫尺。AppleIntelligence，就此要成为AI的全新代名词了。发布一结束，WWDC24立马冲进热搜前三。网友们都在感慨苹果这逆天的整合能力，各种AI新功能通通满足大家想象力。还有人说，这回骂早了……简单总结，这场发...苹果AI谷歌开源TimesFM：1000亿个时间点训练，入选ICML 2024
今年2月，GoogleResearch的研究人员提出了一个时序预测基础模型TimesFM，在1000亿个「真实世界时间点」上进行预训练，仅仅用200M的参数规模就展现出了超强的零样本学习能力。论文链接：https:arxiv.orgpdf2310.10688.pdf当时权重还没有发布，就已经有人在Reddit社区中表达了难以克制的兴奋。5月8日，这篇研究又掀起了一阵波澜。官方博客宣布这篇文章被ICML2024接收，而且在GitHub和HuggingFace上公开了源代码和模型权重...谷歌开源干脆叫AI好了！“Apple Intelligence”究竟有哪些亮点？
原创编辑言征出品51CTO技术栈（微信号：blog51cto）苹果在2024年WWDC大会上宣布了“AppleIntelligence”，这是其针对iPhone、Mac等设备推出的一套全新AI功能套件。图片从今年晚些时候开始，苹果将推出其所说的更加人性化的Siri、自定义AI生成的“Genmoji”，以及GPT4o接入功能，该功能让Siri在无法处理用户请求时转向OpenAI的聊天机器人。siri环绕屏幕边缘的彩虹环1.Apple里的AI：跨应用、屏幕感知、隐私验证这家公司曾一度拒绝在谈...AIWWDCOpenAI「汪汪」to Vector！密歇根博士生用AI解码狗的声音 | LREC 2024
精华有没有想过你的狗狗想要对你说什么？在科幻或者想象的场景中，人类有时会编织类似的情节。然而在AI风行之下，科幻已然到来！狗的语言也是「自然语言」，人的语言能wordtovector，「汪汪」为什么不行？近日，就有研究人员开发了一款人工智能工具，可以区分不同含义的狗叫声，并识别狗的年龄、性别和品种。论文地址：https:arxiv.orgpdf2404.18739而且，研究结果表明，源自人类语音的声音和模式，可以作为分析和理解其他声...AI解码GPT-4欺骗人类高达99.16%惊人率！PNAS重磅研究曝出，LLM推理越强欺骗值越高
精华此前，MIT研究发现，AI在各类游戏中为了达到目的，不择手段，学会用佯装、歪曲偏好等方式欺骗人类。无独有偶，最新一项研究发现，GPT4在99.16%情况下会欺骗人类！来自德国的科学家ThiloHagendorff对LLM展开一系列实验，揭示了大模型存在的潜在风险，最新研究已发表在PNAS。而且，即便是用了CoT之后，GPT4还是会在71.46%情况中采取欺骗策略。论文地址：https:www.pnas.orgdoifull10.1073pnas.2317967121随着大模型和智能...GPT-4欺骗库里杜兰特“合舞”科目三，腾讯混元团队全新图生视频模型来了
当前大家常见的视频生成是酱婶儿的：多数情况下只能让一个人动起来。而现在，如果提供了一张人物合照，所有人都能同时“舞起来了”。如此看来，从单人到多人，视频生成已经进入了NextNeval如上成果出自腾讯混元团队联合中山大学、香港科技大学推出的全新图生视频模型：FollowYourPosev2。与之前的模型相比，“FollowYourPosev2”主要有4大新亮点：在推理耗时更少的情况下，支持多人视频动作生成模型具备较强的泛化能力，不论年...视频模型5秒完成3D生成，真香合成数据集已开源，上交港中文新框架超越Instant3D
使用大模型合成的数据，就能显著提升3D生成能力？来自上海交大、香港中文大学等团队还真做到了。他们推出Bootstrap3D框架，结合微调的具备3D感知能力的多模态大模型。这个框架能够自动生成任意数量的高质量的多视角图片数据，助力多视图扩散模型的训练。结果表明，新的合成数据能够显著提高现有3D生成模型的生成物体的美学质量和文本prompt的控制能力。目前，Bootstrap3D的数据集已经全面开源。用大模型合成数据近年来，3D内容...3D生成3D语言模型的新突破：解锁虚拟现实中的'幻觉'问题
随着人工智能技术的飞速发展，3D语言模型（3DLLMs）已成为研究的热点，它们在理解和生成语言指令方面展现出了巨大的潜力。这些模型不仅能够处理文本信息，还能理解和操作三维空间中的物体，这对于发展能够与物理世界互动的智能系统至关重要。3D语言模型的核心在于其能够将语言与三维场景紧密结合。传统的大型语言模型（LLMs）如GPT和BERT等已经在文本处理方面取得了显著成就，但它们主要处理的是二维图像和文本数据。而3DLLMs则...3D语言模型量化大模型退化严重？ETH北航字节推出LoRA新范式 | ICML 2024
大模型应用开卷，连一向保守的苹果，都已释放出发展端侧大模型的信号。问题是，大语言模型（LLM）卓越的表现取决于“力大砖飞”，如何在资源有限的环境中部署大模型并保障性能，仍然颇具挑战。以对大模型进行量化+LoRA的路线为例，有研究表明，现有方法会导致量化的LLM严重退化，甚至无法从LoRA微调中受益。为了解决这一问题，来自苏黎世联邦理工学院、北京航空航天大学和字节跳动的研究人员，最新提出了一种信息引导的量化后LL...模型算法CVPR 2024｜让图像扩散模型生成高质量360度场景，只需要一个语言模型
蔡志鹏博士（https:zhipengcai.github.io）是美国英特尔研究院的研究员，博士毕业于澳大利亚阿德莱德大学。他的研究兴趣包括鲁棒视觉感知，持续学习和生成模型等。他的工作已在领域顶级会议杂志上发表超过15篇。其中5篇文章被选为顶级会议（ECCV182，ICCV19，ICLR24，CVPR24）口头或特邀报告，对鲁棒估计计算复杂度的理论证明工作被选为ECCV1812篇最佳论文之一。360度场景生成是计算机视觉的重要任务，主流方法主要可分为两类，...模型生成生成式AI 落地文旅，还能玩出多少新花样？
原创嘉宾丨龚梦溪采访、撰稿丨张洁编辑丨诺亚出品51CTO技术栈（微信号：blog51cto）过去十几年，旅游的形式发生了诸多改变。旅游本身也不再是关于“诗与远方”的奢侈梦想，而是逐渐变成大众假期里习以为常的休闲方式。不久前，全国旅游发展大会顺利召开，顶层政策正式确立了旅游产业的新兴战略地位。其中，智慧旅游被明确为旅游产业的重点升级方向，其核心是通过互联网、大数据、人工智能和虚拟现实等技术，推动产业数字化转型。事...生成式AIAIGC用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高
大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证LLM准确度的同时让其变小就成了非常重要且有价值的研究课题。对此，研究社区已经提出了多种多样的方法，比如剪枝、稀疏化、量化等，它们的效果也各不一样。近日，IntelLabs发布了一项研究成果，宣称可使用神经架构搜索（NAS）高效地为LLM「瘦身」。他们基于LLaMA27B模型的实验表明，该技术不仅能降低模型大小，有时甚至还能让模型的准确...神经架构搜索AI 监控个人 PC“一举一动”？两行代码即可绕过保护措施，Windows 新功能受抵制！
原创撰稿诺亚出品51CTO技术栈（微信号：blog51cto）自从微软在Build大会上宣布推出WindowsAI功能——Recall以来，它就引起了广泛关注和讨论。传说这项备受争议的功能将和Copilot+PC一起上线。WindowsRecall能够实时记录用户在电脑上的活动，持续截取你正在进行操作的屏幕画面，它会保存这些“屏幕快照”，以及相应的OCR文件，以便让这些信息可用于Copilot搜索，让用户能够语义化地搜索过去浏览或处理过的内容。微软固然表示这些信息...AIPC代码这家世界模型公司发布中国版Sora级视频生成大模型，走向世界模型打造新一代数据引擎
Sora炸场之后，视频生成持续广受关注，不断掀起新的热潮。近日，在奇绩创坛路演日上，世界模型公司「极佳科技」联合清华大学自动化系正式发布中国首个超长时长、高性价比、端侧可用的Sora级视频生成大模型「视界一粟YiSu」，引起社会各界广泛的反响和关注。01模型原生16秒，超长时长，超大运动，超强表现力；不止步于DiT，自研的视频生成技术路线「视界一粟YiSu」拥有模型原生的16秒超长时长，并可生成至1分钟以上；同时还拥有...生成模型《自然》科学期刊：多模态融合解码人类决策过程的新策略
精华多模态融合技术已成为人工智能重要领域，它涉及将来自不同传感器、时间和空间的数据进行有效整合，以提高决策系统的性能。特别是在高风险的决策环境中，如医疗诊断、金融市场分析和国防安全，准确预测人类决策表现对于避免错误和提高效率至关重要。多模态融合技术的应用前景广阔，它能够结合人类的生理信号（如脑电图EEG数据）和外部信息（如视觉图像），为我们提供了一种全新的预测和分析人类行为的方法。本文解读的研究成果由...多模态策略解码支持合成一分钟高清视频，华科等提出人类跳舞视频生成新框架UniAnimate
精华人类跳舞视频生成是一项引人注目且具有挑战性的可控视频合成任务，旨在根据输入的参考图像和目标姿势序列生成高质量逼真的连续视频。随着视频生成技术的快速发展，特别是生成模型的迭代演化，跳舞视频生成任务取得了前所未有的进展，并展示了广泛的应用潜力。现有的方法可以大致分为两组。第一组通常基于生成对抗网络（GAN），其利用中间的姿势引导表示来扭曲参考外观，并通过之前扭曲的目标生成合理的视频帧。然而，基于生成对...视频合成【LLM】ShareGPT4Video：借助更优质的标题提升视频理解和生成能力
一、结论写在前面这篇论文来自：中国科学技术大学、香港中文大学、北京大学、上海AILab。论文推出了ShareGPT4Video系列，旨在通过密集且精确的标注促进大型视频语言模型（LVLMs）的视频理解和文本到视频模型（T2VMs）的视频生成。该系列包括：1）ShareGPT4Video，包含4万个GPT4V标注的密集视频标注，这些视频具有不同长度和来源，通过精心设计的数据过滤和标注策略开发。2）ShareCaptionerVideo，一个高效且能力强大的任意视频...LLM视频GPT4无限的场景窗口会扼杀LLM微调和RAG吗？
原创研究表明，随着LLM支持更长的场景，需要微调LLM或使用检索增强生成(RAG)。近几个月来，走在科技前沿的人工智能公司和研究机构在扩展大型语言模型(LLM)的场景窗口方面取得了令人印象深刻的进展。场景窗口是LLM可以处理的输入长度。场景窗口越长，可以在给定模型的提示符中放入的信息和说明就越多。在几年内，场景窗口已经从GPT3中的2048个令牌增加到Gemini1.5Pro中的100万个令牌。新技术有望进一步将LLM的内存扩展到无限个令牌。...LLMRAG大型语言模型
