AI.x社区

编辑言征出品51CTO技术栈（微信号：blog51cto）苹果在2024年WWDC大会上宣布了“AppleIntelligence”，这是其针对iPhone、Mac等设备推出的一套全新AI功能套件。图片从今年晚些时候开始，苹果将推出其所说的更加人性化的Siri、自定义AI生成的“Genmoji”，以及GPT4o接入功能，该功能让Siri在无法处理用户请求时转向OpenAI的聊天机器人。siri环绕屏幕边缘的彩虹环1.Apple里的AI：跨应用、屏幕感知、隐私验证这家公司曾一度拒绝在谈...

有没有想过你的狗狗想要对你说什么？在科幻或者想象的场景中，人类有时会编织类似的情节。然而在AI风行之下，科幻已然到来！狗的语言也是「自然语言」，人的语言能wordtovector，「汪汪」为什么不行？近日，就有研究人员开发了一款人工智能工具，可以区分不同含义的狗叫声，并识别狗的年龄、性别和品种。论文地址：​https:arxiv.orgpdf2404.18739​​而且，研究结果表明，源自人类语音的声音和模式，可以作为分析和理解其他声...

此前，MIT研究发现，AI在各类游戏中为了达到目的，不择手段，学会用佯装、歪曲偏好等方式欺骗人类。无独有偶，最新一项研究发现，GPT4在99.16%情况下会欺骗人类！来自德国的科学家ThiloHagendorff对LLM展开一系列实验，揭示了大模型存在的潜在风险，最新研究已发表在PNAS。而且，即便是用了CoT之后，GPT4还是会在71.46%情况中采取欺骗策略。论文地址：​​https:www.pnas.orgdoifull10.1073pnas.2317967121​​随着大模型和智能...

当前大家常见的视频生成是酱婶儿的：多数情况下只能让一个人动起来。而现在，如果提供了一张人物合照，所有人都能同时“舞起来了”。如此看来，从单人到多人，视频生成已经进入了NextNeval如上成果出自腾讯混元团队联合中山大学、香港科技大学推出的全新图生视频模型：FollowYourPosev2。与之前的模型相比，“FollowYourPosev2”主要有4大新亮点：在推理耗时更少的情况下，支持多人视频动作生成模型具备较强的泛化能力，不论年...

使用大模型合成的数据，就能显著提升3D生成能力？来自上海交大、香港中文大学等团队还真做到了。他们推出Bootstrap3D框架，结合微调的具备3D感知能力的多模态大模型。这个框架能够自动生成任意数量的高质量的多视角图片数据，助力多视图扩散模型的训练。结果表明，新的合成数据能够显著提高现有3D生成模型的生成物体的美学质量和文本prompt的控制能力。目前，Bootstrap3D的数据集已经全面开源。用大模型合成数据近年来，3D内容...

随着人工智能技术的飞速发展，3D语言模型（3DLLMs）已成为研究的热点，它们在理解和生成语言指令方面展现出了巨大的潜力。这些模型不仅能够处理文本信息，还能理解和操作三维空间中的物体，这对于发展能够与物理世界互动的智能系统至关重要。3D语言模型的核心在于其能够将语言与三维场景紧密结合。传统的大型语言模型（LLMs）如GPT和BERT等已经在文本处理方面取得了显著成就，但它们主要处理的是二维图像和文本数据。而3DLLMs则...

大模型应用开卷，连一向保守的苹果，都已释放出发展端侧大模型的信号。问题是，大语言模型（LLM）卓越的表现取决于“力大砖飞”，如何在资源有限的环境中部署大模型并保障性能，仍然颇具挑战。以对大模型进行量化+LoRA的路线为例，有研究表明，现有方法会导致量化的LLM严重退化，甚至无法从LoRA微调中受益。为了解决这一问题，来自苏黎世联邦理工学院、北京航空航天大学和字节跳动的研究人员，最新提出了一种信息引导的量化后LL...

蔡志鹏博士（https:zhipengcai.github.io）是美国英特尔研究院的研究员，博士毕业于澳大利亚阿德莱德大学。他的研究兴趣包括鲁棒视觉感知，持续学习和生成模型等。他的工作已在领域顶级会议杂志上发表超过15篇。其中5篇文章被选为顶级会议（ECCV182，ICCV19，ICLR24，CVPR24）口头或特邀报告，对鲁棒估计计算复杂度的理论证明工作被选为ECCV1812篇最佳论文之一。360度场景生成是计算机视觉的重要任务，主流方法主要可分为两类，...

嘉宾丨龚梦溪采访、撰稿丨张洁编辑丨诺亚出品51CTO技术栈（微信号：blog51cto）过去十几年，旅游的形式发生了诸多改变。旅游本身也不再是关于“诗与远方”的奢侈梦想，而是逐渐变成大众假期里习以为常的休闲方式。不久前，全国旅游发展大会顺利召开，顶层政策正式确立了旅游产业的新兴战略地位。其中，智慧旅游被明确为旅游产业的重点升级方向，其核心是通过互联网、大数据、人工智能和虚拟现实等技术，推动产业数字化转型。事...

大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证LLM准确度的同时让其变小就成了非常重要且有价值的研究课题。对此，研究社区已经提出了多种多样的方法，比如剪枝、稀疏化、量化等，它们的效果也各不一样。近日，IntelLabs发布了一项研究成果，宣称可使用神经架构搜索（NAS）高效地为LLM「瘦身」。他们基于LLaMA27B模型的实验表明，该技术不仅能降低模型大小，有时甚至还能让模型的准确...

撰稿诺亚出品51CTO技术栈（微信号：blog51cto）自从微软在Build大会上宣布推出WindowsAI功能——Recall以来，它就引起了广泛关注和讨论。传说这项备受争议的功能将和Copilot+PC一起上线。WindowsRecall能够实时记录用户在电脑上的活动，持续截取你正在进行操作的屏幕画面，它会保存这些“屏幕快照”，以及相应的OCR文件，以便让这些信息可用于Copilot搜索，让用户能够语义化地搜索过去浏览或处理过的内容。微软固然表示这些信息...

Sora炸场之后，视频生成持续广受关注，不断掀起新的热潮。近日，在奇绩创坛路演日上，世界模型公司「极佳科技」联合清华大学自动化系正式发布中国首个超长时长、高性价比、端侧可用的Sora级视频生成大模型「视界一粟YiSu」，引起社会各界广泛的反响和关注。01模型原生16秒，超长时长，超大运动，超强表现力；不止步于DiT，自研的视频生成技术路线「视界一粟YiSu」拥有模型原生的16秒超长时长，并可生成至1分钟以上；同时还拥有...

多模态融合技术已成为人工智能重要领域，它涉及将来自不同传感器、时间和空间的数据进行有效整合，以提高决策系统的性能。特别是在高风险的决策环境中，如医疗诊断、金融市场分析和国防安全，准确预测人类决策表现对于避免错误和提高效率至关重要。多模态融合技术的应用前景广阔，它能够结合人类的生理信号（如脑电图EEG数据）和外部信息（如视觉图像），为我们提供了一种全新的预测和分析人类行为的方法。本文解读的研究成果由...

人类跳舞视频生成是一项引人注目且具有挑战性的可控视频合成任务，旨在根据输入的参考图像和目标姿势序列生成高质量逼真的连续视频。随着视频生成技术的快速发展，特别是生成模型的迭代演化，跳舞视频生成任务取得了前所未有的进展，并展示了广泛的应用潜力。现有的方法可以大致分为两组。第一组通常基于生成对抗网络（GAN），其利用中间的姿势引导表示来扭曲参考外观，并通过之前扭曲的目标生成合理的视频帧。然而，基于生成对...

一、结论写在前面这篇论文来自：中国科学技术大学、香港中文大学、北京大学、上海AILab。论文推出了ShareGPT4Video系列，旨在通过密集且精确的标注促进大型视频语言模型（LVLMs）的视频理解和文本到视频模型（T2VMs）的视频生成。该系列包括：1）ShareGPT4Video，包含4万个GPT4V标注的密集视频标注，这些视频具有不同长度和来源，通过精心设计的数据过滤和标注策略开发。2）ShareCaptionerVideo，一个高效且能力强大的任意视频...

研究表明，随着LLM支持更长的场景，需要微调LLM或使用检索增强生成(RAG)。近几个月来，走在科技前沿的人工智能公司和研究机构在扩展大型语言模型(LLM)的场景窗口方面取得了令人印象深刻的进展。场景窗口是LLM可以处理的输入长度。场景窗口越长，可以在给定模型的提示符中放入的信息和说明就越多。在几年内，场景窗口已经从GPT3中的2048个令牌增加到Gemini1.5Pro中的100万个令牌。新技术有望进一步将LLM的内存扩展到无限个令牌。...

过去一年，大模型应用以前所未有之势从出现到繁荣。LLM应用从原型展示向生产落地演进。近日，Oreilly刊发了由EugeneYan,BryanBischof等人撰写的大模型总结性文章《WhatWeLearnedfromaYearofBuildingwithLLMs？》，由于作者们背景各不相同，有独立咨询顾问（HamelHusain，JasonLiu），有研究人员（ShreyaShankar），还有科技公司AI团队领袖（EugeneYan，BryanBischof），以及AI领域布道师（CharlesFrye），这使得文章内容更为全...

最近几天高考，在试卷题目爆出来后，很多人拿AI进行解答，做全套数学、英语、理综卷子等等。尤其是今年高考的语文作文题目，本身就是与人工智能强相关，用AI生成作文描述对AI的看法，额外火爆。随着今天高考的落幕，各位高三学子也确实幸苦了。接下来就是静待好消息，准备报考自己心仪的专业和学校了。但是在报考专业上，其实也存在很多信息差，这也是张雪峰老师能如日中天的重要原因。提供高报类课程产品，最高的产品费用线下...

本文作者李云帆，四川大学计算机学院2020级直博研究生。在导师彭玺教授的指导下，博士期间主要围绕深度聚类开展理论、方法和应用的研究。目前已在国际权威刊物NatureCommunicationsJMLRTPAMIIJCVICMLCVPR等上发表学术论文13篇，谷歌学术引用共954次；发表于AAAI2021的ContrastiveClustering被引516次，是2021年以来聚类领域引用最高的论文；获首批国家自然科学基金青年学生基础研究项目（博士研究生）资助。怎样才能将可爱又迷...

一、结论写在前面在强化学习人类反馈（RLHF）中，有效对齐大型语言模型（LLMs）与以人为中心的价值，同时防止通过预训练和监督微调（SFT）获得的能力退化，是一个核心挑战。插值RLIF和SFT模型参数可以调整人类偏好与基本能力之间的权衡，从而以牺牲对齐奖励为代价减少对齐开销(AlignmentTax)。受此启发，论文提出在RLHF的每个优化步骤中整合RL策略和SFT模型，以持续调节训练方向，引入在线合并优化器。具体而言，论文通过合并SF...