AI.x社区

论文地址：SpikedrivenTransformerV2:MetaSpikingNeuralNetworkArchitectureInspiringtheDesignofNextgenerationNeuromorphicChips代码地址：​​https:github.comBICLabSpikeDrivenTransformerV2​​背景在神经形态芯片上运行脉冲神经网络（SpikingNeuralNetwork，SNN）的神经形态计算，是类脑计算领域的主流发展方向。CNNbasedSNN是神经形态计算领域内的主流架构，几乎所有的神经形态芯片都支持这一架构。最近，Transformerba...

论文标题：MMLLMs:RecentAdvancesinMultiModalLargeLanguageModels论文链接：​​https:arxiv.orgabs2401.13601​​实时网站：​​https:mmllms.github.io​​引言多模态(MM)预训练研究在最近几年取得了显著进展，持续推动了各种下游任务的性能边界。然而，随着模型规模和数据集的不断扩大，传统的多模态模型在从头开始训练时会产生大量的计算成本。考虑到多模态研究处于各种模态的交集，一个合理的方法是利用现成的预训练单模...

这篇论文提出了一种新的联邦推荐算法FedRAP。FedRAP在联邦学习框架中同时针对用户信息和项目信息实施双边个性化策略，以此来增强推荐系统在隐私保护和个性化推荐方面的表现。它通过逐步提高正则化权重，平滑地从全面个性化过渡到加性个性化。同时，FedRAP还引入了对全局项目嵌入进行稀疏化处理的策略，有效降低了通信开销。论文标题：FederatedRecommendationwithAdditivePersonalization论文链接：​​https:arxiv.orgabs2301....

LoRA(LowRankAdaptation)是当前LLM的参数高效微调手段之一，此前我们在《梯度视角下的LoRA：简介、分析、猜测及推广》也有过简单讨论。这篇文章我们来学习LoRA的一个新结论：给LoRA的两个矩阵分配不同的学习率，LoRA的效果还能进一步提升。该结论出自最近的论文《LoRA+:EfficientLowRankAdaptationofLargeModels》[1](下称“LoRA+”)。咋看之下，该结论似乎没有什么特别的，因为配置不同的学习率相当于引入了新的超参数，通常来...

来自腾讯的研究者们做了一个关于agent的scalingproperty（可拓展性）的工作。发现：通过简单的采样投票，大语言模型（LLM）的性能，会随着实例化agent数量的增加而增强。其第一次在广泛的场景下验证了该现象的普遍性，与其他复杂方法的正交性，以及研究了其背后的原因，并提出进一步促成scaling发挥威力的办法。论文标题：MoreAgentsIsAllYouNeed论文地址：​​https:arxiv.orgabs2402.05120​​​代码地址：​​https:github.c...

1.概述当今电商领域，内容营销的形式正日趋多样化，视频内容以其生动鲜明的视觉体验和迅捷高效的信息传播能力，为商家创造了新的机遇。消费者对视频内容的偏好驱动了视频创意供给的持续增长，视觉内容作为连接消费者和商品的桥梁，在广告系统中正变得日益重要。然而，与传统的图文内容相比，视频内容的制作难度和成本都要高得多。制作一个高质量的视频需要专业的技能、设备以及时间，这使得成品的质量层次不齐，且难以批量化生...

在过去的一年里，LLM因其先进的AI能力而备受关注。值得注意的是，苹果（Apple）公司却缺席了。目前，苹果公司正在谈判将谷歌的Gemini人工智能引擎植入iPhone。而苹果一直致力于开发下一代LLM，一种可以解释图像和文本数据的LLM。近日，苹果的计算机科学家和工程师团队开发了一种LLM模型，声称该模型可以解释图像和数据。苹果构建了一个多模态模型系列——MM1，包括高达30B的dense变体和高达64B的专家混合(MoE)变体，它们在预训...

由AliGhodsi领导的快速增长的数据基础设施公司Databricks宣布与总部位于巴黎的Mistral建立合作伙伴关系，Mistral是一家资金雄厚的初创公司，凭借其不断增长的高性能大型语言模型（LLM）系列在全球AI社区掀起了波澜——其中许多是开源的。根据这项协议，Databricks正在向Mistral投资一笔未披露的金额，增加其A轮融资，并将精选的MistralLLM引入其数据智能平台。此举将直接集成这些模型，使企业用户更容易将它们与生成式AI应用程...

埃隆·马斯克（ElonMusk）的初创公司xAI开源了其第一个大型语言模型（LLM）Grok。现在使任何其他企业家、程序员、公司或个人能够接受Grok的权重——模型的人工“神经元”或软件模块之间的连接强度，允许模型做出决策并接受输入并以文本形式提供输出——以及其他相关文档，并将模型的副本用于他们想要的任何内容，包括用于商业应用。“我们正在发布我们的大型语言模型Grok1的基本模型和网络架构，”该公司在一篇博客文章中宣布。...

SnowflakeDataCloud正在整合多模态大型语言模型(LLM)。今天，这家由SridharRamaswamy领导的公司宣布将与Reka合作，Reka是一家由DeepMind、谷歌和Meta的研究人员创立的人工智能初创公司，将其专有模型引入其数据平台。此举是在该公司与Mistral合作几周后进行的，这将使企业能够使用其数据云构建生成式AI应用程序，这些应用程序不仅可以处理文本输入，还可以处理图像和视频。这将为团队开辟一种全新的方式，从数据集中挖掘价值。S...

一、业务背景随着以OpenAI为代表的AI生成式技术不断突破，在万物皆可向量化的时代直接带动向量计算和存储需求大幅提升，让向量存储和计算技术关注度达到新高，业界涌现出各类向量数据库。阿里妈妈拥有丰富的AI应用场景，我们基于过去在向量引擎的积累和AI场景下需求，在近五年时间里不断迭代升级，沉淀出DolphinVectorDB，具有大规模、高性能、低成本且易开发的优势，在妈妈内容风控、营销知识问答、达摩盘人群AI圈人和AI经营分...

资深机器人专家EricJang不久前曾预言：“ChatGPT曾在一夜之间出现。我认为，有智慧的机器人技术也将如此。”3月13日深夜，一段人形机器人的视频开始热传。在视频中，Figure的人形机器人，可以完全与人类流畅对话，理解人类的意图，同时还能理解人的自然语言指令进行抓取和放置，并解释自己为什么这么做。而其背后，就是OpenAI为其配置的大型语言模型。由于OpenAI模型还支持多模态输入，因此可为Figure提供高级视觉和语言智能。...

在拥挤的场景中进行物体检测具有挑战性。当物体聚集时，它们往往会在很大程度上彼此重叠，从而导致遮挡。由相同类别的对象引起的遮挡称为类内遮挡，也称为人群遮挡。物体检测器需要确定人群中不同物体的位置，并准确描绘其边界。即使对于人类注释者，许多情况也极具挑战性。在自动驾驶中，至少有几种场景需要处理拥挤场景中的物体检测：停车场或城市街道中的车辆检测以及十字路口上的行人检测。用于行人和车辆检测的拥挤场景示...

今天给大家带来的话题是AIGC趋势下的软件工程重塑。今天这个话题主要分为以下四大部分。第一部分是AI是否已经成为软件研发的必选项；第二部分是AI对于软件研发的挑战及智能化机会，第三部分是企业落地软件研发智能化的策略和路径，第四部分是我们现有的可采纳的、可落地的工具，在这一部分我也会重点介绍通义灵码整体的产品能力和概况。01、AI已经成为软件研发的必选项这张图是麦肯锡最近发布的一个研究报告，大家可以看到他把...

本文将介绍INESCTEC和波尔图大学的FaculdadedeEngenhariadaUniversidade做的UOLO生物医学图像中的自动对象检测和分割。这作为DLMIA2018技术报告发布。本文提出了UOLO(上图)，一种同时检测和分割医学图像中感兴趣结构的新颖框架。UOLO是用于同时检测和分割医学图像中对象的网络。利用注释数据进行分割的优点是即使使用少量图像数据也可以保持较高的检测性能。解剖结构的检测和分割是一项医学成像分析的核心任务，因为它可以勾画...

引言：城市交通拥堵的挑战与智能交通信号控制的进展城市交通拥堵是一个全球性的问题，在众多缓解交通拥堵的策略中，提高路口交通信号控制的效率至关重要。传统的基于规则的交通信号控制（TSC）方法，由于其静态的、基于规则的算法，无法完全适应城市交通不断变化的模式。随着传感器技术和数据收集的发展，更加自适应的TSC策略得以发展。它们可能过度拟合特定的交通模式，并且通常依赖于可能无法捕捉到罕见但关键事件的奖励函数...

我在这里想向大家介绍1688严选和商品品质化之旅。去年，我们推出了1688严选，面临的挑战是如何让买家相信我们的商品真的经过了严格的筛选。为了解决这个问题，我们定义了“严选”标准，并运用AIGC技术规模化生产和投放品质化商品主图，以提高买家的信任度。尽管我们面临图源质量、合图标准和流程自动化等挑战，但我们通过技术创新和优化流程，大幅提升了效率，如今能每天快速制作高达几万张品质主图，为1688商人节大规模投放做...

Sora为我们展开了一个充满惊喜的新篇章，同时，Viggle这一模型也吸引了公众的目光，并在推特上迅速走红！想象一个场景，你仅需用几句话就能让画面活灵活现，无论是让角色跳舞、做后空翻，这些曾经只能在科幻电影中见到的场景现在只需动动手指就能实现～不同于Sora，Viggle赋予你控制视频主角动作的能力，如同指挥。例如下面视频中的样例，当你下达指令让视频中的女主角进行“空中芭蕾跳跃和旋转”，你将见证她以极其流畅的动作...

建立神经网络时，需要采取几个步骤。其中两个最重要的步骤是实现正向和反向传播。这两个词听起来真的很沉重，并且总是让初学者感到恐惧。但实际上，如果将这些技术分解为各自的步骤，则可以正确理解它们。在本文中，我们将专注于反向传播及其每个步骤的直观知识。什么是反向传播这只是实现神经网络的一项简单技术，允许我们计算参数的梯度，以执行梯度下降并使成本函数最小化。许多学者将反向传播描述为神经网络中数学上最密集...

多轮对话中大语言模型在做出正确判断后，如果面对追问中的质疑、否定、误导等干扰它还能坚持先前的正确判断吗？最近来自南京理工大学（NJUST）的研究者们发现大语言模型（LLMs）在面对追问时经常会在其判断上动摇，即使原始判断是正确的。这种判断的不一致性为生成可靠回应和建立用户信任带来了重大挑战。论文标题：AskAgain,ThenFail:LargeLanguageModels'VacillationsinJudgement论文地址：​​https:arxiv.orgabs2310.02174...