AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
用硅模拟人脑，进度条走到了1/80
猫头鹰的大脑约有11.5亿个神经元、1280亿个突触。全部塞进一个微波炉大小的机箱——就成了世界上最大的神经拟态系统，英特尔HalaPoint。不过别担心，期间没有任何猫头鹰受到伤害，是用的硅芯片模拟生物神经元。这种芯片效果如何？一系列数据说话：执行AI推理负载和处理优化问题时，速度比常规CPU和GPU架构快50倍，同时能耗降低了100倍。运行传统深度神经网络时，INT8精度运算的能效比达到了15TOPSW。（英伟达尚未发货的最新GB20...AI芯片32专家MoE大模型免费商用！性能全面对标Llama3，单token推理消耗仅5.28%
每个token只需要5.28%的算力，精度就能全面对标Llama3。开源大模型，再添一位重量级选手——来自浪潮信息的32专家MoE模型，源2.0M32。不仅拥有极高的回报投入比，而且全面开放，训练代码和模型权重都可任意下载，商业使用也免费、无需授权。那么，这到底是怎样的一款模型？119算力消耗，性能对标Llama3首先了解一下模型的基本信息，源2.0M32模型采用MoE架构，专家数量为32，总参数量40B，激活专家数为2，激活参数量3.7B。精度上...模型开源3D资产生成领域福音：自动化所、北邮团队联合打造材质生成新范式
在当今数字化时代，3D资产在元宇宙的建构、数字孪生的实现以及虚拟现实和增强现实的应用中扮演着重要角色，促进了技术创新和用户体验的提升。现有的3D资产生成方法通常利用生成式模型基于空间变化双向反射分布函数（SVBRDF,SpatiallyVaryingBidirectionalReflectanceDistributionFunction）在预设光照条件下推断表面位置的材质属性特征。然而，这些方法很少考虑到人们对身边常见物体的表面材质认知构建出的强大且丰富的先验知识...3D 生成编辑任何场景! 3DitScene：通过语言引导的解耦 Gaussian Splatting开源来袭！
精华文章：https:arxiv.orgpdf2405.18424项目：https:zqh0253.github.io3DitSceneHuggingFace:https:huggingface.cospacesqihang3DitScene场景图像编辑在娱乐、摄影和广告设计中至关重要。现有方法仅专注于2D个体对象或3D全局场景编辑，导致缺乏一种在3D层面上以不同粒度有效控制和操作场景的统一方法。本研究提出了3DitScene，这是一种新颖且统一的场景编辑框架，利用语言引导的解耦GaussianSplatting实现从2D到3D的无缝编辑，允许...图像编辑3DFlames 安全评测基准：大语言模型的对齐效果如何？
Flames是由上海人工智能实验室和复旦大学联合构建的大语言模型价值对齐评测基准，包含一个综合性评测框架、高对抗性中文数据集和自动评分模型，囊括Fairness（公平）,Safety(安全)，Morality(道德)，DataProtection（数据保护），以及Legality（合法）五个大维度，Flames名字也来源于此。一、为什么需要Flames？当前大语言模型在深层次的价值对齐和无害性方面存在诸多挑战，高质量的评测集可以有效评估模型的价值对齐情况。然而...语言模型工具MiniCache 和 PyramidInfer 等 6 种优化 LLM KV Cache 的最新工作
一、背景在LLM推理中，常常会采用KVCache来缓存之前Token的中间结果，以显著减少重复计算，从而降低自回归生成中的延迟。然而，KVCache的大小与序列长度成正比，在处理长序列时会面临极大的挑战。尤其当前许多模型开始支持几百K甚至几M的序列长度，进一步凸显了KVCache的问题，因此很多研究工作致力于降低KVCache的占用。本文中简单介绍几个最新的工作，包括SnapKV、YOCO、CLA、LayerCondensedKVCache、MiniCache以及PyramidInf...MiniCacheLLMSnapKVLLM | 利用分布匹配蒸馏技术快速合成图像
一、结论写在前面最近的一些方法已经显示出将昂贵的扩散模型蒸馏到高效的单步生成器中的前景。其中，分布匹配蒸馏(DMD)能够生成与教师模型在分布上匹配的单步生成器，即蒸馏过程不强制与教师模型的采样轨迹一一对应。然而，为了在实践中确保稳定训练，DMD需要使用教师模型通过多步确定性采样器生成的大量噪声图像对计算一个额外的回归损失。这不仅在大规模文本到图像合成中计算代价高昂，而且还限制了学生模型的质量，使其过于...合成图像LLM蒸馏技术用GPT-3.5生成数据集！北大天工等团队图像编辑新SOTA，可精准模拟物理世界场景
高质量图像编辑的方法有很多，但都很难准确表达出真实的物理世界。那么，EdittheWorld试试。来自北京大学、TiamatAI、天工AI、Mila实验室提出了EditWorld，他们引入了一种新的编辑任务，即世界指令（worldinstructed）图像编辑，它定义和分类基于各种世界场景的指令。在一组预训练模型，比如GPT3.5、VideoLLava和SDXL的支持下，建立了一个带有世界指令的多模态数据集。在该数据集训练了一个基于扩散的图像编辑模型EditWorld，结...图像编辑数据AlphaFold 3不开源，统一生物语言大模型阿里云先开了！
把169861个生物物种数据装进大模型，大模型竟get到了生物中心法则的奥秘——不仅能识别DNA、RNA与相应蛋白质之间的内在联系，在基因分类、蛋白质相互作用预测、热稳定性预测等7种不同类型任务中也能比肩SOTA模型。模型名为LucaOne，由阿里云飞天实验室生物智能计算团队打造。相比AlphaFold3因未开源遭到650多名学者联名批评，LucaOne训练推理代码及相关数据目前均已开源。LucaOne是目前首个全生物系统的核酸语言+蛋白语言的融合...模型开源Hugging Face全面拥抱LangChain：全新官方合作包
通过HuggingFace官方包的加持，开发小伙伴们通过简单的api调用就能在langchain中轻松使用HuggingFace上各类流行的开源大语言模型以及各类AI工具。以下是笔者在测试使用后，总结的在LangChain中无缝安装和使用HuggingFace最佳实践。如何安装要使用HuggingFace平台的功能，首先需要安装langchainhuggingface包，这是一个专门为HuggingFace平台集成的Python包。pipinstalllangchainhuggingface大型语言模型(LLM)LLM是Langchain对大...AI工具项目Karpathy新教程爆火，网友抢着送他H100：从头复现GPT-2训练
精华大神Karpathy已经不满足于用C语言造Llama了！他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT2开始。挑战成功本身并不意外，但是只花费20美元、90分钟完成训练，Loss和评测还超越原版，就！有！点！过！分！了！。不仅如此，他把复现过程写成了完整教程，果不其然再次火爆。由于Karpathy自己租用的是A100云服务，训练124M版本花费20了美元。不过有人按照教程用H100跑了一把，不仅训练时间更短，还更省钱了：43分钟完成，...模型训练如何将大型语言模型（LLM）转换为嵌入模型
原创实验证明，LLM2Vec模型在嵌入任务上具有更好的性能，它可以为组织开辟新的场所，并以非常低的成本快速创建专门的嵌入模型。嵌入模型已经成为大型语言模型(LLM)应用的重要组成部分，可以实现检测文本相似度、信息检索和聚类等任务。然而，与生成任务中使用的架构不同，嵌入模型主要基于Transformer架构。这使得很难将生成模型上的大量工作转移到改进的嵌入模型上，并且需要额外的并行工作。在一项新的研究中，魁北克人工智能研究...大型语言模型LLM人工智能Meta AI的首席执行官LeCun：不要从事LLM工作
出品51CTO技术栈（微信号：blog51cto）在巴黎举行的初创企业年度技术大会VivaTech上，MetaAI的首席执行官YannLeCun建议希望在AI生态系统中工作的学生不要从事LLM（大型语言模型）方面的工作。“如果你是对构建下一代AI系统感兴趣的学生，请不要从事LLM方面的工作。这是大公司的事情，你们无法对此有所贡献，”LeCun在会议上表示。他还说，人们应该开发能够克服大型语言模型局限性的下一代AI系统。1.远离LLM有趣的是，关于LLM（...LLMGPT-4o数据2500页算法文档泄露！搜索史上最强黑箱曝光，谷歌翻车再升级？
原创撰稿丨诺亚出品51CTO技术栈（微信号：blog51cto）谷歌有点流年不利。前两天刚被曝出，其搜索新推出的“AI摘要（AIOverviews）”功能经常提供严重错误的搜索结果信息，例如，荒唐地建议用户用胶水来防止披萨上的奶酪滑落。对此，CEO皮查伊也不得不承认这是大语言模型的幻觉所致，且目前还没有解决方案。最近谷歌疑似再次“翻车”。一份据称包含2500页的谷歌内部文件被泄露，这份文件可能首次向公众揭示了谷歌搜索引擎的运作机制...算法文档黑箱斯坦福新研究：RAG能帮助LLM更靠谱吗？
精华大语言模型（LLM）虽然功能强大，但容易出现幻觉。此外，它们受限于其训练语料库中包含的知识，因此无法回答有关近期事件或公开受限信息的查询。为了解决上述问题，检索增强生成（RAG）是一种常用的框架，它在LLM的提示中提供相关检索内容，获得相关信息的参考文档或数据库，并可以显著提高模型的准确性。大多数商业LLM，如ChatGPT、Gemini和Perplexity.ai，已经在它们的Web界面中采用了某种版本的RAG。例如，ChatGPT使用Bing搜...LLM模型ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架SAPT
本论文作者赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生，导师为赵妍妍教授和秦兵教授，主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、COLING等会议上发表论文。个人主页:https:circlehit.github.io在大模型实际部署落地的过程中，如何赋予大模型持续学习的能力是一个至关重要的挑战。这使其能够动态适应新的任务并不断获得新的知识。大模型的持续学习主要面临两个重大挑战...模型框架填补AlphaFold3空白，字节跳动提出物理引导的方法让蛋白质动起来
世界是变化的，分子是运动的，从预测静态单一结构走向动态构象分布是揭示蛋白质等生物分子功能的重要一步。探索蛋白质的构象分布，能帮助理解蛋白质与其他分子相互作用的生物过程；识别蛋白质表面下的潜在药物位点，描绘各个亚稳态之间的过渡路径，有助于研究人员设计出具有更强特异性和效力的目标抑制剂和治疗药物。但传统的分子动力学模拟方法昂贵且耗时，难以跨越长的时间尺度，从而观察到重要的生物过程。近年来的深度学习...生成式蛋白质AI诗人来了！斯坦福和微软联手，用大型语言模型优化诗歌创作
精华探索大型语言模型（LLMs）在文本空间优化问题中的潜力在现代人工智能的研究与应用中，大型语言模型（LargeLanguageModels，简称LLMs）已经显示出其在处理复杂语言任务中的强大能力。从生成文本、理解文档到执行代码，LLMs的应用范围日益扩大。然而，除了这些生成性任务外，LLMs在优化问题中的应用也开始受到关注。特别是在文本空间的优化问题上，LLMs展现出了独特的潜力。本文旨在探讨LLMs在文本空间优化问题中的应用潜力，尤其...AILLM优化利用LLM本身训练SoTA embedding模型
大家好，我是HxShine今天分享一篇Microsoft公司的一篇文章，Title:ImprovingTextEmbeddingswithLargeLanguageModels：使用大型语言模型改善文本嵌入。这篇文章探索了直接利用LLM来做embedding模型，其只需要利用合成数据和少于1000次的训练步骤就能获得高质量文本表征。该方法分为两步：1）利用LLM生成文本embedding任务合成数据集：利用专有的大型语言模型（LLM）生成近100种语言的数十万个文本嵌入任务的多样化合成数据。2）...LLMSoTA模型剖析特定领域大模型
随着人工智能技术的不断发展，大型语言模型成为人们关注的焦点之一。通用语言模型如GPT3在各种语言处理任务上展现了强大的能力，但随着对特定领域需求的增加，领域特定的大型语言模型应运而生。这些模型通过在专业的领域内进行深入训练或精调，提供了有针对性精准定制的解决方案。在《WhataredomainspecificLLMs》“什么是特定领域的LLMs”一文中，作者探讨了大型语言模型的基本概念，并聚焦于领域特定的大型语言模型。他指出随...特定领域大模型
