AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
一文详解视觉Transformer模型压缩和加速策略(量化/低秩近似/蒸馏/剪枝)
论文链接:https:arxiv.orgpdf2404.10407视觉Transformer（ViT）在计算机视觉领域标志性地实现了一次革命，超越了各种任务的最先进模型。然而，它们的实际应用受到高计算和内存需求的限制。本研究通过评估四种主要的模型压缩技术：量化、低秩近似、知识蒸馏和剪枝，来解决这一挑战。系统地分析和比较了这些技术及其组合在优化ViT以适应资源受限环境方面的效果。全面实验评估表明，这些方法在模型准确性和计算效率之间实...视觉模型微软炸裂级单图生数字人，Sora同款思路，“比AI刘强东还真”
精华AI伪造真人视频，门槛再次降低。微软发布一张图生成数字人技术VASA1，网友看过直呼“炸裂级效果”，比“AI刘强东还真”。做到以假乱真效果，不用针对特定人物训练，只要上传一张人脸图片、一段音频，哪怕不是真人也行。比如可以让蒙娜丽莎唱Rap，模仿安妮海瑟薇即兴吐槽狗仔队名场面。或者让素描人像念华强台词。在项目主页还有更多1分钟视频，以及更更多15秒视频可看。不同性别、年龄、种族的数字人，用着不同的口音在说话。根...微软数字人碳实践 | 一文读懂LCA产品生命周期环境影响评价
一、产品生命周期评价定义生命周期评价：生命周期评价（LifeCycleAssessment，简称LCA）是一种量化评价方法。它涵盖了产品的整个生命周期——从自然资源开采到原材料加工、产品制造、分销、使用，直至最终废弃处置或回收再利用。LCA定量计算并评价产品消耗的资源与能源，以及排放的环境负荷，通常会评估多种环境影响类型，包括资源类、气候变化类、大气环境类、水体及土壤毒性类等指标，其中企业核算产品碳足迹的LCA尤为常见。...碳管理碳达峰碳中和Llama 3突然来袭！开源社区再次沸腾：GPT-4级别模型可以自由访问的时代到来
Llama3来了！就在刚刚，Meta官网上新，官宣了Llama380亿和700亿参数版本。并且推出即为开源SOTA：Meta官方数据显示，Llama38B和70B版本在各自参数规模上超越一众对手。8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过Gemma7B和Mistral7BInstruct。而70B模型则超越了闭源的当红炸子鸡Claude3Sonnet，和谷歌的GeminiPro1.5打得有来有回。Huggingface链接一出，开源社区再次沸腾。眼尖的盲生们还第一时间发现了华点：Meta更藏...Llama 3模型碳课堂｜什么是碳市场？如何进行碳交易？
原创近年来，随着全球变暖问题日益受到重视，碳达峰、碳中和成为国际社会共识，为更好地减缓和适应气候变化，同时降低碳关税风险，以“二氧化碳的排放权利”为商品的碳交易和碳市场应时而生。一、什么是碳交易、碳市场各国控制温室气体排放的政策一般分为三类：命令控制、经济刺激、劝说鼓励，其中经济刺激型手段由于灵活性和持续改进性而受到青睐。经济性刺激手段也分为两种，一种是政府强制型手段，即开征碳税；另一种是通过市场...碳管理碳市场碳交易生成式AI如何告别版权困扰？基于权重显著性的机器遗忘算法有奇效
近期，硅谷AI公司OpenAI可谓是话题度拉满，先是一出「宫斗戏」引起舆论哗然，后是公布Sora效果炸裂受到了全网的一致好评。在这期间，一桩诉讼案件同样引爆了热点——因ChatGPT涉嫌侵犯纽约时报著作权，OpenAI及微软被起诉并要求支付巨额版权费[1]。一方是传统新闻行业的代表刊物，一方是新兴人工智能技术发展中的佼佼者。双方展开这场「里程碑式」拉锯战的同时，也将科研圈长期存在的问题再次拉上了台面：在AI高速发展的浪潮中...模型训练谁才是最强的？清华给海内外知名大模型做了场综合能力评测
在2023年的“百模大战”中，众多实践者推出了各类模型，这些模型有的是原创的，有的是针对开源模型进行微调的；有些是通用的，有些则是行业特定的。如何能合理地评价这些模型的能力，成为关键问题。尽管国内外存在多个模型能力评测榜单，但它们的质量参差不齐，排名差异显著，这主要是因为评测数据和测试方法尚不成熟和科学，而好的评测方法应当具备开放性、动态性、科学性和权威性。为提供客观、科学的评测标准，清华大学基础...模型测评以自组织映射算法促进高效的LLM检索增强生成
原创背景当今社会，人们使用大量数据训练包含数百万和数十亿模型参数的大型语言模型（LLM），目标是生成文本，如文本完成、文本摘要、语言翻译和回答问题。虽然LLM都是从给定的训练数据源开始来开发知识库本身，但是其中总有一个截止训练日期的问题，这导致了LLM不会知道在以后的新日期内的任何新生成的数据。例如，训练OpenAI的GPT3.5turboinstructLLM的截止日期为2021年9月（参考：https:platform.openai.comdocsmodelsgpt35turbo...映射算法大型语言模型LLM五个简单好用的本地运行大模型的方法
原创出品51CTO技术栈（微信号：blog51cto）像ChatGPT、Claude.ai和phind这样的聊天机器人非常有用，但可能并不总是希望的问题或敏感数据由外部应用程序处理。在平台上尤其如此，在这些平台上，你的互动可能会被人类审查，并以其他方式用于帮助训练未来的模型。一种解决方案是下载一个大型语言模型（LLM）并在自己的机器上运行它。这样一来，外部公司就永远无法访问的数据。这也是尝试一些新专业模型的一个快速选择，如Meta最近宣布...模型本地运行这款Linux发行版发起AI禁令！生成代码质量堪忧！阿里也被大模型幻觉愚弄了！网友：人比生产力更重要！
原创撰稿言征出品51CTO技术栈（微信号：blog51cto）GentooLinux是一套通用的、快捷的、完全免费的Linux发行版，因出色的包管理系统Portage而被开发人员广为喜爱。最近，GentooLinux社区宣布：发行版将不再允许人工智能生成和辅助代码贡献。一、GentooLinux禁AI令：AI生成的代码贡献要分叉Gentoo理事会成员MichałGórny最初于2月27日提出了对人工智能代码的禁令，Gentoo是一个管理Linux发行版的民选委员会。Górny主张禁止人工智能...LinuxAI禁令发行版耶鲁&斯坦福联合发表，融合channel独立/联合建模提升多元时序预测效果
今天给大家介绍的文章，是耶鲁大学和斯坦福大学联合发表的多元时间序列预测工作，重点解决的问题还是最近经常被提及的channel之间的联合建模还是独立建模的问题，提出了一种多channel间关系建模的新方法，通过学习各个channel间的关系，实现channel独立和channel联合建模的融合。论文标题：FromSimilaritytoSuperiority:ChannelClusteringforTimeSeriesForecasting下载地址：https:arxiv.orgpdf2404.01340v1.pdf1、背景...channel建模时序预测大模型参数量都是7B，13B和65B等背后的原因是什么？
不知道大家有没有注意到现在大模型百花齐放，但是模型参数大小却非常一致，基本都是7B，13B，65B等。那么，为什么被设计成这么大呢？网络上有很多解释，笔者结合自己的理解，分享其中可能的原因。最直接的就是历史传承，因为最初OpenAI在gpt3就是这么干的，然后，Meta借鉴了OpenAI的做法，推出了llama的7B，13B，33B，65B四个尺寸。由于llama在开源领域的地位，其他模型厂商都基本遵守了这样的约定，形成了当下的局面。适配推理...模型参数gpt-3谷歌开源专业代码模型：对硬件要求低，性能超强！
谷歌发布了面向企业、开发人员的全新代码模型CodeGemma，一共有基础预训练、指令微调和快速推理三个版本。CodeGemma是基于谷歌在今年2月发布的Gemma模型之上开发而成。其参数很小只有20亿和70亿两种，但使用了超过5000亿tokens的代码、数学、文本等数据进行了大规模预训练，能快速生成Python、JavaScript、Java、CC++、C等主流编程语言代码。在代码编程、多语言编程等基准测试中，CodeGemma70亿参数的性能超过了DeepSeekCoder、...编程语言模型突发！Stable Diffusion 3，可通过API使用啦
精华4月18日，著名开源大模型平台Stability.ai在官网宣布，最新文生图模型StableDiffusion3（简称“SD3”）和SD3Turbo可以在API中使用。据悉，本次继续由知名API管理平台FireworksAI提供服务。与前两代相比，SD3除了生成的图片质量更高之外，可以更好地理解提示文本中嵌入到图片中的文字。例如，一个色彩缤纷的魔法世界，天空的中央写着“欢迎来到魔法世界”。前两个模型版本可能无法将“欢迎来到魔法世界”精准嵌入到图片的指定位...模型AI从文字模型到世界模型！Meta新研究让AI Agent理解物理世界
LLM已经可以理解文本和图片了，也能够根据它们的历史知识回答各种问题，但它们或许对周围世界当前发生的事情一无所知。现在LLMs也开始逐步学习理解3D物理空间，通过增强LLMs的「看到」世界的能力，人们可以开发新的应用，在更多场景去获取LLMs的帮助。AIAgent，比如机器人或是智能眼镜，它们可以通过感知和理解环境来回答一些开放性问题，比如「我把钥匙放哪里了？」这样的AIAgent需要利用视觉等感知模式来理解其周围环境，并能...AI模型扩散模型中进行条件插值？AID:无需训练，保证一致、平滑和保真度(新加坡国立&南洋理工)
文章链接：https:arxiv.orgpdf2403.17924代码&demo：https:github.comQYH00attentioninterpolationdiffusion条件扩散模型可以在各种设置中创建未见过的图像，有助于图像插值。潜在空间中的插值已经得到了深入研究，但是带有特定条件（如文本或姿态）的插值则了解较少。简单的方法，比如在条件空间中进行线性插值，通常会导致图像缺乏一致性、平滑性和保真度。为此，本文引入了一种新颖的无需训练的技术，名为通过扩散...扩散模型训练CVPR'24| 中大哈佛等提出creative Leap-of-thought探究大模型幽默创新力
导读：多模态大模型具备创造的潜力吗？能力如何？本文从大模型创造力测评与增强等方面进行了探索，从幽默创新响应的角度，揭示了大模型在创新任务上的潜力和不足。目前该成果被计算机视觉顶级会议CVPR2024录用。论文：https:arxiv.orgabs2312.02439Project:https:zhongshsh.github.ioCLoTCode:https:github.comsailsgCLoT为了探索多模态大模型的创造力，中山大学HCP实验室林倞教授团队联同SeaAILab、哈佛大学的研究人员从日本传...多模态大模型大喜利抱抱脸团队（HF）发布多模态大模型Idefics2，8B参数
原创近日，抱抱脸团队（HF）发布Idefics2，一个通用的多模态大模型，可以接受任意文本和图像序列作为输入，并生成文本响应。它可以回答关于图像的问题，描述视觉内容，创建基于多个图像的故事，从文档中提取信息，并执行基本算术运算。Idefics2改进了Idefics1：具有8B参数、开放许可（Apache2.0）和增强的OCR（光学字符识别）功能，Idefics2是多模态工作社区的坚实基础。它在视觉问答基准上的表现居于同类模型的前列，并与LLavaNext...多模态大模型Idefics2首个国产音乐SOTA模型来了！专为中文优化，免费用，不限曲风
精华自从AI让人类实现音乐创作自由后，连吵架都变得有趣了起来。前段时间，X平台知名AI博主AranKomatsuzaki自己写了一首歌，专门用来表达对另一位AI科学家——GaryMarcus的不满，还用当前大火的Suno把它生成了出来。要知道，过去，这些大佬们的口水战主要就是发个帖子，然后你来我往地跟帖。这次，AranKomatsuzaki的做法可谓是玩出了新花样，不知道是不是从「谢帝谢帝我要diss你」得到的灵感。和AranKomatsuzaki一样，国内外很多懂...AI音乐无向图最小割问题取得新突破，谷歌研究获SODA 2024最佳论文奖
1996年，美国计算机科学家DavidRKarger连同其他研究者在论文《Anewapproachtotheminimumcutproblem》中提出了一个令人惊讶的随机算法Karger算法，其在理论计算机科学中非常重要，尤其适用于大规模图的近似最小割问题。Karger算法可以在时间为O(mlog^3n)的图中找到一个最小割点，他们将这个时间称之为近线性时间，意思是线性乘以一个多对数因子。在谷歌刚刚更新的一篇博客中，他们介绍了之前发布的一篇论文《DeterministicNearLi...谷歌算法
