AI.x社区

对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。比如之前有研究结果显示，在GSM8K基准测试中实现80%以上准确度所需的最小模型尺寸为340亿个参数。为了在较小的模型上达到这种性能水平，研究人员经常训练SLM来生成Python代码或使用外部工具作为辅助，以避免计算错误。或是基于集成（ensembling）技术，将100多个模型生成的输出组合在一起，以获得更准确的结果，最终结果的选择需要通过共识、多数表决或与SLM结...

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophicvalues）等问题，目前模型的上下文窗口大多不超过128k个token最近，MicrosoftResearch的研究人员提出了一个新模型LongRoPE，首次将预训练LLM的上下文窗口扩展到了2048k个token，在256k的训练长度下只需要1000个微调步骤即可，同时还能保持原始短上下文窗口的性能。论文链接：​​https:arxiv.orgabs...

在4月27日召开的中关村论坛通用人工智能平行论坛上，人大系初创公司智子引擎隆重发布全新的多模态大模型Awaker1.0，向AGI迈出至关重要的一步。相对于智子引擎前代的ChatImg序列模型，Awaker1.0采用全新的MOE架构并具备自主更新能力，是业界首个实现“真正”自主更新的多模态大模型。在视觉生成方面，Awaker1.0采用完全自研的视频生成底座VDT，在写真视频生成上取得好于Sora的效果，打破大模型“最后一公里”落地难的困境。Awake...

想象一下，你仅需要输入一段简单的文本描述，就可以生成对应的3D数字人动画的骨骼动作。而以往，这通常需要昂贵的动作捕捉设备或是专业的动画师逐帧绘制。这些骨骼动作可以进一步的用于游戏开发，影视制作，或者虚拟现实应用。来自阿尔伯塔大学的研究团队提出的新一代Text2Motion框架，MoMask，正在让这一切变得可能。MoMask框架是基于多层离散化动作表示的，利用生成式掩码技术，能够生成更高质量的3D人体动作。如视频1中展示...

啊？Sora火爆短片《气球人》，也“造假”了？？？背后艺术家团队的最新揭秘，可谓一石激起千层浪：原来，视频画面并非完全由AI生成，其中有大量视觉效果需要人类后期实现。belike：这下网友不干了，合着大家伙儿跟OpenAI玩真心，OpenAI背后却耍起心眼子来了：他们含糊其辞，就是希望观众认为短片完全是AI生成的，这是不是有点不诚实了啊。这不是人工智能生成的视频，而是使用了一些AI技术的视频。还有网友直接开喷：误导性营销...

尽管许多大型语言模型（LLMs）能够处理长篇输入，但它们仍然难以充分利用长文本中的信息，这被称为“中间丢失（lostinthemiddle）”挑战。这个问题可能是源于长文本训练期间缺乏明确的监督，未能强调长文本中任何位置都可能包含关键信息。基于这一直觉，提出了一种名为INformationINtensive（IN2，信息密集）训练的方法，这是一种纯粹的数据驱动解决方案，用以克服“中间丢失”的问题，达到GPT4Turbo同等水平！探测结果表明，IN...

论文链接：https:arxiv.orgpdf2404.16748今天和大家分享的这个工作，核心是解决了从文本描述生成3D穿着衣物的人体的任务。先前的工作通常将人体和衣物编码为一个整体模型，并在单阶段优化中生成整个模型，这使得它们在进行服装编辑时困难重重，同时失去了对整个生成过程的细粒度控制。为了解决这个问题，本文提出了一种分层式的穿着人体表示方法，结合渐进优化策略，可以生成解耦的3D人体模型，同时提供对生成过程的控制能力。...

01智能化决策与预测AI能够处理和分析大量的数据，从中提取有用的信息，进而做出智能化的决策和预测。这使得企业可以更加精准地把握市场趋势，优化运营策略，提高效率和盈利能力。同时，AI也帮助政府和社会机构更好地制定政策和规划，以满足人民的需求。02自动化与效率提升AI技术可以实现许多任务的自动化，包括生产线上的制造、物流配送、客户服务等。这不仅提高了工作效率，降低了人力成本，还使得一些复杂和高风险的任务得以...

一、背景电商供应链的系统建设一般偏向于数据管理类型，但此类系统建设有一个很明显的问题就是前后端开发的沟通成本较高（相对研发成本而言），特别是一些简单加减字段的诉求沟通成本甚至达到50%以上，如何将这部分沟通成本降低下来，并保证高质量的交付成为目前亟待解决的问题。经过对需求和系统页面进行分析，我们得出如下数据：供应链≤2人日的需求投入工时占接近50%，两周的迭代周期，一个前端甚至能接到10+需求，时间碎片...

深入探讨生成式人工智能的原则和模型，以及它在数据分析中的应用。面对快速变化的市场格局，企业必须不断寻求新的技术突破来保持领先地位。生成式人工智能（GenerativeAI）无疑是近年来发展最为迅猛的一个突出领域。Gartner预测，到2026年，超过80%的组织将使用生成式人工智能API、模型或应用程序，而2023年这一比例还不到5%。生成式人工智能引起了数据分析和相关应用的范式变化。只需简单几个提示词，用户就可以收到文本、图像...

Sora是OpenAI发布的一款视频生成模型，采用了DiffusionTransformer架构，旨在实现高保真度和视频图像的前后一致性。其突出之处在于能够生成逼真流畅的视频内容，令人惊叹不已。Sora一经推出便在极短的时间内迅速引起了科技界和社会各界的关注，同时也引发了关于AI技术发展和产业变革的激烈讨论，日前，MoPaaS魔泊云创始人和CEO鲁为民博士参与腾讯科技举办的：与硅谷专家和创业者共同探讨：Sora的商业逻辑与技术创新分析直播活动...

撰稿李美涵采访云昭嘉宾邹国平出品51CTO技术栈（微信号：blog51cto）进入2024，AI应用落地的步伐悄然加速。AI文生图产品——连接着千行百业的设计需求，极大地压缩了创意实现的周期——正成为快速掘金的AI领域之一。AI生图自2022年底开始爆发，过去一年多的时间已经让这条赛道变得内卷起来，前有Midjourney、DALL·E、StableDiffusion稳稳占据头部市场，后有GPT4等多模态大模型随时可能抄后路的危险，再加上诸多类似服务的图像...

各种编程Copilot彻底卷起来了，不止国外的微软、谷歌、Meta，国内的百度、阿里、商汤等AI巨头盯上了编程这块肥肉，不少初创公司也毅然决然的选择了这条赛道。最近，那位曾经把Java带成Sun巅峰的CTO、前谷歌CEO施密特（EricSchmidt）也再度挥刀编程领域，并投资了一家新的编程Copilot应用，有意思的是，这款产品背后的发起者是有微软的背景。这个平台就是Augment，周三它以2.52亿美元的资金悄然出现，投后，该平台的估值已接近独...

近期，大语言模型、文生图模型等大规模AI模型迅猛发展。在这种形势下，如何适应瞬息万变的需求，快速适配大模型至各类下游任务，成为了一个重要的挑战。受限于计算资源，传统的全参数微调方法可能会显得力不从心，因此需要探索更高效的微调策略。上述挑战催生了参数高效微调（PEFT）技术在近期的快速发展。为了全面总结PEFT技术的发展历程并及时跟进最新的研究进展，最近，来自美国东北大学、加州大学Riverside分校、亚利桑那州...

苹果VisionPro发布之后火了一段时间，就几乎堙灭了。那是因为，仅靠一个头显，是无法真正体会到「头号玩家」中那样沉浸般的世界。还记得今年1月，迪士尼首次公布了「全息地板」Holotile黑科技，一块地板即实现无限行走，引全网围观。就在最近，油管网红MKBHD已经拿到全球首个Holotile评测资格，开启了一波评测。十分钟的简短评测视频，现全网播放量已破300万。戴上VisionPro之后，MKBHD在Holotile漫步时，永远都不会走出它的边...

论文链接：https:arxiv.orgpdf2404.14294.pdf大语言模型（LLMs）因其在各种任务中表现出色而受到广泛关注。然而，LLM推理所需的大量计算和内存资源对于在资源受限场景中部署提出了挑战。该领域的努力集中在开发旨在提高LLM推理效率的技术上。本文对现有文献中关于高效LLM推理的内容进行了全面调研。首先分析了导致LLM推理低效的主要原因，即大模型大小、二次复杂度的注意力操作和自回归解码方法。然后，本文引入了一个全面的分...

项目链接：https:github.comhpcaitechOpenSoraOpenSora1.1是ColossalAI开发的开源视频生成模型的最新迭代，标志着在这个快速发展的领域取得了实质性的飞跃。在其前身OpenSora1.0的基础上，该版本在功能、训练效率和整体灵活性方面进行了显著改进。OpenSora项目是一项致力于高效制作高质量视频，并使所有人都能使用其模型、工具和内容的计划。通过采用开源原则，OpenSora不仅实现了先进视频生成技术的低成本普及，还提供了一个精...

视觉语言模型屡屡出现新突破，但ViT仍是图像编码器的首选网络结构。字节提出新基础模型——ViTamin，专为视觉语言时代设计。在使用相同的数据集和训练方案时，ViTamin在ImageNet零样本准确率上比ViT提高了2.0%。此外在分类、检索、开放词汇检测和分割、多模态大语言模型等60个不同基准上都表现出了良好的结果。当进一步扩展参数规模时，ViTaminXL仅有436M参数，却达到了82.9%的ImageNet零样本准确率，超过了拥有十倍参数（4.4B...

大模型力大砖飞，让LLaMA3演绎出了新高度：超15TToken数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。与此同时，在实际应用层面上，另一个热点话题也浮出水面：资源有限场景下，LLaMA3的量化表现又会如何？香港大学、北京航空航天大学、苏黎世联邦理工学院联合推出了一项实证研究，全面揭示了LLaMA3的低比特量化性能。研究人员使用现有的10种训练后量化和LoRA微调方...

抛弃传统方法，只采用Transformer来解码真实场景！近日，来自Meta的研究人员推出了SceneScript，只需要70M参数，仅采用编码器解码器架构，就能将真实世界的场景转化为几何表示。论文地址：https:arxiv.orgpdf2403.13064.pdfSceneScript是一种用于表示和推断场景几何图形的方法，使用自回归结构化语言模型和端到端学习。SceneScript可以助力AR和AI设备理解物理空间的几何形状，比如下面这个演示，利用Aria眼镜拍摄的素材，SceneS...