AI.x社区

一、背景之前看过部分MegatronLM的源码，也详细分析过对应的Dataset和DataLoader，想当然的认为在LLM预训练时会使用DocumentLevel的Mask，也就是常说的SamplePacking技术。最近我们在做长序列训练相关工作时发现并非如此，并且出现了一些很奇怪的性能问题，因此重新看了相关工作，并进行了部分实验。SamplePacking中有很多可以讨论的技术点，比如Attention的实现和优化，Sample的组合及负载均衡问题（有点类似调度问题）以及不...

大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：1、如何让LLM学会"试错"2、LLM竟然学会了"自我反省"，它真的有自我意识吗？1、如何让LLM学会"试错"你有没有想过，为什么人工智能经常会犯"愚蠢"的错误？原因可能让你意外：因为我们一直在教它"做一个完美主义者"！最新研究表明，让AI学会"试错"，反而能让它变得更聪明。想象一下，如果从小到大，你只被允许看到正确答案，从来...

自从JohnSchulman、JanLeike等大牛离职加入Anthropic，AISafety&Alignment的研究中心也逐渐由OpenAI转移到Anthropic。今天，小编就带来一篇来自Anthropic的AI安全相关的论文解读，搬起小板凳一起吧！一、前沿模型带来的潜在风险随着前沿语言模型能力的不断提升，它们所带来的潜在灾难性风险受到了广泛关注。像OpenAI、Anthropic等前沿实验室都在进行部署前的风险测试。这些风险通常包括模型被外部行为者滥用，比如在生物风险、...

​“企业级应用和平常学习是两回事，千万不能混为一谈”在前面的​​千万不要为了节约成本而选择小模型，特别是开源模型​​这篇文章中，简单说明了为什么尽量不要选择小模型，然后文章下面有些评论，可能觉得作者说的都是废话，或者模型不好直接换就行了。但事实上作者认为这些都是站在纯粹的技术角度或者说把企业级应用想的太简单了。大模型在企业级应用中面临的问题很多技术人员都习惯站在技术的角度来考虑问题，认为某项技...

出品51CTO技术栈（微信号：blog51cto）编辑伊风老黄也太凡尔赛了！竟然在播客中喊话客户少买英伟达，“每年买一点”就好。上述发言就在黄仁勋做客的科技节目Bg2Pod，在与主持人Brad、Clark对谈时，老黄非常投机，话匣子一开就收不住了！上图：播客开场，黄仁勋与Brad戴了搞怪的眼镜主持人一开始还紧张地打断，并表示自己还有不少问题。而黄仁勋一直慷慨地表示：没事，我的时间多的是！最终，这场酣畅淋漓的对话持续了一个半小时...

本文将通过探讨微软开源Florence2模型的零样本功能来全面了解其在字幕识别、目标检测、分割和OCR等领域的应用。简介近年来，计算机视觉领域见证了基础模型的兴起，这些模型可以在不需要训练自定义模型的情况下进行图像注释。我们已经看到了用于分类的CLIP模型（参考文献2）、用于对象检测的GroundingDINO（参考文献3）和用于分割的SAM（参考文献4）等模型，每种模型在其各自领域都表现出色。但是，我们是否能够开发一个能够同时...

AIGC创新先锋者征文大赛​​【本文正在参与AI.x社区AIGC创新先锋者征文大赛】​近年来，生成式AI无疑是AI领域最炙手可热的技术之一。从自动生成文本、图像，到音乐、视频等多模态生成，AIGC的应用领域不断扩大，推动着各行各业的创新。我也学习了一些AIGC方面的一些知识，并产生了浓厚的兴趣，也有了一些心得体会。1.AIGC的核心技术生成式AI的核心技术包括生成对抗网络、自回归模型以及变分自编码器等。这些技术为AIGC的创新应...

【本文正在参与AI.x社区AIGC创新先锋者征文大赛】:​​【大奖征文】AIGC创新先锋者征文大赛悬赏召集AI.xAIGC专属社区51CTO.COM​​​近年来，人工智能（AI）技术在医疗领域的应用持续扩展，其通过数据处理、机器学习和深度学习等技术，为医疗行业带来了巨大的变革。AI不仅提高了诊断的准确性，还促进了药物开发、个性化医疗以及外科手术等多个方面的创新。本文将详细探讨AI在医疗中的主要应用场景、其对医疗行业的深远影响以及...

1模型创新点介绍1.1时序特征捕捉与建模使用Informer的编码器层来捕捉长故障信号时序依赖特征长时间序列处理：传统的RNN和LSTM等方法在处理长时间序列时存在计算效率低、梯度消失等问题。Informer通过改进Transformer架构，使用ProbSparseSelfAttention机制，有效地提高了计算效率，特别是对于长时间序列数据。全局特征提取：通过多头注意力机制，Informer能够捕捉序列数据中的全局特征和长时间依赖关系，确保对故障信号的时序特...

​“大模型和小模型是从功能上来区分的，而不是参数上”我们在工作的过程中，应该多多少少都遇到过这样的事情；那就是老板为了节省成本，然后找了一些不专业或者一些漏洞百出的工具给我们用；最后的结果就是成本没节约下来，然后还出了一大堆乱七八糟的事。这可真的是羊肉没吃着，还惹了一身骚；成本没节约，最后还耽误时间，身心俱疲。为什么不建议使用小模型？首先声明一下，这里的小模型不是指参数体量小的模型，是指功能太...

智能体（Agent）通过自然对话与用户互动有两个任务：交谈和规划推理。对话回应必须基于所有可用信息，行动必须有助于实现目标。与用户交谈和进行多步推理和规划之间的二分法，类似卡尼曼引入的人类快速思考和慢速思考系统。为此，GoogleDeepMind提出了一个名为TalkerReasoner的双系统架构，以模拟人类的两种思考系统。TalkerReasoner的双系统架构，用于构建能够通过自然对话与用户互动的智能代理。这种架构受到人类“快速思考”...

​本文介绍视觉目标检测模型YOLOv11。2024年9月30日，在YOLOVision活动上，Ultralytics团队正式宣布发布YOLOv11。短短2年，YOLO就从YOLOv8一下子迭代到YOLOv11，可见目前AI的发展速度。感兴趣的小伙伴可以看看官方的仓库：https:github.comultralyticsultralytics模型介绍对比YOLOv8（Ultralytics前一代出品），主要有三个模型结构的变化：C3k2机制。上图为C3k的网络结构图，2是指调用时C3k其中的参数N固定设置为2。不过从结构...

大模型在处理更复杂的问题时，仍然容易在推理过程中出现错误，导致推理路径偏离，最终影响模型的整体性能。现有的大语言模型在多步推理任务中，通常会由于推理路径中某一步骤的错误而影响整个推理过程。这些错误不仅降低了模型的准确性，还增加了计算成本和执行延迟。传统的方法如强化学习需要复杂的奖励模型，而其他偏好优化方法往往忽视了多步推理任务中错误发生的具体步骤及其后续分支。为了解决这些问题，阿里巴巴达摩院、...

图检索增强生成（GraphRAG）正逐渐流行起来，成为传统向量搜索方法的有力补充。这种方法利用图数据库的结构化特性，将数据以节点和关系的形式组织起来，从而增强检索信息的深度和上下文关联性。示例知识图谱图在表示和存储多样化且相互关联的信息方面具有天然优势，能够轻松捕捉不同数据类型间的复杂关系和属性。而向量数据库在处理这类结构化信息时则显得力不从心，它们更擅长通过高维向量处理非结构化数据。在RAG应用中，结合...

最近消失了近一个月，我胡汉三回来了。确实因为工作太忙了，国庆假期也回了趟老家，让自己好好放松了一个月。现在还真想抽自己，AI领域日新月异，更新的实在是太快了。一个月已然又发生了巨大变化，自己都有些落后了。就在前两天，kimi在距离上次发布生成PPT功能也已有两月有余，中间没有任何更新，这次它带着探索版归来了。这两天体验了一下，与以往的AI搜索对比，确实更加深入。怎么使用呢？很简单，只要你在kimi对话框里输入...

今天这篇文章给大家介绍几篇KDD2024中，大厂在推荐系统领域的优化工作，论文来自爱彼迎、腾讯、快手、美团等公司，设计多目标建模、多样性、搜索意图建模、rankingloss等问题。1.爱彼迎：多目标建模和模型蒸馏论文标题：MultiobjectiveLearningtoRankbyModelDistillation下载地址：https:arxiv.orgpdf2407.07181多目标建模转换成模型蒸馏问题。多目标的场景要求最小化一个目标的预测误差，同时其他目标的预估误差在一个约束内。...

本文正在参与AI.x社区AIGC创新先锋者征文大赛​​https:www.51cto.comaigc2223.html​​作为一名刚刚踏入AIGC（人工智能生成内容）行业的小白，我的心中充满了对未知世界的好奇与期待。这个新兴的领域，对我而言，既是一个挑战，也是一个全新的起点。初识AIGC是再一次偶然的一个大厂华哥的行业会议上，看到了人工智能对于内容生成的文章的快捷性，当时还是停留在概念的理解方面，只是觉得能够自动化的生成文字、图像、音视频等...

近日，MistralAI发布了两款新型边缘模型——Ministral3B和Ministral8B，引发了科技界的广泛关注。这两款模型不仅在性能上表现出色，更在隐私保护方面独具优势。图片性能卓越，隐私优先Ministral3B和8B专为设备端计算设计，能够处理长达128k的文本信息。特别是Ministral8B，采用了创新的滑动窗口注意力机制，显著提升了运算速度和内存效率。此外，这两款模型均以隐私保护为设计核心，确保数据在本地处理，降低数据泄露风险。多场...

OpenAI又又又搞了点花活！此前macOS系统才有的桌面应用，终于登陆Windows了！主打一个Alt+Space快捷拉取，更快人一步地向GPT提问。图片虽然，目前都是充值玩家（ChatGPTPlus、Enterprise、Team和Edu用户）才可以测试。但他们也承诺说，以后会开放给全部用户体验。图片想要一手体验的朋友，现在可以移步MicrosoftStore下载Windows应用程序。图片下载地址：https:www.microsoft.comstoreapps9NT1R1C2HH7J我们发现，ChatGPT桌面版...

论文链接：https:arxiv.orgpdf2407.21705项目链接：https:alivideoai.github.iotoravideo代码链接：https:github.comalibabaTora阿里团队最近在GitHub上推出了其创新的文生视频生成工具——Tora，为学术界和开源社区提供了新的研究资源。Tora基于先进的DiT框架，专注于轨迹控制的视频生成。此次开源的版本包括了完整的推理代码和模型权重，旨在为研究人员和开发者提供高效的工具，促进技术交流与学习。从GitHub上的README文件来...