AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
谷歌推出TransformerFAM架构，以更低的消耗处理长序列文本
Transformer对大模型界的影响力不言而喻，ChatGPT、Sora、StableDifusion等知名模型皆使用了该架构。但有一个很明显的缺点，其注意力复杂度的二次方增长在处理书籍、PDF等超长文档时会显著增加算力负担。虽然会通过滑动窗口注意力和稀疏注意力等技术来解决这一问题,在处理极长序列时仍存在局限性。因此，谷歌的研究人员提出了全新架构TransformerFAM，可以无缝与预训练模型集成,并通过LoRA进行少量精调从而大幅度提升模型性能。...谷歌架构利用大语言模型增强网络抓取：一种现代化的方法
原创本文将探讨大语言模型(LLMs)与网络抓取的集成，以及如何利用LLMs高效地将复杂的HTML转换为结构化的JSON。作为一名数据工程师，我的职业生涯可以追溯到2016年。那时，我的主要职责是利用自动化工具从不同网站上获取海量数据，这个过程被称为“网络抓取”。网络抓取通常是从网站的HTML代码中提取所需数据。在构建相关应用程序时，我不得不深入研究HTML代码，努力寻找最佳的抓取解决方案。我所面临的主要挑战之一是应对网站的频繁...大语言模型LLMs网络抓取国内AI大模型整理，排名不分先后
原创国内几个AI大模型，包括大名鼎鼎的文心一言、通义千问等，以下国内AI大模型排名不分先后，阿腾云整理国内知名大模型，有些漏掉欢迎补充，本文AI大模型会持续更新。文心一言（百度）文心一言ERNIEBot由百度公司推出的知识增强大语言模型，能够进行对话互动、回答问题，并提供创作辅助，开放给C端和B端用户。百度智能云千帆大模型平台，千帆提供包括文心一言底层模型和第三方开源大模型的同时，还提供各种AI开发工具和整套开发环...大模型ai大模型文心一言通义千问【LLM】 CuMo: 使用协同再利用的混合专家模型来扩展多模态大型语言模型
精华一、结论写在前面近期，多模态大型语言模型（LLMs）的发展主要集中在通过增加文本图像配对数据和增强LLMs来提高多模态任务的性能。然而，这些扩展方法计算成本高昂，且忽视了从视觉方面有效提升模型能力的重要性。受到混合专家（MoE）在LLMs中成功应用的启发，该技术在训练过程中提高了模型的可扩展性，同时保持推理成本与小型模型相似，论文将稀疏混合专家设计引入了多模态大型语言模型。具体而言，论文用TopK稀疏MoE块替换了M...语言模型LLMCuMo除了RAG，还有这五种方法消除大模型幻觉
原创出品51CTO技术栈（微信号：blog51cto）众所周知，LLM会产生幻觉——即生成不正确、误导性或无意义的信息。有意思的是，一些人，如OpenAI的CEOSamAltman，将AI的幻觉视为创造力，而另一些人则认为幻觉可能有助于做出新的科学发现。然而，在大多数情况下，提供正确回答至关重要，幻觉并不是一项特性，而是一种缺陷。那么，如何减少LLM的幻觉呢？长上下文？RAG？微调？其实，长上下文LLMs并非万无一失，向量搜索RAG也不尽如人意，...RAG模型性能GPT-4o 的数学又双叕进步了？来 MathBench 看看新版 GPT-4o 到底强在哪！
随着现代大语言模型（LLMs）如OpenAI的ChatGPT和GPT4的出现，LLMs展示了生成类人对话和解决复杂数学难题的非凡能力。从Meta在4月18日发布Llama38B&70B开始，Qwen开源的首个百B大模型Qwen1.5110B，到深度求索的MoE模型DeepSeekV2，还有近几日OpenAI放出的大招GPT4o，号称更低的价格，更强的性能，大家都号称自己的新模型数学能力顶呱呱，但事实真是这样吗？如何透明化评测大模型的各项数学能力如今成了大家的难题，因为开源数据...GPT-4oMathBench模型Agent四大范式 | 综述：全面理解Agent工作原理
什么是智能体AgentAutonomousagents又被称为智能体Agent。能够通过感知周围环境、进行规划以及执行动作来完成既定任务。在这些能力中，规划尤为重要，它涉及到复杂的理解、推理和决策制定。大语言模型出现以前，我们一般通过规则的方法，或者强化学习的方法来实现。但是这两种方法各有弊端：规则的方法是指把复杂的自然语言问题转化为规则符号，往往需要行业专家的介入，缺乏容错能力，小错误可能导致整个系统的失败。而强化学...Agent范式智能大模型烧钱战“卷”出白菜价，李开复、王小川为何拒绝入局？
原创撰稿丨今日晴出品51CTO技术栈（微信号：blog51cto）暗流涌动的大模型圈，几乎毫无征兆地开启了价格战。近一周时间，字节跳动、阿里巴巴、百度、腾讯等多家厂商纷纷调整旗下大模型产品的定价策略，宣布面向企业市场的API价格下调，动辄下调90%以上，更有甚者直接宣布免费。值得注意的是，在这场硝烟弥漫的肉搏战里，主力多是云巨头，他们所售卖的模型服务往往是与云服务紧密绑定的。而大模型初创公司却顶住了压力，普遍并未有太...模型李开复王小川机器学习和深度学习到底有什么区别？
深度学习和机器学习有什么区别？深度学习是机器学习一个分支，机器学习包含深度学习。下面阿小云从定义、技术、数据需求、应用领域、模型复杂度和计算资源多维度来对比深度学习和机器学习的区别：深度学习与机器学习是相关但不同的概念，深度学习是机器学习的一个分支。机器学习侧重于让计算机在无明确编程情况下学习，包括决策树、SVM等算法；而深度学习主要依赖深层神经网络，如CNN、RNN。机器学习对数据需求较小，广泛应用于...深度学习机器学习视频版PS！0样本视频编辑模型，普通人秒变钢铁侠
巴黎矿业大学、以色列理工学院的研究人员联合推出了一款创新视频模型——Slicedit。Slicedit主要通过结合文生图像的扩散模型以及对视频时空切片的预处理，在不影响背景的情况下对视频主体进行修改。例如，将一名冲浪的男人变成钢铁侠，将一名转球的男孩变成NBA巨星库里，将猫的样子变成豹等。虽然更改的视频质量并不是很理想，会出现模糊、扭曲的情况。但这种方式对于不会使用AE专业视频编辑软件的业余人员来说帮助巨大，可以快...模型视频无限创建新角色！大连理工卢湖川、贾旭团队开源CharacterFactory
HuggingfaceDemo:https:huggingface.cospacesDecoderWQH666CharacterFactoryGithub:https:github.comqinghewCharacterFactory（代码已经开源）ProjectPage:https:qinghew.github.ioCharacterFactoryPaper:https:arxiv.orgabs2404.15677最近，来自大连理工大学的IIAU团队提出CharacterFactory，不需要参考图片，仅需2.5GB显存训练10分钟，可以在3秒内无限制地端到端地采样出新的一致性角...视频模型4倍内存效率，生成和超分双SOTA！清华&智谱AI发布最新Inf-DiT模型
文章链接：https:arxiv.orgpdf2405.04312github链接：https:github.comTHUDMInfDiT扩散模型在近年来的图像生成中表现出了显著的性能。然而，由于生成超高分辨率图像（如4096×4096）时内存需求呈二次方增加，生成图像的分辨率通常限制在1024×1024。本文提出了一种单向块注意力机制，可以在推理过程中自适应地调整内存开销并处理全局依赖关系。基于这个模块，本文采用DiT结构进行上采样，并开发了一种能够对各种形状和分辨率的...训练图像构建 Autonomous AI Agent ｜函数调用（Function Calling） 技术实例探索
原创 精华编者按：大语言模型拥有令人惊叹的语言理解和生成能力，却也存在自主决策、与外部系统交互等方面的不足。函数调用（FunctionCalling）技术的出现，正是为解决这一难题而生的创新方案，它赋予了大语言模型更强的自主能力和与外部世界连接的能力，成为实现真正智能自主Agent的关键一环。本期我们精心为各位读者伙伴呈现一篇详实的搭建技术教程，全面介绍了如何利用函数调用技术构建AutonomousAIAgents。作者从函数调用（FunctionC...LLMAgent函数调用白海科技七个很酷的GenAI & LLM技术性面试问题
原创不同于互联网上随处可见的传统问题库，这些问题需要跳出常规思维。大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能，并在诸多行业中推动了效率和创新性的提升，成为企业保持竞争力的关键。然而，尽管GenAI和LLM越来越常见，但我们依然缺少能深入理解其复杂性的详细资源。职场新人在进行GenAI和LLM功能以及实际应用的面试时，往往会觉得自己像是陷入了未知领域。为...大语言模型LLMGenAI排序模型一定要尝试的特征交叉技巧，多场景验证有效
今天给大家介绍两篇经典的工作，这两篇工作都是针对推荐系统中排序模型的优化，方法有一些相似之处，都是利用门控网络对底层特征进行交叉。最关键的在于，这类方法已经在很多真实业务场景中被验证效果显著，非常值得还没有应用这类方法的同学进行尝试。1.MaskNet论文标题：MaskNet:IntroducingFeatureWiseMultiplicationtoCTRRankingModelsbyInstanceGuidedMask下载地址：https:arxiv.orgabs2102.07619MaskNet是2021年...交叉多场景验证OpenAI前CTO Ilya推荐的30篇文章，认真读完将理解当下90%的AI技术（1-11）
近日，网上流传一份ilya推荐给JohnCarmack的阅读清单，该清单包含了当今与AI相关30篇顶级文章，并称如果真的将它们读完，就能理解当下90%的AI技术。下面笔者带大家速览这40篇文章内容概要。1）AttentionIsAllYouNeed不解释了，transformer开山论文，不得不看。地址：https:arxiv.orgpdf1706.037622）TheAnnotatedTransformer该文章是由康奈尔大学副教授AlexanderRush等研究者在2018年撰写的博客文章，该文章对transformer进行了...OpenAI神经网络Ilya怎么看大模型、RAG、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系？
原创我们要把AI大模型当做人的大脑，因此调用AI大模型，相当于调用一个人，把AI大模型当人看，TA懂人话、TA说人话、TA会直接给出结果，但结果不一定正确。因此在AI大模型的推理基础上，通过RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下来我们详细剖析。1、大语言模型（LLM）大语言模型（LLM）是通过深度学习方法，利用庞大的文本数...大模型RAGAgentGPT-4o如何颠覆我们的生活？看五大场景案例
原创前天OpenAI发布了GPT4o王炸产品，震撼了很多人，再一次颠覆了世界，它在技术上主要实现了三大突破：①语音实现了真正的端到端的神经网络训练；②多模态的大一统的神经网络模型开始出现；③降本增效成了OpenAI的当务之急。今天我们聊些不一样的话题，GPT4o如何颠覆我们的生活？GPT4o在多模态方面强大的感知能力，特别是语音端到端响应速度的巨大提升，让新版ChatGPT在生活中有更加落地的使用场景。这里总结了5大日常生活场景，下...GPT-4oAI大模型时代，Agent智能体开发的三重境界
原创一、第一重境界：当作能理解语义的API使用Agent智能体第一重境界，可以把大型语言模型看成一个特别的API，它能读懂人类语言。就像我们平时调用其他API那样，我们向智能体提问，它就能给出经过自己思考的答案。这个阶段的智能体，通常是把这种读心术般的语言理解力融入到标准的软件流程中，给软件添加智慧升级。它的作用主要围绕着理解并处理文字，比如：生成文本、做内容概括等，这些都离不开它强大的语言理解能力。工作起来，...AI大模型AgentLlama3实操增强的三种方式：RAG/Agent/Function Calling！！！
原创1、Llama3的RAG增强以下Github链接展示了从头开始使用LangGraph和Llama38B构建可靠的智能体。它将3种先进RAG技术（自适应RAG、纠正性RAG和自我RAG）的思想结合起来，形成LangGraph中的单一控制流程。https:github.comlangchainailanggraphblobmainexamplesraglanggraphragagentllama3local.ipynb方式一：自适应RAG路由，将问题路由到不同的检索方法。方式二：纠正性RAG后备方案，如果文档与查询不相关，则回退到网页搜索WebBrow...Llama3
