AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
时间序列预测+NLP大模型新作：为时序预测自动生成隐式Prompt
今天给大家介绍一篇最新的大模型+时间序列预测工作，由康涅狄格大学发表，提出了一种将时间序列在隐空间和NLP大模型对齐，并利用隐空间prompt提升时间序列预测效果的方法。论文标题：S2IPLLM:SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting下载地址：https:arxiv.orgpdf2403.05798v1.pdf1.问题背景大模型在时间序列上的应用越来越多，主要分为两类：第一类使用各类时间序列数据训练一个时间序列领域自己...时间序列预测AutoML领域开源开发利器AutoGloon之实战演练
原创通过本文，你将了解如何借助开源库AutoGloon成功胜出Kaggle竞赛并学习击败其他对手的技巧。此外，你还会了解到基于AutoGloon框架仅需4行代码足可以击败99%的数据科学家。引言在两项受欢迎的Kaggle比赛中，AutoGloon仅在对原始数据进行了4小时的训练后就击败了99%的参赛数据科学家(AutoGloon团队，《AutoGloon：将AutoML用于文本、图像和表格数据》，2020年)。上面这句话摘自AutoGloon的研究论文(https:arxiv.orgabs2003.06505)...AutoGloonAutoML机器学习从零实现大模型-GraphRAG，构建LLM中的关系数据库
原创传统RAGLLM预训练和微调一般都是基于公开的互联网数据，不可能包含公司内部私有数据，如果你问有关某公司的运营情况，直接基于模型参数生成的回答可能和胡说八道没什么两样。RAG（RetrievalAugmentedGeneration）的思想就是将私有数据作为参考信息传递给LLM。这些私有数据除了作为一种补充信息，也可以作为一种限制，能避免LLM产生幻觉。参考信息一般以文本、图片等非结构化形式存在。RAG的流程是：1.首先要将文本划分成片段，...RAGGraphRAGLLM大模型训练完成之后可以直接使用吗？该怎么使用训练好的大模型？
原创学习机器学习的人大部分都知道怎么设计并训练一个模型，但开发模型的目的是为了解决业务问题，所以怎么使用大模型也是重中之重。刚训练好的大模型事实上虽然可以用，但由于没有用户接口，所以只能自己用，无法对外提供服务；所以，刚训练好的大模型需要经过一些处理才可以使用，包括数据预处理，接口开发等。huggingface官网地址：https:huggingface.comodels需科学上网01、大模型加载与保存训练一个大模型，在训练完成之后最重...模型人工智能向量——人工智能技术的基石结构
原创“向量，人工智能技术的基础结构。”了解过人工智能技术的人应该都听说过向量，向量可以说是人工智能的数据基础。那么什么是向量，为什么选择向量呢？什么是向量？向量其实来源于数学，是几何学中的一种，指的是具有大小和方向的量，一般用有向线段表示，在中学数学中向量是绝对值为1的，具有方向的量。而用代数的方式表示向量，则是一个有序数组，包含n个元素(n在多维空间中)。但向量并不只是数学独有的东西，在物理学，工程学...向量人工智能打造智能私有知识库：开源工具AnythingLLM全解析及实操指南，RAG企业级解决方案
原创在数据安全和隐私保护日益受到重视的背景下，私有化部署大模型的需求日益增长。MintplexLabsInc.推出的开源项目AnythingLLM，为个人和企业提供了一种安全、高效且可定制的解决方案。该工具基于RAG（RetrievalAugmentedGeneration）模型，允许用户将本地文档转换为可由大型语言模型（LLM）引用的格式，实现对话式问答和知识管理。一、AnythingLLM的主要功能多用户支持与权限管理：支持多用户同时访问，并可设置不同权限。文档管...RAG知识库开源如何评估大语言模型生成结果的多样性
1、论文的背景关于大型语言模型(LLM)的一个开放性问题是，这些模型从预训练数据中学习了哪些模式，以及这些模式是否能够在下游任务和数据集中普遍适用。虽然先前的研究主要集中在生成质量上，最近也开始关注文本生成的新颖性，但对LLM学习到的模式类型的特征描述还很有限。关于评估大型语言模型(LLM)生成文本多样性的研究主要集中在词级特征上。本文提供了一种句法特征分析方法，用以描述模型中的普遍重复现象，超越了ngram的...大语言模型多样性为消除幻觉，Amazon Bedrock开大招！ 推出上下文基础和 RAG 连接器！
原创本周三，亚马逊网络服务(AWS)宣布更新其生成式AI开发服务AmazonBedrock，增加了新的上下文基础功能、检索增强生成(RAG)的连接器以及其他大型语言模型(LLM)。据亚马逊生成式人工智能副总裁瓦西·菲洛明(VasiPhilomin)称，这些更新有望简化企业基于生成式人工智能的应用程序的开发。1.上下文基础菲洛明表示，上下文基础（contextualgrounding）是AmazonBedrockGuardrails的一个附加功能，旨在进一步降低以LLM生成内容出现幻觉反应...RAGAI开发GPT-4o们其实都是眼盲！OpenAI奥特曼自曝自家模型：推理比人弱。研究证明：多模态能力还差得远，杨立昆上大
原创奥特曼大手一挥规划了AI最新的分级系统！就像自动驾驶领域的L5一样，OpenAI提出的AIL5是“完美打工人”——OpenAI称之为组织者，即能够完成组织工作的人工智能。其他14的等级分别是：1：聊天机器人，具有会话语言能力的人工智能2：推理者，人类水平的问题解决能力3：代理，能够采取行动的系统4：创新者，能够帮助发明的人工智能图片从OpenAI内部测试的前沿模型出发，奥特曼认为OpenAI已经非常接近第二阶段了，模型将达到类似人...GPT-4oOpenAI多模态揭开危险的面纱：人工智能可能失控的十种方式以及如何识别
原创大型语言模型带来了操纵、网络攻击和无意的自我完善等风险，而保护措施正在开发中。大型语言模型(LLM)的快速发展激发了人们的广泛兴趣，也带来了一些风险，虽然它们的潜力巨大，但滥用和意外后果的可能性也很大。了解这些强大的人工智能系统带来的风险对于制定有效的保障措施至关重要。以下是人工智能和LLM可能失控的10种方式，重点介绍了风险、可能性、检测方法和潜在的保护策略。1.操纵大师：说服和欺骗风险LLM可以通过复杂的...人工智能安全大型语言模型Still-Moving效果惊艳！无需定制视频数据，DeepMind让文生定制视频变得简单！
精华文章链接：https:arxiv.orgpdf2407.08674github链接：https:stillmoving.github.io自定义文本生成图像（T2I）模型最近取得了巨大进展，尤其是在个性化、风格化和条件生成等领域。然而，将这些进展扩展到视频生成仍处于初期阶段，主要原因是缺乏定制视频数据。本文介绍了StillMoving，是一种无需定制视频数据即可自定义文本生成视频（T2V）模型的新颖通用框架。该框架适用于T2V模型的主要设计，其中视频模型是在文本生成图像（T2...视频数据长视频生成速度提升100倍！新加坡国立提出Video-Infinity：分布式长视频生成
精华文章链接：https:arxiv.orgabs2406.16260工程地址：https:videoinfinity.tanzhenxiong.com代码地址：https:github.comYuanshi9815VideoInfinity虽然最近扩散模型在视频生成方面取得了显著的成果，但生成的视频通常仅限于少量帧，导致剪辑只持续几秒钟。生成较长视频的主要挑战包括显著的内存需求以及在单个GPU上所需的长时间处理。一个简单的解决方案是将工作负载分散到多个GPU上，但这会导致两个问题：确保所有GPU有效通信以共...模型视频Stacking Your Transformer：通过堆叠加快 LLM 预训练
一、背景我们之前的文章中介绍了几种模型增长的方案，然而针对LLM场景却又缺乏足够的数据支撑以及最佳实践。比如说不知道在LLM场景中这些方案的差异有多大，是否和模型规模、数据量、以及训练FLOPs有关？本文中我们介绍来自香港大学、清华大学和香港科技大学的StackingYourTransformer，作者做了大量的实验来尝试回答上述问题。对应的论文为：[2405.15319]StackingYourTransformers:ACloserLookatModelGrowthforEfficientLLMPre...LLM预训练堆叠又来一个RAG：RankRAG，英伟达RAG新思路
1.背景检索增强生成无疑是当前最热门的LLM研究领域了，但是传统RAG存在一些局限性：•检索器容量的限制。考虑到处理效率，现有的RAG一般采用稀疏检索（比如BM25）或中等规模的嵌入模型（比如Bert）作为检索器。•只选择前K个文档。尽管最新的大语言模型扩大了上下文长度的限制，能够接受更多的上下文作为输入，但是实际性能会随着K的增加而迅速达到饱和。比如在长问答任务中，最佳的分块上下文数量大约是10。虽然更大的K可以提...RAGRankRAGLLMT-Eval：大模型智能体能力评测基准解读 | ACL 2024
AIAgent（智能体）作为大模型的重要应用模式，能够通过使用外部工具来执行复杂任务，完成多步骤的工作流程。为了能全面评估模型的工具使用能力，司南及合作伙伴团队推出了TEval评测基准，相关成果论文已被ACL2024主会录用。查看原文：https:arxiv.orgabs2312.14033PART1为什么需要TEval？使用了工具的大语言模型有着惊艳的问题解决能力，但是如何评估模型的工具使用能力还有很大的探索空间。现有评估方法通常只关注模型处理单...模型智能体模式大模型爱好者的福音，有了它个人电脑也可以运行大模型了
原创 精华“GPT4ALL，一个基于llama.cpp开源项目的本地大模型。”GPT4ALL是一款可以运行在个人电脑上的大模型系统，不需要GPU即可运行，目前支持mac，linux和windows系统。github地址：https:github.comnomicaigpt4all01、什么是GPT4ALL？不论学习任何东西，首先要明白它是个什么东西。OpensourcelargelanguagemodelsthatrunlocallyonyourCPUandnearlyanyGPU。这是GPT4ALLgithub上的介绍，翻译过来就是可以运行在CPU和GPU上的开源大模型...大模型大模型微调技巧 | 高质量指令数据筛选方法-MoDS
写在前面大家好，我是刘聪NLP。大模型时代，指令微调已经成了算法工程师们必不可少的技能。而在指令微调过程中，我们往往会从数据数量和数据质量两个维度来对模型进行调优。今天给大家带来一个新的方法MoDS，一种面向模型的指令数据选择方法《MoDS:ModelorientedDataSelectionforInstructionTuning》，核心是从数据质量、覆盖范围、必要性三个角度来对原始数据集进行数据过滤，最终获取对于不同模型的高质量数据集。并且相较于...大模型微调技巧FlashAttention3：“苗条”的就是比较好！
原创1.加速HopperGPU注意力机制是Transformer架构的核心能力，也是大型语言模型和长上下文应用的瓶颈。FlashAttention（和FlashAttention2）开创了一种通过最小化内存读写来加速GPU注意力的方法，现在大多数库都使用它来加速Transformer训练和推理。这导致了过去两年上下文LLM长度的大幅增加，从24K（GPT3，OPT）增加到128K（GPT4），甚至1M（Llama3）。然而，尽管取得了成功，但FlashAttention尚未利用现代硬件中的新功能，Flash...Transformer架构大型语言基于Llama 3和LangChain，使用自然语言进行SQL查询
精华在数据泛滥的今天，如何高效地从海量信息中提取有价值的洞察，已成为开发者面临的共同挑战。本文介绍一个创新项目——基于Streamlit的应用程序，它能够理解自然语言并直接与SQL数据库进行交互，从而简化数据分析流程。1环境设置在本项目中，我们选择PostgreSQL作为后端数据库。用户需自行安装并配置PostgreSQL，同时需要搭建Ollama环境以及OpenWebUI界面。具体的安装和配置步骤，建议参考相应的官方文档或社区指南进行操作。2创...Llama 3LangChainSQLMixture-of-Agents系统，竟然如此简单！
嘿，大家好！这里是一个专注于AI智能体的频道！首先，让我们来聊聊LLM。这些模型通过在海量数据集上预训练，已经展现出了惊人的能力，无论是理解还是生成自然语言，它们都能做得很好。但问题来了，这些模型的规模和训练成本都很高，这让它们在实际应用中有点不切实际。这时候，MoA登场了！MoA通过利用多个LLM的集体优势，提供了一个创新的解决方案。想象一下，如果每个智能体都能贡献自己的一份力量，那么最终的输出结果将会多...系统数据LLM
