AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
Octopus v4：八爪鱼来袭，整合各开源大模型一起玩耍，取长补短！
大语言模型在多种应用中展现出强大效力，但顶尖模型往往价格昂贵且能耗高，如GPT4、Anthropic。开源社区则以Llama3为例，提供了节能且成本效益高的替代方案，并且定制化小型语言模型在特定领域如法律、医疗或金融中，已超越了大型专有模型，显示出更高的效率和精准度。Octopusv4新型语言模型框架，通过构建一个包含不同垂直领域语言模型的图（graph）来使用各种开源语言模型。从使用万亿参数模型的单一模型推理，转变为由章鱼模...Octopus v4开源模型LM Studio 下载模型失败怎么办
LMStudio简介LMStudio是一款免费本地模型部署、应用软件，主要功能：•模型部署•Chat应用•兼容OpenAI的LocalServer，支持以下接口•GETv1models•POSTv1chatcompletions•POSTv1embeddings•POSTv1completionsLMStudiovsollamaLMStudio功能上比ollama+OpenWebUI弱不少（OpenWebUI的缺点就是比较难安装），有兴趣OpenWebUI的，建议看看这两篇文章•一行代码让你免魔法部署OpenWebUI•ollama使用技巧集锦没有魔法，无法下载hugg...LMStudio模型Nature：最大扩散强化学习
强化学习（RL）智能体（Agent）常常很难在现实世界中广泛部署：初始化差异影响大，样本效率低下，情境之外难以泛化。研究发现问题的关键是违反了数据独立同分布(iid)的假设，而iid是大多数机器学习的基础。强化学习（特别是具身）智能体的经验不可避免是连续的，且跨时间点相关，这也是笔者强调的RL的非马尔可夫性。昨日，Nature机器智能，发文“最大扩散强化学习（MaxDiffRL）”解决了此问题。图1：时间相关性破坏了强化学习...强化学习SOTAMaxDiffRL当 360AI 浏览器不再耍流氓，我真的哭死，好好用。
最近周鸿祎大佬的消息频出，至从开始搞流量之后，各种蹭热点。在他的AI公开课上，他着重推荐了360AI浏览器这款产品。在过去的3月份，360AI浏览器也成功登顶AI产品榜，成为新品增速榜第一名。带大家一起看看，与传统浏览器有什么不同？登录到360AI浏览器官网即可下载：https:browser.360.cnai下载并安装完成后，打开就会进入到以下界面，整个界面相当清爽，最大的区别就是少了以往半屏的广告内容。首页会推荐一些360的AI工具，还...360AI浏览器网页图像生成模型王牌——Diffusion Transformers系列工作梳理
图像生成模型是目前业内研究的焦点，而目前诸如Sora等前沿生成模型，其所基于的主体架构都是DiffusionTransformers（DiT）。DiffusionTransformers（DiT）是论文ScalableDiffusionModelswithTransformers（ICCV2023）中提出的，是扩散模型和Transformer的结合，也是Sora使用的底层生成模型架构，将DiffusionTransformers从图像生成扩展到了视频生成。这篇文章给大家总结了目前主要的几个DiT模型结构，带大家梳理DiT系列模型的核...图像生成模型Sora与 ChatGPT 的对话：技术、应用和局限性
人工智能聊天机器人的出现引起了全世界的注意，它可以生成类似人类的句子并写出连贯的文章。本文讨论了聊天机器人的历史概况以及ChatGenerativePretrainedTransformer（也称为ChatGPT）背后的技术。此外，还强调了ChatGPT在医疗保健、教育和科研等各个领域的潜在应用。尽管取得了可喜的成果，但围绕ChatGPT仍存在一些隐私和道德问题。此外，作者还强调了当前版本的ChatGPT的一些重要限制。还要求ChatGPT对作者试图回答的几个问...AI技术生成一个好故事！StoryDiffusion:一致自注意力和语义运动预测器必不可少（南开&字节）
精华文章：https:arxiv.orgpdf2405.01434主页：https:storydiffusion.github.io对于最近基于扩散的生成模型来说，在一系列生成的图像中保持一致的内容，尤其是那些包含主题和复杂细节的图像，是一个重大挑战。本文提出了一种新的自注意力计算方式，称为一致性自注意力，显著提升了生成图像与流行的预训练基于扩散的文本到图像模型之间的一致性，并以zeroshot方式增强。为了将本文的方法扩展到长视频生成，进一步引入了一种新颖的语...模型生成万字长文解析：2024年的机器消除学习
原创 精华随着我们今天的机器学习模型变得越来越庞大，（预）训练集的规模变得难以理解，人们对机器消除学习的概念越来越感兴趣，以便在不重新训练模型的情况下删除不需要的内容，例如私人数据、过时的知识、受版权保护的材料、有害不安全的内容、危险的功能和错误信息。机器消除学习可以广义地描述为从经过训练的模型中删除训练数据的影响。在其核心中，目标模型的消除学习旨在产生一个与重新训练模型等效或至少“行为类似”的消除学习...机器学习机器消除学习ChatGPT的真实能力如何？七大NLP任务一探究竟！
精华文章：https:arxiv.orgpdf2405.00704ChatGPT已经改变了人工智能社区，一个活跃的研究方向是ChatGPT的性能评估。评估的一个关键挑战是ChatGPT仍然是闭源的，传统的基准数据集可能已被ChatGPT用作训练数据。在本文中:调查了最近的研究，揭示了ChatGPT在七个NLP任务中的真实性能水平审查了ChatGPT的社会影响和安全问题强调了评估的关键挑战和机遇。希望本调查能够揭示其黑盒性质，以便研究人员不会被其表面生成所误导。介绍自从Ope...模型数据LLM高效微调详解-从Adpter、PrefixTuning到LoRA
一、背景目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。ContextLearningv.s.SFT指令微调是预训练语言模型微调的主流范式，其目的是尽量让下游任务的形式尽量接近预训练任务。从而减少下游任务和预训练任务之间的Gap,实现预训练语言模型适应下游任务，而非下游任务去适应模型指令微调的效果要优于基于ZeroFewshot的提示词工程的上下文学习。但随...模型训练湾区大神Beren Millidge：整数tokenization是疯狂的！
原创在与语言模型花费了很多时间后，我得出结论，总的来说，tokenization普遍来说是疯狂的，语言模型能学到任何东西都是一个奇迹。为了深入探讨最近一直困扰我的一个愚蠢的例子，让我们看一下GPT2分词器（据我所知，GPT3也使用相同的分词器）是如何对整数进行tokenization的。整数的tokenization是学习和表示数学事实的最基本要素，最终，所有GPT的数学能力都必须建立在这个基础上。主要问题在于，这个分词器没有以十进制或者任何连...语言模型AI围剿创意产业！1/3翻译和1/4插画师或将失业
近日，来自英国最大的创作者工会SoA公布了一项生成式AI对创意类职业的影响的调查报告。在对12500名工会成员以及其他创作者进行调查后，SoA发现了一个令人担忧的情况：有三分之一的翻译人员和四分之一的插画师因AI而失去了工作。这份报告的内容指出了当下从事创意类职业人员面临的严峻处境：生成式AI的作用对行业未来发展存在很大的不确定性，而它已经对人们的职业和生计产生了影响。现如今，以生成式AI为代表的新技术对创意职业...生成式AI开发者的LlamaIndex入门指南
原创LlamaIndex是一个专注于检索增强生成(RAG)的工具，可以协助您丰富大模型的数据提示。本文将用实例向您展示和介绍。众所周知，GPT（GeneralPretrainedTransformer）为我们描述了一套通过各种矩阵乘法，实现输入、转换和输出的循环。其中的单词（实际上是文本、声音或图像的令牌）会被转换为具有足够维度的矢量，从而表达内在意义。如下图所示，为了确保被传入的上下文是可以计算的，我们需要注意其临近的动词，并通过更多的矩阵...大语言模型LlamaIndexOpenAIICRA 2024：基于语义增强和动作分块实现的样本高效机械臂操作——RoboAgent
原创RoboAgent能够高效地获取各种复杂技能，并将其推广到多样化的未知场景中RoboAgent是作者多个前期工作的集成，包括GenAug、CACTI、ACT，同时也是未来许多更多研究方向的起点。相比于以往的工作，例如Google的RT1，以及更新的RT2，RoboAgent研究了与大型语言模型相关的大型演示数据集的机器人学习泛化问题。与此不同的是，RoboCat使用了一个迭代学习和数据泛化管道以进行快速适应。最近的研究也表明，使用动作分块或扩散模型等更...RoboAgent机器人DrEureka：语言模型引导的sim2real！
原创将在仿真中学到的策略转移到现实世界是一种获取大规模机器人技能的有前景的策略。然而，从仿真到现实的方法通常依赖于任务奖励函数和仿真物理参数的手工设计和调整，使得该过程缓慢且需要大量人力。研究人员使用大型语言模型（LLMs）来自动化和加速从仿真到现实的设计。LLM引导的从仿真到现实方法仅需要目标任务的物理仿真，并自动构建适当的奖励函数和域随机化分布以支持现实世界的转移。研究人员首先证明了可以发现与现有人工...大型语言模型机器人ICLR 2024：确定性与随机环境中的effective horizon！
原创现有的大多数强化学习理论无法解释实际强化学习算法何时或为何有效：理论家分析不同的算法并做出在真实环境中不一定成立的假设。这使得将理论洞察力应用于实践变得困难或不可能。为了找到在常见环境中成立的假设，研究人员构建了一个名为BRIDGE的数据集，包含来自Atari和Procgen等基准测试中155个确定性MDP完整的表格表示，其中一些MDP具有1000万个以上的状态！研究人员发现超过23的MDP具有一个令人惊讶的属性：在随机策略下具...强化学习MIT学者提出科尔莫哥罗夫-阿诺德网络，代替多层感知机，更准确且更易解释！
原创多层感知机（MLPs）是如此基础，但是否有替代方案？MLP在神经元上放置激活函数，但我们是否可以将可学习的激活函数放置在权重上？是的，我们可以！近日，MIT学者提出科尔莫哥罗夫阿诺德网络（KAN），比MLP更准确且更易解释。MLPs如今是深度学习架构的基石。是否存在替代路线模型？研究人员考虑对MLPs进行一个简单的改变：将激活函数从节点（神经元）移到边缘（权重）！这个改变似乎毫无来由，但它与数学中的逼近理论有着相当深...多层感知机深度学习震惊！Meta图像生成器具有种族歧视？
在最近的一份报道中，Meta的AI图像生成器被揭示出存在严重的种族偏见问题，特别是在尝试生成展示亚洲人与白人同框的图像时表现出明显的缺陷。这一问题不仅仅是技术层面的失败，更触动了社会伦理和AI公正性的核心议题。Meta的图像生成器在多个测试中显示出无法根据用户的指令准确生成涉及不同种族人物的图像。在尝试生成“亚洲男性和白人妻子”、“亚洲女性和白人丈夫”等场景时，结果多数偏离了用户的具体要求，反而生成了同种...Meta图像生成器动态可扩展的时间序列Patch划分方法
今天给大家介绍一篇AAAI2024中多元时间序列预测的工作，文章由中科大、腾讯等机构联合发布。本文的核心是提出了一种动态可扩展的时间序列patch处理方法，相比原来固定窗口的patch划分，能最大限度保留时间序列片段的完整性，避免将存在连续规律的时间序列分到不同patch中，实现了多元时间序列预测任务上的效果提升。论文标题：HDMixer:HierarchicalDependencywithExtendablePatchforMultivariateTimeSeriesForecasting下载地址...Patch时间序列预测使用Transformer来进行时序预测可还行？
大语言模型的成功充分证明了Transformer架构的先进性，越来越多的人希望把它应用到其它领域，而非NLP领域本身，因而也催生了以一套Transformer架构统一各种模态的研究热点。而在工业界有一个非常常见的场景却鲜有涉及，那就是结构化数据的时序预测类场景，通常认为这种方式利用统计和经典回归类模型就已经足够了，并且确实在过去的研究来看，以Transformer为代表的，在NLP，CV等方面大杀四方的深度学习模型在这方面表现也并不够...Transformer时序预测
