AI.x社区

编者按：随着2024年被业界誉为“AIPC元年”，各大笔记本电脑厂商纷纷推出搭载NPU的全新AIPC，而在介绍产品性能时，“NPU”一词频频被提及。但NPU和我们所熟知的GPU之间的区别究竟是什么？我们今天为大家分享的这篇文章将和大家一起初探NPUvsGPU。简而言之，NPU专为加速AI任务而设计，包括深度学习和推理，能够高效地处理大量数据，并利用专用存储器快速执行复杂的AI算法。与GPU相比，NPU体积更小、成本更低、能耗更小，且在特定...

今天凌晨1点，OpenAI终于正式发布了传说中的“草莓”模型——o1。除了名字不一样，功能、推理、性能等方面与之前泄漏的内容基本一致，o1的推理模式很特殊，在回答用户问题之前会进入拟人化思考模式，将问题分解成更小的步骤逐一解决，生成一个较长的内部思维链，回答的内容也更加准确。这个技术谷歌DeepMind很早之前便进行过解读称为——训练时计算（Testtimecomputation）。其核心技术主要使用了密集型、流程导向的验证奖励模...

论文链接:https:arxiv.orgabs2409.02048GitHub链接：https:github.comDrexuberyViewCrafter项目链接:https:drexubery.github.ioViewCrafterDemo链接:https:huggingface.cospacesDoubiiuViewCrafter​亮点直击本文提出了一种迭代视图合成策略，并结合内容自适应相机轨迹规划算法，以逐步扩展新视图覆盖的区域和重建的点云，从而实现远距离和大范围的新视图合成。本文的方法在多个具有挑战性的数据集上表现出色，不仅在合成新视图...

随着科技的发展，时尚领域也迎来了新的革命。传统的试衣方式逐渐被现代科技所取代，虚拟试衣间的出现使得用户可以在舒适的家中轻松体验不同的服装风格。先前给大家也介绍过一些虚拟试衣的技术，例如AnyFit或者OutfitAnyone等，今天AIGCer给大家介绍一款亲测效果超棒的，可在线操作的平台———DressPlay，是由新加坡华人团队自主研发。它是这场时尚变革中的佼佼者，通过先进的人工智能技术，为用户提供了一种全新的试衣体验。更...

一、背景我们之前介绍过一些LLM模型融合或堆叠的方案，然而这些方案通常需要人工设计或者继续训练、微调，这里我们介绍一篇新的工作试图解决这些问题，其思路很有意思，为后续的模型生产提供了一条思路，也得到了意想不到的结果。需要说明的是，虽然开源了代码，单开源代码中并没有开放如何合并的代码，导致合并的细节无法获知。此外，相应的代价有多高也没有具体介绍，比如评估成本。对应的论文为：[2403.13187]EvolutionaryOp...

​一、结论写在前面论文标题：MemLong:MemoryAugmentedRetrievalforLongTextModeling论文链接：https:arxiv.orgpdf2408.16967LLMs在各个领域的最新进展取得了显著的成功。然而，由于注意力机制的二次时间和空间复杂性以及生成过程中键值缓存的内存消耗不断增加，处理长上下文仍然是LLMs的一个重大挑战。论文提出了MemLong，一种高效且轻量化的方法，用于扩展大型语言模型（LLMs）的上下文窗口。其核心思想是将过去的上下文和知...

引言：多模态统一表示空间的挑战与机会在人工智能领域，多模态统一表示空间是实现多模态理解和生成的基础。这种统一空间能够将音频、图像、文本等多种模态的数据融合在一个共享的表示空间中，从而使得机器能够更好地理解和处理来自不同源的信息。然而，构建这样的统一表示空间面临着巨大的挑战，例如需要处理的模型参数可能高达数十亿，且在训练过程中容易发生灾难性遗忘问题。这些问题严重限制了多模态统一表示空间的进一步发...

1创新模型效果：1.1模型评估：1.2风电功率预测可视化：1.3电力负荷预测可视化：2模型创新点介绍2.1结合Informer和BiGRUGATT的优势Informer：擅长处理长时间序列，能够并行计算，提高了计算效率和预测性能。Informer在Transformer的基础上进行了改进，使其更适合时序数据，特别是具有长时间依赖的序列数据。BiGRUGlobalAttention：通过双向门控循环单元（BiGRU）同时从前向和后向对序列进行建模，以更好地捕获序列中的依赖关系，...

大型语言模型（LLMs）在自然语言处理（NLP）领域促进了重大进展，但它们也面临着诸如幻觉和需要特定领域知识等挑战。为了缓解这些问题，最近的一些方法将从外部资源检索到的信息与LLMs相结合，显著提高了它们在NLP任务中的表现，但是缺乏对检索增强型语言模型（RALM）全面概述。因此，对包括检索增强生成（RAG）和检索增强理解（RAU），提供了对它们的范式、演变、分类和应用的深入、全面综述。图1：RALM研究总体概述一、RALM是...

文章链接：https:arxiv.orgpdf2403.15385工程地址：https:research.nvidia.comlabstorontoaiLATTE3D最近的文本到3D生成方法产生了令人印象深刻的3D结果，但需要对耗时进行优化，每个提示可能需要长达一小时。像ATT3D的Amortized方法同时优化多个提示以提高效率，实现了快速文本到3D合成。然而，它们无法捕获高频几何和纹理细节，并且难以扩展到大型提示集，因此泛化能力较差。本文介绍了Latte3D，解决了这些限制，实现了在显著...

自动代码生成技术近年来取得了显著进展，特别是在自然语言处理（NLP）领域。大型语言模型（LLMs）如GPT4o和Codex展示了将自然语言翻译成可执行代码的非凡能力。然而这些单体模型在可扩展性、效率和灵活性方面仍面临重大挑战。训练和推理阶段所需的巨大计算资源限制了这些模型的普及性，同时也引发了关于其可持续性和环境影响的担忧。此外，这些模型在处理复杂编程任务时，往往缺乏实时适应性和动态调整能力。神经科学的研究表明...

文章链接：https:arxiv.orgabs2402.12451连接文本和视觉模态在生成式AI中起着至关重要的作用。受到大语言模型（本文简称LLM）成功的启发，人们正在致力于开发多模态大语言模型（MLLMs）。这些模型可以无缝地集成视觉和文本模态，既作为输入又作为输出，同时提供基于对话的界面和指令遵循的能力。本文全面回顾了最近基于视觉的MLLMs，分析了它们的架构选择、多模态对齐策略和训练技术。还对这些模型在各种任务上进行了详细分析，...

在前面的文章里，我们介绍了很多有关提示工程的前沿技术与工具，它们都揭示了一个共识性方向，就是提示工程不仅仅是人机对话的语言艺术，更是一个持续迭代优化的系统性软件工程。近日，OpenAI前研究科学家william对外正式开源了一个号称面向未来的提示工程库，名为ell[1]，它将提示视为函数，并提供了一系列强大的工具来优化和管理提示。在这个库中有一些核心设计理念值得大家学习借鉴。提示是程序，而不是字符串在传统的提示工...

法国著名开源大模型平台MistralAI开源了，首个能够同时处理图像和文本的多模态大模型——Pixtral12B。MistralAI开源的方式依然非常简单粗暴，直接上磁力链接，把所有模型权重都放出来了。「AIGC开放社区」已经试验了一下，大小在23.64G左右，这个在多模态模型中属于比较小的了，估计能耗和部署方面会方便很多。下载速度也是满载状态，说明这个模型还是相当受欢迎。如果你是千M光纤，估计几分钟就下完了。不少网友对MistralAI开...

本文介绍如何使用Milvus、GenAI、LangChain、YoLo等工具为向量数据库创建、构建和设计复杂的非结构化数据应用程序。应用程序的目标本文将介绍如何构建高级数据模型，并将其用于摄取和各种搜索选项。对于记事簿（Notebook）部分，将运行混合多向量搜索，对结果进行重新排序，并显示结果文本和图像。​摄取数据字段，通过查找和格式化来丰富数据：学习摄取包括JSON和图像在内的数据，格式化和转换以优化混合搜索。这一过程在stree...

MemoRAG是一个建立在高效、超长记忆模型之上的创新RAG（RetrievalAugmentedGeneration）框架，由智源研究院（北京人工智能研究院）与中国人民大学高瓴人工智能学院联合推出并开源。MemoRAG：通过记忆启发的知识发现迈向下一代RAG，为RAG提供基于内存的数据接口，适用于多种用途的应用程序！MemoRAG与主要处理具有明确信息需求查询的标准RAG不同，MemoRAG利用其记忆模型实现对整个数据库的全局理解。通过从记忆中回忆与查询相关...

今天分享一篇普林斯顿大学的一篇文章，TreeofThoughts:DeliberateProblemSolvingwithLargeLanguageModels[1]：思维之树:用大型语言模型解决复杂问题。这篇工作还是非常有借鉴意义的，OpenAI的AndrejKarpathy（前TeslaAI高级总监、自动驾驶Autopilot负责人）在stateofgpt[2]中也分享了这篇文章，其可以通过搜索多条解决路径，利用dfs以及bfs等算法，像人类一样利用回溯、剪枝等策略来思考和解决问题，可以让GPT4解决一些更复杂的...

介绍根据观测数据执行预测是广泛科学学科中普遍关注的问题。传统上，科学家们通过开发数学模型来解决这个问题，这些模型利用他们对潜在物理过程的了解将观察与预测联系起来。然而，在许多实际情况下，由于缺乏系统特定信息，构建这种显式模型是不可行的.近年来，出现了一类涉及人工智能（AI）的纯数据驱动方法，并取得了显著的成功.这些方法通常被称为黑盒模型，因为它们不依赖于对系统内部工作原理的深入理解，并且旨在直接从...

随着技术的不断进步和数据量的爆炸性增长，大规模人工智能（AI）系统的需求日益增加。这些系统在交通管理、电力分配、城市规划等多个领域展现出巨大的潜力。但是如何在扩展AI模型的同时保持其性能，成为了一个亟待解决的难题。大规模AI系统面临的主要挑战在于其可扩展性和性能的平衡。传统的集中式AI方法在处理复杂任务时，往往需要大量的通信和数据采样，这不仅增加了系统的复杂性和成本，还可能导致性能的下降。此外随着系统...

引言随着科技公司及国际竞争的不断推进，AI大模型已经越来越多融入我们的生活。作为一个普通人或许不需要研究高深的AI算法，但想在这次AI浪潮中不被抛弃，必须对LLM原理有一个基本的理解。理解LLM（即LargeLanguageModel，大语言模型）如何生成文本也就意味着理解这些模型为什么是如此通用的认知引擎——以及它们还能帮助创造什么。令牌化和向量化（Token&Vectorization）首先，让我们从令牌化和向量化开始，这一部分内容将为大...