AI.x社区

1引言共指消解（CR）是文本理解的一个基本任务。尽管LLMs在广泛的NLP任务上取得了巨大进展，但它们在CR上的表现相对不尽人意，甚至在指称检测上也面临困难。通过广泛分析，Gan等人（2024）的工作已经确定，在典型的CR设置中，由于基于跨度的输出格式不适合LLMs，因此低估了LLMs出色的指称理解能力。他们建议调整CR数据集和任务指标，以支持LLMs的评估。沿着这些思路，我们创建了IdentifyMe基准测试，用于MCQ格式的指称消解，这...

研究背景这篇文章研究了商业微调API在将新知识注入大型语言模型（LLMs）和更新现有知识方面的效果。尽管OpenAI和Google等提供商提供的商业LLMs微调API具有灵活的应用适应性，但其有效性尚不清楚。该问题的研究难点包括：微调方法的不透明性、缺乏统一的基准评估、用户对超参数优化的限制以及模型在处理新知识和更新知识时的泛化能力有限。相关工作：该问题的研究相关工作包括监督微调、强化学习从人类反馈、检索增强生成等方法...

在人工智能的浪潮中，大型语言模型凭借其强大的对话理解和生成能力，引领了智能对话技术的潮流。企业和个人对于私有化智能服务的需求日益增长，将这样的大模型部署为专属服务显得尤为重要。今天，让我们一起探索如何将大模型私有化部署，构建你的智能助手。1.环境准备首先确保你有一套满足硬件要求的服务器或云环境，通常需要有一块性能良好的GPU，足够的内存和存储空间来容纳模型和运行日志。此外，选择合适的操作系统（如Ubun...

本文提出了一种名为“HypotheticalMinds”的模型，该模型结合了大语言模型和多智能体强化学习，通过在自然语言处理的框架下生成、评估和细化关于其他智能体策略的假设，来提高智能体在多智能体环境中的表现。该模型在多种竞争性、合作性和混合动机的多智能体环境中均显示出优越的性能，特别是在处理隐藏信息和策略推理方面。HypotheticalMinds模型简介1.模型架构与组件HypotheticalMinds模型是一个基于大型语言模型（LLM）的自...

在深度神经网络的训练过程中，全量化训练（FullyQuantizedTraining,FQT）通过将激活值、权重和梯度量化到较低的精度，显著加速了训练过程。随着对训练数值精度的不断压缩，一个自然而然的问题浮现出来：全量化训练的极限是什么？即，能够实现的最低位宽是多少？理想情况下，如果能将位宽压缩到1位，训练将可以通过二进制操作实现，这不仅能极大简化硬件设计，还可能在保持训练质量的前提下，实现极致的计算效率。本文首次尝试将...

论文标题:LLMGeneratedNaturalLanguageMeetsScalingLaws:NewExplorationsandDataAugmentationMethods机构:SchoolofInformationResourceManagement,RenminUniversityofChinaSchoolofComputing,NationalUniversityofSingapore论文链接:​​https:arxiv.orgpdf2407.00322.pdf​​在人工智能领域，大型语言模型（LLM）如GPT4的出现引起了广泛关注，特别是它们在自然语言处理（NLP）中的应用。这些模型通过生成与人类自然语言（HNL）...

引言：探索视觉语言对比预训练中的噪声和低质量标注问题在视觉语言对比预训练中，噪声和标注质量被认为是影响训练效果的重要因素。本文通过深入研究和分析训练过程中的两个主要问题——错误的负样本对分配和低质量及多样性不足的标注——揭示了通过解决这些问题来提高训练质量的潜力尚未被完全实现。首先，我们研究了影响对比学习的噪声问题，即在一个批次中可能会发现语义相似甚至相同的图像标注被错误地视为负样本对。其次，...

引言：视频动态场景中的模糊问题及其挑战这篇论文主要研究了动态场景视频去模糊技术，旨在消除拍摄过程中产生的不想要的模糊瑕疵。然而，尽管之前的视频去模糊方法取得了显著的成果，但由于训练和测试视频之间的域差距，导致在真实世界场景中的表现大幅下降。为了解决这个问题，作者提出了一种基于模糊模型的域自适应方案，通过测试时的模糊来实现去模糊模型在未知域的微调。首先，作者提出了一个相对清晰度检测模块，用于从模...

本文提出了mllmNPU，这是第一个有效利用设备上神经处理单元（NPU）卸载的LLM推理系统。mllmNPU的主要设计目标是减少预填充延迟和能耗。它针对主流的仅解码器的变压器架构的LLM（例如LlaMA、GPT等）。关键思想是最大限度地在移动NPU上执行预填充，以加速整数计算，同时保持在CPUGPU上执行必要的浮点操作以保持准确性。为了克服上述挑战并提高NPU卸载效率，mllmNPU在三个层面上重构了提示和模型：（1）在提示层面：mllmNPU将可变...

大型语言模型（LLM）在系统级优化中的新进展近年来，大型语言模型（LLM）在解决复杂问题的推理能力方面取得了显著进展，使其能够有效管理数千种工具和API调用。这些改进释放了它们在大规模系统中的潜力，包括UI网络界面、移动应用程序、SQL后端和远程感应平台。这些用途通过需要集成各种API来加载、过滤、处理和跨多个时间和空间维度可视化数据，体现了系统级的复杂性。随着Copilots规模的扩大，底层堆栈的开销从云端点到本地执...

随着人工智能技术的飞速发展，3D语言模型（3DLLMs）已成为研究的热点，它们在理解和生成语言指令方面展现出了巨大的潜力。这些模型不仅能够处理文本信息，还能理解和操作三维空间中的物体，这对于发展能够与物理世界互动的智能系统至关重要。3D语言模型的核心在于其能够将语言与三维场景紧密结合。传统的大型语言模型（LLMs）如GPT和BERT等已经在文本处理方面取得了显著成就，但它们主要处理的是二维图像和文本数据。而3DLLMs则...

引言：探索小规模语料库中的知识获取在现代的自然语言处理领域，大规模预训练模型已经显示出了在各种知识密集型任务中的卓越性能。这些模型通常依赖于大量的、结构化不强的互联网文本数据进行训练，从而获取丰富的世界知识。然而，这种知识获取方式存在一个明显的问题：数据效率低下。为了学习特定的事实，模型必须在成百上千的不同表述中进行训练，这在面对小规模、特定领域的语料库时尤为突出，因为在这些语料库中，每个事实...

引言：文本检索在信息检索系统中的重要性文本检索是信息检索系统的核心组成部分，它在搜索引擎、问答系统和推荐系统等多种应用中发挥着至关重要的作用。随着技术的发展，文本检索已经从简单的关键词匹配演变为利用复杂的算法理解和匹配文本的语义。特别是在问答系统中，文本检索技术能够从大量数据中找到与用户查询最相关的信息，这对于提高系统的准确性和用户满意度至关重要。近年来，随着深度学习技术的发展，基于神经网络的...

引言：多模态统一表示空间的挑战与机会在人工智能领域，多模态统一表示空间是实现多模态理解和生成的基础。这种统一空间能够将音频、图像、文本等多种模态的数据融合在一个共享的表示空间中，从而使得机器能够更好地理解和处理来自不同源的信息。然而，构建这样的统一表示空间面临着巨大的挑战，例如需要处理的模型参数可能高达数十亿，且在训练过程中容易发生灾难性遗忘问题。这些问题严重限制了多模态统一表示空间的进一步发...

OCRFree多页文档理解的挑战与进展在现代信息时代，多页文档的自动理解和处理变得尤为重要。这些文档可能包括书籍、报告、学术论文等，它们通常包含大量的文本、图表和其他视觉元素。传统的文档理解方法依赖于光学字符识别（OCR）技术将图像转换为文本数据。然而，OCR过程不仅耗时，而且在处理高分辨率或多页文档时，容易出现错误，尤其是在文档格式复杂或字体多样的情况下。随着深度学习技术的发展，OCRFree的文档理解方法逐渐...

引言：探索LoRA在大型语言模型中的应用在人工智能领域，大型语言模型（LLMs）的发展日新月异，它们在多种任务中展示了卓越的性能。然而，这些模型通常需要大量的计算资源和内存，这限制了它们的实用性和可访问性。为了解决这一问题，低秩适应（LoRA）技术应运而生，它通过在保持模型性能的同时减少可训练参数的数量和内存使用，为参数高效的微调提供了一种有效的方法。LoRA的核心思想是在大型语言模型的冻结层之间插入低秩矩阵...

引言：多模态对话幻觉的挑战在人工智能领域，开发能够通过视觉和语言等多种渠道与人类互动的通用助手是一个重要问题。受到大型语言模型（LLMs）如ChatGPT的显著成功的启发，研究社区对开发能够支持视觉语言指令的多模态助手，即大型多模态模型（LMMs），表现出了越来越浓厚的兴趣。这些模型在各种多模态任务中展现出了强大的零样本泛化能力，例如分类、检测、视觉问答（VQA）和图像描述。然而，尽管LMMs取得了巨大的成功，一些...

引言：RAG技术与大型语言模型中的噪声问题在大型语言模型（LLMs）的研究与应用中，噪声问题一直是一个不容忽视的挑战。这些模型在处理复杂的语言理解和生成任务时，往往需要从海量的数据中提取有用信息。然而，互联网上充斥着各种非标准的噪声信息，如AI生成的虚假新闻、过时内容、拼写错误等，这些噪声可能会影响模型的性能。为了解决这一问题，近年来，检索增强生成（RetrievalAugmentedGeneration,RAG）技术应运而生。RAG技...

引言：多模态理解与生成的新篇章在人工智能的发展历程中，多模态理解与生成一直是研究的热点领域。随着技术的进步，从单一模态到多模态的转变，使得机器能够更全面地理解和生成信息，极大地拓宽了人工智能的应用范围。本文介绍的研究成果，展示了如何通过一个统一的Transformer模型——Showo，来实现对多种模态输入的理解与生成，这标志着在多模态人工智能领域的一个重要进步。1.论文标题与链接论文标题：SHOWO:ONESINGLETRANSF...

引言：探索短剧剧本生成的新时代随着人工智能技术的飞速发展，短剧剧本生成领域也迎来了前所未有的变革。传统的剧本创作过程中，编剧需要投入大量的时间和精力来构思情节、设计角色和编写对白。然而，最新的研究成果表明，借助先进的大型语言模型（LLM），这一过程可以得到极大的简化和加速。SkyworkAI与华中科技大学联合发布的技术报告《SKYSCRIPT100M:1,000,000,000PAIRSOFSCRIPTSANDSHOOTINGSCRIPTSFORSHORTDRAMA》展示了如...