AI.x社区

序列建模的进展具有极大的影响力，因为它们在广泛的应用中发挥着重要作用，包括强化学习（例如，机器人和自动驾驶）、时间序列分类（例如，金融欺诈检测和医学诊断）等。在过去的几年里，Transformer的出现标志着序列建模中的一个重大突破，这主要得益于Transformer提供了一种能够利用GPU并行处理的高性能架构。然而，Transformer在推理时计算开销很大，主要在于内存和计算需求呈二次扩展，从而限制了其在低资源环境中的应用（...

本文介绍了香港科技大学（广州）的一篇关于大模型高效微调（LLMPEFTFinetuning）的文章「ParameterEfficientFineTuningwithDiscreteFourierTransform」，本文被ICML2024接收，代码已开源。论文地址：https:arxiv.orgabs2405.03003项目地址：https:github.comChaos96fourierft背景大型基座模型在自然语言处理（NLP）和计算机视觉（CV）领域都获得了瞩目的成就。微调（Finetuning）大型基座模型，使其更加适应特殊的下游任务，成...

本文将深入探索当前火热的Llama3模型背后的转换器架构的细微差别，并分析其在生成式人工智能生态系统的发展前景。拉玛的故事“在安第斯山脉崎岖的山区，生活着三种非常美丽的生物——里约、洛基和塞拉。它们有着光泽的皮毛和闪闪发光的眼睛，是力量和韧性的灯塔。据说，从很小的时候起，它们对知识的渴望就永无止境。它们会寻找牛群中聪明的长者，聚精会神地听它们的故事，像海绵一样吸收它们的智慧。随着这一点的发展，它们的...

面对这一更新发布，激动者不在少数，各类自媒体震惊体轮番上阵，更有甚者鼓吹AGI时代已来。RelatedImage唱衰者同样存在，贬低GPT4o所展现的能力只是将tts，vision，llm等已然发布过的技术进行了二次打包组装，并无创新技术存在，而且演示的能力之前的Gemini1.5已然演示过（虽然被实锤为剪辑）。RelatedImage作为一个大语言模型开发者，我也着实震惊于GPT4o所展现的强大的多模态能力。不过遭受过AI原生应用开发反复拷打的我，最...

AIGC浪潮之下，一个现实情况逐渐浮出水面：如何使用AI工具、用AIGC提高个人能力，已经开始成为每个人都需要认真思考的命题。那么，我们普通人该如何学习并灵活运用AI呢？本次中国AIGC产业峰会上，得到联合创始人、AI学习圈主理人快刀青衣分享了如何通过AIGC高效提升个人能力。作为资深产品经理，他介绍了得到团队研发及实际应用AI产品的过程经验，为我们展示了AI在实际工作场景中的应用价值。为了完整体现快刀青衣的思考，在不...

今天给大家介绍一篇WWW2024中，由于新嘉博国立大学和香港科技大学联合发表的多模态时间序列预测模型UniTime，通过文本信息实现统一跨域时间序列预测。论文标题：UniTime:ALanguageEmpoweredUnifiedModelforCrossDomainTimeSeriesForecasting下载地址：​​https:arxiv.orgpdf2310.09751v1.pdf​​1、背景在很多时间序列预测场景中，会涉及到跨域学习，即有多个领域的时间序列数据，不同领域的数据分布、特征都可能不同，需要对...

目标检测与识别：目标是从图像或视频中识别出特定的目标，如人脸、车辆、动物等。常用的方法包括Haar特征级联、卷积神经网络(CNN)、区域卷积神经网络(RCNN)以及FasterRCNN、YOLO、SSD等模型。特征提取：特征提取是计算机视觉中的核心技术，旨在从图像或视频中提取出具有代表性的特征。常见方法包括SIFT、SURF、HOG及LBP，这些方法可以将图像特征转化为向量化或矩阵形式，便于后续处理。图像分割：图像分割是将图像分成若干个具...

好的故事总能激励人前行，好的工作也是一个巨大的跳板！以及最关键的是敢于对你领导的不合理要求说“NO”！它不仅有助于保护我们自己的职业健康，也能真的确保项目以更合理和高效的方式推进这对你来说也许是一个好的“跳板”，​​前后端测试岗​​均可投：点它即可RobertC.Martin，世界级编程大师，设计模式和敏捷开发先驱，敏捷联盟首任主席，C++Report前主编，被后辈程序员尊称为“Bob大叔”。20世纪70年代初成为职业程序员...

作者JamesThomason编译伊风出品51CTO技术栈（微信号：blog51cto）眨眼之间，你可能会错过又一种编程语言的发明。有个笑话说，程序员花费20%的时间编写代码，80%的时间决定使用什么语言。事实上，编程语言如此之多，以至于我们不确定实际有多少种。据估计，至少有700种编程语言在不同程度上被使用和滥用。现在存在的编程语言似乎总有改进的空间。随着AI不断推动技术进步，它也在挑战我们最流行的编程语言，如Java、C和Python。像...

编辑言征出品51CTO技术栈（微信号：blog51cto）近日，OpenAI一记重拳，推出了GPT4o（“o”表示“omni”），将语音识别和对话方面的优势展示的淋漓尽致。几乎可以肯定，它也是一个更强的LLM。但它能进行代码审查吗？本文通过一些测试来寻找答案。1.长乘法：交给计算机就可以首先，我检查了它是否可以进行long乘法运算：图片答案是正确的，通过在线计算器上可以确认。但请注意，它并没有试图“计算出”结果——它只是将问题甩给了...

随着深度学习的快速发展，许多研究者们开始尝试利用深度神经网络解决多标签图像识别（MultilabelImageRecognition,MLR）任务，并已取得了不俗的进展。但是，由于图像本身和潜在标签类别的复杂性，收集满足现有模型训练的多标签标注信息往往成本高昂且难以拓展，导致现有的大部分多标签图像识别模型难以在现实应用场景中落地。因此，近年来许多研究者开始致力于探索标注受限情况下的多标签图像识别（MultilabelImageRecognitionw...

我在专栏[大语言模型的技术原理和应用]中介绍了大语言模型(LLM)原理和应用，LLM对语言建模，输入输出都是文本，属于单模态模型。LLM的出现让人们看到了AGI的希望，但要实现AGI，就要让机器像人类一样实现多种感官协作，所以多模态是AGI必经之路。从今天开始我们将进入多模态领域。openAI刚刚发布的GPT4o就是一种多模态大模型。一、初识多模态大模型1.1多模态大模型定义所谓“多模态”简单来讲就是模型能够处理多种数据模态，例...

诺贝尔奖主要颁给那些为人类做出巨大贡献的人，我国的屠呦呦就因发现青蒿素在2015年获得诺贝尔医学奖。Alphafold不是某个人类科学家，它是GoogleDeepMind开发的一个深度学习模型，它能够预测蛋白质结构。把诺奖颁给一个模型，你可能会觉得我危言耸听了，但如果你了解蛋白质结构的作用，你肯定会改变想法了。一、蛋白质合成过程在此之前还是先简单了解下蛋白质的合成过程。蛋白质是由氨基酸序列组成的，人体内有21种氨基酸种类，...

前面我们通过LLM+向量数据库搭建了RAG，然后又将LLM和外部组件协作构建了Agent。LLM作为AI的一个细分领域，LLM+也和AI+一样正在重塑各行业。今天，我们来看看LLM和传统机器学习能碰撞出什么火花。我们都知道，机器学习模型擅长从数据中发掘潜在模式，大语言模型擅长自然语言理解与生成。但传统机器学习算法依赖人的经验去做特征工程，模型选择，调参等。那能否借助LLM的理解和生成能力去弥补传统机器学习的不足呢？这种融合新范...

本文作者袁镱博士是腾讯公司专家工程师，负责无量系统和一念LLM等机器学习训练和推理框架研发。以OpenAI的GPT系列模型为代表的大语言模型（LLM）掀起了新一轮AI应用浪潮，但是LLM推理的高昂成本一直困扰着业务团队。腾讯PCG机器学习平台中心自研了高性能LLM推理引擎：一念LLM。在传统的算子融合，ContinousBatching等推理加速技术的基础上，通过显存优化，异步调度和计算复用等技术，在相同精度的推理中，一念LLM相比vLLM，Tens...

在AI领域，扩展定律（Scalinglaws）是理解LM扩展趋势的强大工具，其为广大研究者提供了一个准则，该定律在理解语言模型的性能如何随规模变化提供了一个重要指导。但不幸的是，扩展分析在许多基准测试和后训练研究中并不常见，因为大多数研究人员没有计算资源来从头开始构建扩展法则，并且开放模型的训练尺度太少，无法进行可靠的扩展预测。来自斯坦福大学、多伦多大学等机构的研究者提出了一种替代观察法：可观察的扩展定律（Ob...

一、人机交互发展史先简单了解下人机交互的历史。打孔卡命令行（CLI）图形用户界面（GUI）ARVRMR语音助手像Siri，小爱同学等语音助手虽然也能通过自然语言交互，只能打开某个应用，或者搜索互联网，一般不能理解UI中的元素。二、ScreenAI：多模态大模型谷歌近期推出多模态大模型ScreenAI，带来人机界面交互新方式。ScreenAI不仅能够理解UI上的元素，还具有推理能力，并且能根据用户指令与UI进行交互。项目主页：https:research....

TransparencyTool是facebook开源的大语言模型可视分析工具，用于分析基于Transformer架构的语言模型。源码：https:github.comfacebookresearchllmtransparencytool技术报告：https:arxiv.orgpdf2404.07004.pdf一、浅谈原理Transformer是由多个注意力块堆叠而成，每个注意力块视为一层，每个层包含一个多头注意力层和一个前馈网络。token向量在注意力层中，向量之间能够相互交流，并根据彼此信息更新自身的值；在前馈网络中，向...

当我们拿起一个机械手表时，从正面会看到表盘和指针，从侧面会看到表冠和表链，打开手表背面会看到复杂的齿轮和机芯。每个视角都提供了不同的信息，将这些信息综合起来才能理解操作对象的整体三维。想让机器人在现实生活中学会执行复杂任务，首先需要使机器人理解操作对象和被操作对象的属性，以及相应的三维操作空间，包括物体位置、形状、物体之间的遮挡关系，以及对象与环境的关系等。其次，机器人需要理解自然语言指令，对...

论文链接：https:arxiv.orgpdf2405.12970项目链接：https:faceadapter.github.iofaceadapter.github.io当前的面部重演和交换方法主要依赖于GAN框架，但最近的研究重点已转向预训练的扩散模型，因为它们具有更强的生成能力。然而，训练这些模型需要大量资源，且结果尚未达到令人满意的性能水平。为了解决这个问题，本文引入了FaceAdapter，是一种高效且有效的适配器，专为预训练的扩散模型提供高精度和高保真度的人脸编辑。本文...