AI.x社区

前言在众多的GPU云平台中，AutoDL是我们常用的一个。它因为显卡可快速扩展、实例运行稳定、网络连接速度快，深受大家的喜爱。不过其端口映射略微复杂，所以本篇文章，我们将介绍在AutoDL平台上进行模型训练的过程。环境准备1.1创建实例通过查看LLamaFactory的官方文档，我们可以得知，LLamaFactory的运行需要依赖以下环境：必需依赖最低版本推荐版本python3.83.11torch1.13.12.4.0transformers4.41.24.43.4datasets2.16.02.20.0...

前言本文将介绍如何在趋动云平台上使用xinference部署对话模型、向量化模型以及多模态模型。xinference简介xinference官网官网说明：https:inference.readthedocs.iozhcnlatestgettingstartedinstallation.htmlxinference可以部署的模型类别chat对话模型embedding向量化模型rerank模型vlchat多模态模型环境准备选择镜像选择镜像环境安装xinferencexinference支持的引擎有：transformersvllmllama.cppSGlong引擎.....本篇文章，...

前言在上一章课程【​​​使用YOLO进行目标检测​​】，我们了解到目标检测有两种策略，一种是以YOLO为代表的策略：特征提取→切片→分类回归；另外一种是以MTCNN为代表的策略：先图像切片→特征提取→分类和回归。因此，本章内容将深入了解MTCNN模型，包括：MTCNN的模型组成、模型训练过程、模型预测过程等。人脸识别在展开了解MTCNN之前，我们对人脸检测先做一个初步的梳理和了解。人脸识别细分有两种：人脸检测和人脸身份识...

前言本章的学习内容，将以目标检测为切入口，了解目标检测流程，包括：数据标准、模型训练以及模型预测。图片分类vs目标检测通过查看YOLO网站的task目录，我们可以看到：在计算机视觉领域中，常见的任务包括目标检测（detect）、语义分割（segment）、图像分类（classify）、人体姿态估计（pose）、以及有向边界框（OrientedBoundingBox，OBB）等。图像分类（classify）a.输出是图像所属的类别或标签，通常以概率分布的形式（例...

前言在上一章【​​大模型之深入探索RAG流程​​​】中，我们对RAG流程中​​文档读取(LOAD)​​​>​​文档切分(SPLIT)​​​>​​向量化(EMBED)​​​>​​存储(STORE)​​​进行了深入了解，本章将接着深入了解​​解析(Retrieval)​​的使用解析器简介简介：在RAG（RetrievalAugmentedGeneration）流程中，Retrieval（检索）是关键环节，其主要目标是从大量文档或知识库中提取与用户查询相关的信息。目的：信息获取：根据用...

前言在上一章【大模型之初识RAG】中，我们初步了解了RAG的基本概念和原理，并通过代码实践了一个简单的RAG流程。本章我们将基于RAG的基本流程，深入了解​​文档读取(LOAD)​​​、​​文档切分(SPLIT)​​​、​​向量化(EMBED)​​​和​​存储(STORE)​​的每个环节，并结合代码进行常见场景的实践。RAG流程回顾回顾RAG的流程如上所示，具体代码见RAG代码，本章不再赘述。文档读取(LOAD)简介：由于我们的知识广泛存在各类文...

前言通过前几章的学习，我们已经掌握连接一个第三方大模型，使用LangChain与大模型建立交互，并且通过Prompt进行提问，得到相应的回答。本章我们将开始了解RAG（检索增强生成）技术，了解RAG的技术原理以及基本使用方法。RAG概述产生背景随着信息量的急剧增加，单纯依靠模型内置的知识进行生成已无法满足需求，比如：大模型的公共知识都是陈旧的！部分私有的知识大模型没有学习过.....​​RAG​​（检索增强生成）技术的出现是...

前言电影《钢铁侠》中的智能助手J.A.R.V.I.S.是一位得力的助手，它不但有强大的理解能力，而且还具备执行行动的能力。随着技术的不断进步，类似于贾维斯的Agent正在逐步从银幕走进现实。本文将探讨Agent的产生背景，并结合一些代码示例理解Agent。Agent的产生背景一个例子引入Qwen大模型fromutilsimportgetqwenmodelsllm,chat,getqwenmodels()chat.invoke("现在几点了？")运行结果：AIMessage(content'我是一个AI模型，无法实时...

前言在上一章【​​​大模型三阶段训练方法(LLaMaFactory)​​】内容中主要了解一个大模型的训练过程，无论是第三方的大模型还是自研的大模型，都需要部署到服务端，提供对应API接口供上层应用使用。所以，本章将主要了解vLLm+langchain的基本使用方法。大模型应用框架一般来说，大模型应用的整体结构可以划分为几个层次：模型层：功能：负责处理输入数据并生成输出。代表：BERT、GPT、Qwen2等等推理层：功能：将大模型部署到服...

前言本章我们将通过LLaMAFactory具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。大模型训练回顾训练目标训练一个医疗大模型训练过程实施准备训练框架​​LLaMAFactory​​是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过WebUI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub星标超过2万。运行环境要求•硬件：GPU：推荐使用24GB显存的显卡或者更高配置...

前言上一章内容我们初步了解了卷积、卷积神经网络、卷积神经网络的搭建过程以及经典的LeNet网络结构，本篇内容将基于LeNet网络结构，实现手势识别。手势识别数据集介绍在开展手势识别之前，我们需要先下载并初步了解数据集的情况。数据下载地址下载地址：手势识别数据集├──train训练集├──G0手势0├──IMG1118.jpg手势0的图片├──...├──G1手势1├──IMG1119.jpg├──...├──...├──G9手势9├──test测试集├...

前言在上一章【​​大模型的三大架构及T5体验​​】中，我们体验了EncoderDecoder架构的T5模型。本章内容，我们将以DecoderOnly架构的Qwen模型入手，了解Qwen模型结构、聊天模板的概念以及通过大模型进行翻译、信息抽取等任务的尝试。模型选择访问ModelScope官网，在模型库搜索​​Qwen2​​。补充说明：Qwen27B是一个通用的Base模型。Qwen27BInstruct是经过监督微调SFT的模型，在处理指令时的表现通常会更好。Qwen模型简介Qwen...

前言本篇我们将对大模型的训练阶段进行初步了解，同时部署一个T5模型进行试用体验。大模型的三大架构大模型（如大型语言模型）的架构通常有多种类型，以下是三种主要的架构：EncoderDecoder架构架构：由两个主要部分组成：编码器​​（Encoder）​​​和解码器​​（Decoder）​​​，即​​Transformer​​架构。它先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分）。特点：这种架构就像...

前言在前一阶段课程中，我们学习了图像分割中的语义分割、实例分割、旋转目标检测等。这些图像分割算法都是有监督学习，而GAN（生成对抗网络）是一种特别的学习策略，其核心思想非常值得借鉴，所以本章将以GAN网络的代码为切入口，了解掌握其核心思想。学习策略人工智能方面的学习策略有两种：有监督学习和无监督学习。有监督学习定义：有监督学习是使用带标签的数据集进行训练。每个输入数据都有对应的输出标签，模型通过学习...

前言在上一章​​【项目实战】基于Agent的金融问答系统：RAG的检索增强之ElasticSearch​​中，我们在已经构建的Agent框架上，通过集成检索器将ES检索器和多路召回检索器集成进来，提升了检索的召回率。本章，我们将基于项目问题，进一步优化Agent的检索能力。问题随着该项目检索能力的增强，我们计划对天池大赛提供的1000个问题进行执行，依次评估我们的系统能力如何。在这个测试过程中，我们发现了多个待优化的问题，其中有2...

前言本章内容，我们将在已经构建的agent框架基础上，优化检索器，为检索器搭建ElasticSearch服务，实现问答系统的检索增强。检索问题通过测试天池大赛数据集的前100个问题，我们发现有很多问题RAG检索不到，例如：•{"id":34,"question":"根据武汉兴图新科电子股份有限公司招股意向书，电子信息行业的上游涉及哪些企业？"}通过查看日志，检索器没有检索到相关信息：优化方案分析上述case原因，检索器太过简单所致。classSimpleR...

前言在上一章​​【项目实战】基于Agent的金融问答系统：前后端流程打通​​，我们已经完成了金融问答系统的前后端搭建，形成了可用的Demo。本章，我们将介绍代码重构的过程，并介绍一些优化点。代码重构简介在开启本章介绍之前，请允许我花点时间啰嗦两句，聊一聊代码重构的哪些事儿。在过去经历的项目中，代码重构很少被人重视。看着像💩一样的代码(抱歉爆粗口，我所经历的一些项目包括我自己曾经写的代码，回看确实像💩一样)...

前言在上一章​​《【项目实战】基于Agent的金融问答系统：Agent框架的构建》​​中，我们已经完成了基于agent的问答系统主流程构建，本章将介绍如何将Agent通过langserve部署为后端服务，同时基于Vue.js+Vite构建前端页面，完成问答系统前后端联调。目标将Agent部署为后端服务构建前端页面，完成问答系统前后端联调后端实现代码实现基于《大模型应用开发之Prompt初步了解》中langserve的所学内容，我们需要做的第一步为：1、安...

前言上一章【项目实战】基于Agent的金融问答系统：RAG检索模块初建成，我们已经完成了RAG的基本流程，本章我将梳理Agent的运行框架以及介绍如何将RAG数据和SQL查询数据进行整合，实现金融问题的自主回答。核心问题在进行Agent框架介绍之前，我们需要探讨一个核心问题，即：​​用户输入一个问题后，如何实现用户问题的自动查询(是SQL查询还是RAG检索)​​。意图识别方案关于这个问题，我们曾有一个方案如下：对于用户输入的问题...

前言我们在上一章《【项目实战】基于Agent的金融问答系统之项目简介》中简单介绍了项目背景以及数据集情况，本章将介绍RAG模块的实现。功能列表参考之前所学内容《大模型之初识RAG》，我们需要实现如下功能：向量库的基础功能向量库数据入库文件导入PDF文件的读取PDF文件的切分调用向量库接口入库文件检索连接向量库检索器检索文件开发过程1、规划工程文件项目开始之后，我们如果能够抑制住直接撸代码的冲动，改为提前做好规划...