AI.x社区

前言在上一章【​​​大模型三阶段训练方法(LLaMaFactory)​​】内容中主要了解一个大模型的训练过程，无论是第三方的大模型还是自研的大模型，都需要部署到服务端，提供对应API接口供上层应用使用。所以，本章将主要了解vLLm+langchain的基本使用方法。大模型应用框架一般来说，大模型应用的整体结构可以划分为几个层次：模型层：功能：负责处理输入数据并生成输出。代表：BERT、GPT、Qwen2等等推理层：功能：将大模型部署到服...

前言本章我们将通过LLaMAFactory具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。大模型训练回顾训练目标训练一个医疗大模型训练过程实施准备训练框架​​LLaMAFactory​​是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过WebUI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub星标超过2万。运行环境要求•硬件：GPU：推荐使用24GB显存的显卡或者更高配置...

前言上一章内容我们初步了解了卷积、卷积神经网络、卷积神经网络的搭建过程以及经典的LeNet网络结构，本篇内容将基于LeNet网络结构，实现手势识别。手势识别数据集介绍在开展手势识别之前，我们需要先下载并初步了解数据集的情况。数据下载地址下载地址：手势识别数据集├──train训练集├──G0手势0├──IMG1118.jpg手势0的图片├──...├──G1手势1├──IMG1119.jpg├──...├──...├──G9手势9├──test测试集├...

前言在上一章【​​大模型的三大架构及T5体验​​】中，我们体验了EncoderDecoder架构的T5模型。本章内容，我们将以DecoderOnly架构的Qwen模型入手，了解Qwen模型结构、聊天模板的概念以及通过大模型进行翻译、信息抽取等任务的尝试。模型选择访问ModelScope官网，在模型库搜索​​Qwen2​​。补充说明：Qwen27B是一个通用的Base模型。Qwen27BInstruct是经过监督微调SFT的模型，在处理指令时的表现通常会更好。Qwen模型简介Qwen...

前言本篇我们将对大模型的训练阶段进行初步了解，同时部署一个T5模型进行试用体验。大模型的三大架构大模型（如大型语言模型）的架构通常有多种类型，以下是三种主要的架构：EncoderDecoder架构架构：由两个主要部分组成：编码器​​（Encoder）​​​和解码器​​（Decoder）​​​，即​​Transformer​​架构。它先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分）。特点：这种架构就像...

前言在前一阶段课程中，我们学习了图像分割中的语义分割、实例分割、旋转目标检测等。这些图像分割算法都是有监督学习，而GAN（生成对抗网络）是一种特别的学习策略，其核心思想非常值得借鉴，所以本章将以GAN网络的代码为切入口，了解掌握其核心思想。学习策略人工智能方面的学习策略有两种：有监督学习和无监督学习。有监督学习定义：有监督学习是使用带标签的数据集进行训练。每个输入数据都有对应的输出标签，模型通过学习...

前言在上一章​​【项目实战】基于Agent的金融问答系统：RAG的检索增强之ElasticSearch​​中，我们在已经构建的Agent框架上，通过集成检索器将ES检索器和多路召回检索器集成进来，提升了检索的召回率。本章，我们将基于项目问题，进一步优化Agent的检索能力。问题随着该项目检索能力的增强，我们计划对天池大赛提供的1000个问题进行执行，依次评估我们的系统能力如何。在这个测试过程中，我们发现了多个待优化的问题，其中有2...

前言本章内容，我们将在已经构建的agent框架基础上，优化检索器，为检索器搭建ElasticSearch服务，实现问答系统的检索增强。检索问题通过测试天池大赛数据集的前100个问题，我们发现有很多问题RAG检索不到，例如：•{"id":34,"question":"根据武汉兴图新科电子股份有限公司招股意向书，电子信息行业的上游涉及哪些企业？"}通过查看日志，检索器没有检索到相关信息：优化方案分析上述case原因，检索器太过简单所致。classSimpleR...

前言在上一章​​【项目实战】基于Agent的金融问答系统：前后端流程打通​​，我们已经完成了金融问答系统的前后端搭建，形成了可用的Demo。本章，我们将介绍代码重构的过程，并介绍一些优化点。代码重构简介在开启本章介绍之前，请允许我花点时间啰嗦两句，聊一聊代码重构的哪些事儿。在过去经历的项目中，代码重构很少被人重视。看着像💩一样的代码(抱歉爆粗口，我所经历的一些项目包括我自己曾经写的代码，回看确实像💩一样)...

前言在上一章​​《【项目实战】基于Agent的金融问答系统：Agent框架的构建》​​中，我们已经完成了基于agent的问答系统主流程构建，本章将介绍如何将Agent通过langserve部署为后端服务，同时基于Vue.js+Vite构建前端页面，完成问答系统前后端联调。目标将Agent部署为后端服务构建前端页面，完成问答系统前后端联调后端实现代码实现基于《大模型应用开发之Prompt初步了解》中langserve的所学内容，我们需要做的第一步为：1、安...

前言上一章【项目实战】基于Agent的金融问答系统：RAG检索模块初建成，我们已经完成了RAG的基本流程，本章我将梳理Agent的运行框架以及介绍如何将RAG数据和SQL查询数据进行整合，实现金融问题的自主回答。核心问题在进行Agent框架介绍之前，我们需要探讨一个核心问题，即：​​用户输入一个问题后，如何实现用户问题的自动查询(是SQL查询还是RAG检索)​​。意图识别方案关于这个问题，我们曾有一个方案如下：对于用户输入的问题...

前言我们在上一章《【项目实战】基于Agent的金融问答系统之项目简介》中简单介绍了项目背景以及数据集情况，本章将介绍RAG模块的实现。功能列表参考之前所学内容《大模型之初识RAG》，我们需要实现如下功能：向量库的基础功能向量库数据入库文件导入PDF文件的读取PDF文件的切分调用向量库接口入库文件检索连接向量库检索器检索文件开发过程1、规划工程文件项目开始之后，我们如果能够抑制住直接撸代码的冲动，改为提前做好规划...

前言历经27天，我们小组所做的金融问答系统项目已经告一段落，目前该项目在天池大赛排行榜暂列56名，虽然排名还比较靠后(还有很多地方可以优化)，但是整个项目的实战锻炼还是收获不少。因此，我计划将从零构建问答系统的这一过程总结分享出来，既是对过去的成果总结，也是抛砖引玉，为其他AI从业人员及爱好者提供参考。文章目录整个项目实战过程中，我们还是运用了非常多的新老技术以及软件工程理念，例如：AI相关：​​Agent​...

前言随着多模态大模型的发展，其不仅限于文字处理，更能够在图像、视频、音频方面进行识别与理解。医疗领域中，医生们往往需要对各种医学图像进行处理，以辅助诊断和治疗。如果将多模态大模型与图像诊断相结合，那么这会极大地提升诊断效率。项目目标训练一个医疗多模态大模型，用于图像诊断。刚好家里老爷子近期略感头疼，去医院做了脑部CT，诊断患有垂体瘤，我将尝试使用多模态大模型进行进一步诊断。实现过程1.数据集准备为...

前言在当今数字化时代，智能客服系统已经成为企业与客户之间沟通的重要桥梁。通过使用​​LinkAI​​​搭建一个微信公众号的智能客服，不仅可以提升客户服务效率，还可以724小时在线支持。本文将详细介绍使用​​LinkAI​​创建智能客服的效果、部署方法以及相关内容。效果前提条件搭建方法有两种：托管方式：使用LinkAI的托管服务，部署教程非常简单，详情可以见官网托管说明；自建方式：这种方式适合于自建服务器以便省去使用...

前言本章我们将深入了解Qwen2VL并使用多模态对于视频的处理能力。资料论文标题：《Qwen2VL:EnhancingVisionLanguageModel'sPerceptionoftheWorldatAnyResolution》论文地址：https:arxiv.orgpdf2409.12191论文阅读理解论文核心要点据Qwen2VL的论文中介绍，该模型为了进一步增强模型对视频中视觉信息的有效感知和理解能力，引入了三个关键的创新升级：原始动态分辨率：该功能允许模型处理任意分辨率的图像，而不需要调整模型结构...