AI.x社区

一、环境准备1.前置条件首先准备好训练机器和数据，笔者采用了32节点910BNPU，300万网页训练数据。2.环境配置环境安装，首先安装多模态训练框架msswift，安装torchnpu及deepspeed。安装msswift(当前推荐从源码安装,待发版后可直接pip安装)gitclonehttps:github.commodelscopeswift.gitcdswiftpipinstalle'.[llm]'安装torchnpupipinstalltorchnpudecorator安装deepspeedpipinstalldeepspeed完整python依赖版本见文末附录3.环境验...

1.基于传统机器学习的范式（第一范式）在早期的自然语言处理（NLP）研究中，神经网络尚未被引入。在这个时期，NLP处理方法通常需要从自然语言语料库中提取各种特征，例如词性标注、命名实体识别和短语结构分析。然后，使用特定的规则或数学、统计学模型来对提取出的特征进行匹配和应用。例如，可以通过词性标注和短语结构分析提取文本中的关键信息，然后利用数学模型，如隐马尔可夫模型或贝叶斯网络，来执行序列分类和序列标注...

1.背景这次指的大型语言模型（LLMs）主要说的是采用Transformers架构的模型，该架构在训练阶段具有高度的并行性。然而，在实际应用中，高效地部署这些模型面临一些挑战。这是因为生成推理是逐个token进行的，而每个token的计算都依赖于先前生成的标记。因此，支持大规模训练的模型需要仔细考虑并行布局和内存优化，以实现所需的可扩展性和高效的低延迟推理。从而更好地支持大规模训练的模型在实际应用中实现高效的低延迟推理，...

一、大模型概述1.什么是大模型本文的大模型特指的是大规模数据训练得到的预训练模型，对于大模型，2021年8月李飞飞联合100多名专家发布了一份研究报告《OntheOpportunitiesandRiskofFoundationModels》，他们将大模型统一命名为fundationmodel，也可以称之为基石模型，属于深度学习的一种。此外，从命名就可以看出，大模型的研究已经在AI领域形成了里程碑式的影响。那么什么样的模型可以称为大模型，应可以包括3个方面：模型的...

数据集是大模型竞争的关键要素之一，AI大模型的突破得益于高质量数据的发展。训练大模型需要大规模、高质量、多模态的数据集，通常需要从各个领域和多个数据源收集数据，这些数据可以是文本、图像、语音、视频等多种形式。大语言模型训练使用的数据集规模爆发式增长。从2018年GPT1数据集约为4.6GB，2020年GPT3数据集达到了753GB，而ChatGPT的数据集为超万亿单词的人类语言数据集（约45TB）。OpenAI并没有公开训练ChatGPT的相关...

1.核心云原生组件容器化技术是云原生的核心，它通过将应用及其依赖项打包到一个轻量级、独立的容器中，确保了应用在不同环境中的一致运行。作为两种主流的容器引擎，Docker和containerd广泛应用于AI模型的开发和部署。Docker提供了简便的容器化工具链，而containerd则作为一个高效、专注的容器运行时，为Kubernetes等平台提供底层支持。容器化AI模型可以在本地开发环境与云端无缝切换，减少环境差异带来的问题。AI应用通常由多...

ChatGTP、LLaMA2等通用大模型具备优秀的推理性能，但在面对复杂多变的业务场景时，往往难以满足多样化的需求。ChatGPT等通用大模型通常需要经过复杂漫长的训练过程，预训练期间需要巨大的算力和存储消耗，大多场景下从0到1训练一个模型不仅成本高昂，而且没有必要，因此基于预训练的模型并对其进行微调成为有价值的研究方向。微调预训练的通用大模型，不仅可以节约成本，也可以使模型更符合特定领域的需求，变得更定制化、专业...

1.标准Transformer经典Transformer模型(如上图所示)，它是由编码器（蓝框）和解码器（绿框）组成，标准VisionTransformer(ViT)[2]主要应用了其中的编码器,编码器模块主要由一个MultiHeadSelfAttention(MHA)和一个MultilayerPerceptron(MLP)组成。2.视觉Transformer标准Transformer编码器的输入是一维embedding，为了能将该编码器应用于图像任务，将尺寸为(H,W,C)的图像切分成尺寸为(P,P,C)的图像块，一共得到个图像块，reshape...

1.概念Kubeflow是一个机器学习平台，旨在简化ML模型的开发、训练、部署和管理。它提供了一系列工具和组件，包括JupyterNotebook、TFJob、Katib（超参数调优）、KFServing（模型服务）等，使用户可以在Kubernetes集群上轻松运行和管理机器学习工作流。Volcano是一个Kubernetes调度系统，专为批处理、HPC、AI和大数据工作负载设计。它通过提供先进的调度策略、资源公平分配和作业管理功能，优化了资源利用率和任务执行效率。Volca...

一、TensorRT简介TensorRT是由C++、CUDA、python三种语言编写成的库，有助于在NVIDIAGPU上进行高性能推理。基于目前主流的深度学习框架得到的模型都可通过TensorRT实现推理加速。图1TensorRT转换过程2021年7月，NVIDIA发布了TensorRT8.0版本，新版本极大提升了Transformers结构的推理新能。TensorRT性能优化主要依赖下面两种方式：1、权重与激活精度校准：在推理中使用FP16或者INT8精度计算，通过降低计算精度，提高计算效率，...

一、编程辅助例子GitHubCopilot[1]基于OpenAI的Codex[2]模型（GPT3[3]的后代）实现，可以在代码编写的时候实时地提供代码补全建议和注释，并且在多个编辑器的插件市场都可以下载使用。不管是从Copilot官网上的例子，还是在互联网上搜索关于Copilot的使用案例，你都可以发现它比一般的代码补全工具更为先进和灵活，它不仅能补全代码，更能创造代码，通过理解使用者简单的自然语言指令，它能够按照这些指令直接构建代码片段，并且...

一、编程辅助例子GitHubCopilot[1]基于OpenAI的Codex[2]模型（GPT3[3]的后代）实现，可以在代码编写的时候实时地提供代码补全建议和注释，并且在多个编辑器的插件市场都可以下载使用。不管是从Copilot官网上的例子，还是在互联网上搜索关于Copilot的使用案例，你都可以发现它比一般的代码补全工具更为先进和灵活，它不仅能补全代码，更能创造代码，通过理解使用者简单的自然语言指令，它能够按照这些指令直接构建代码片段，并且...

1）模型参数过大，如GLM130B模型参数需要520GB（130B4bytes）的显存，参数梯度为520GB，优化器状态需要1040GB，共计2096GB的显存，即使显存最大的GPU也放不下大模型的模型参数；2）即使可以将模型参数放在一张GPU上，对海量数据进行预训练也需要耗费很长时间，单卡如A100训练130B参数量的模型大约需要232年。分布式预训练技术，就是在这样的背景下应运而生，它允许模型在多个计算节点上并行训练，大幅度缩短了训练时间，本文总...

1.概念自2018年GPT2的问世以来，大语言模型（LLM）如GPT系列逐渐发展壮大，尤其是GPT3及其后续版本的推出，性能方面显著提升。这些模型的强大能力催生了众多应用，如客户服务的聊天机器人、多语言翻译服务和辅助写作编程的工具等。面对LLM在实际应用中的独特挑战，业界发展出了新的工具和最佳实践，以更有效地管理这些模型的整个应用生命周期，这一进程的集合即为“LLMOps”。LLMOps（LargeLanguageModelOperations）定义为大语...

2023年4月，距离chatGPT的正式发布已经过去了四个多月，距离NewBing的发布过去了两个月，而GPT4同样也已经发布了一个月，各式各样围绕chatGPT或者说LLM模型的生态、社区、工作不断涌现，对GithubTrending榜单一直关注的人可能早就注意到，围绕chatGPT的各种包装库以及各种开源模型工作持续地在霸占榜单，这属实罕见。在接下来的篇幅中，我们将以一个程序员的视角探讨当下生成式AI类工具对技术人员工作流的改变，以及作为算法工...

RPA，即RoboticProcessAutomation（机器人流程自动化），是以机器人作为虚拟劳动力，依据预先设定的程序与现有用户系统进行交互并完成预期的任务。通俗地讲，RPA机器人就是借助一些能够自动执行的脚本，以软件自动化方式实现一系列原来需要人工完成的工作。但凡具备一定脚本生成、编辑、执行能力的工具在此处都可以称之为机器人。一、RPA的兴起图1RPA机器人的工作优势RPA机器人的兴起，与数字经济的蓬勃发展有着密切的联系。随...

1.概念一般来说，参数量越大的模型效果会更好，但相对应的模型运行时产生的费用和微调训练所需要的数据量都会更多。大语言模型llama27b推理过程如下：数据准备：下载llama27bhf模型，可以使用HuggingFaceTransformers或PyTorch等库加载模型；准备要输入到模型中的数据，以及tokenizer对文本进行编码，以及将编码后的文本转换为模型所需的张量格式。模型转换：在训练完成后，将训练时保存好的微调模型文件（CheckpointModel）转...

1.概念OpenDevin整个系统分为前端和后端两个主要部分。前端负责处理用户交互和显示结果，而后端负责处理业务逻辑和执行AIAgent。在计算机科学和人工智能领域，"智能体"（Agent）一词通常用来指代那些在特定环境中展示出自治性、反应性、社交性、主动性、推理性以及认知性等智能特性的软件或硬件实体。AI智能体是一个具备复杂推理、记忆和任务执行能力的高级系统。2.OpenDevin核心组件AgentHubOpenDevin是一个集成了多种智能体（...

1.概念OpenDevin整个系统分为前端和后端两个主要部分。前端负责处理用户交互和显示结果，而后端负责处理业务逻辑和执行AIAgent。在计算机科学和人工智能领域，"智能体"（Agent）一词通常用来指代那些在特定环境中展示出自治性、反应性、社交性、主动性、推理性以及认知性等智能特性的软件或硬件实体。AI智能体是一个具备复杂推理、记忆和任务执行能力的高级系统。2.OpenDevin核心组件AgentHubOpenDevin是一个集成了多种智能体（...

​NLG技术在文本摘要、对话系统、问答以及机器翻译等多个领域扮演着至关重要的角色。伴随着深度学习技术的飞速发展，尤其是以Transformer为基础的模型如BERT、BART、GPT2和GPT3的问世，NLG领域迎来了前所未有的繁荣。然而，在NLG模型训练与解码过程中，我们不得不面对一个挑战——幻觉现象。这种现象指的是模型生成的文本可能缺乏趣味性、连贯性，甚至出现重复且毫无意义的输出，有时这些输出还会与原始输入相矛盾。这些“幻觉...