AI.x社区

什么是TFIDFTFIDF(termfrequency–inversedocumentfrequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。TFIDF有两层意思，一层是"词频"（TermFrequency，缩写为TF），另一层是"逆文档频率"（InverseDocumentFrequency，缩写为IDF）。假设我们现在有一片长文叫做《量化系统架构设计》词频高在文章中往往是停用词，“的”，“是”，“了”等...

Dropout现在这个操作在目前这个深度学习时代中是非常常见的一个操作。对于Dropout的好处我们也听过很多，降低过拟合，提高模型的鲁棒性，控制模型复杂度等blabla。。但我比较好奇的是，Dropout是怎么实现以上好处，经过一番了解，简单描述下。Dropout实际上我们可以先理解成给予Network结构中的一种噪音，但是我们这个噪音不是随便给，是有一定数学理论支撑，我们是选择无偏差地往网络结构中加入噪音。通常来说，训练的时候才需...

总结在项目中，如果你没有任何参考，那么选择2次方（即64、128、256、512、1024等）可以会更加直接和易于管理，然后对上限来说，batchsize大小最好<数据集样本数0.1。梯度下降算法在更新模型参数时，我们一般会用到梯度下降算法。这个时候，我们就会有一个问题，每次拿多少训练样本进行更新参数呢？这个时候有两个极端情况，资源够，那我们把所有数据都丢进去，我们称之为批量梯度下降法（BatchGradientDescent，BGD）。另外一...

概览该论文提出了一种名为CLIP（ContrastiveLanguageImagePreTraining）的多模态预训练模型，用于学习图像和文本之间的语义关系。该模型使用自然语言作为监督信号，通过对比预测正确的图像文本配对和错误的配对来学习特征表示。具体来说，CLIP首先将输入的图像和文本分别编码为高维向量，并在两个空间中计算它们之间的相似度。然后，CLIP使用一个对比损失函数来优化这些向量的表示，以最大化正确配对的相似度并最小化错误配对的...

不知道大家有没有想过这个问题？我这两天对这个问题还深入思考了一下，思考的初衷是来源于现在这么多的开源大模型，而且挺多是多模态场景，而Embedding模型相对单模且英文语料居多，如果能复用大模型的outputlayer，是不是会加速手头上的实验进展。但思考后觉得效果应该是比不上原生的Embedding模型，有空再专门测试一下看看。可能主要有以下几点原因：像LLM模型都是预测nexttoken，那么针对nexttoken的预测，模型肯定更加关注...

大家或多或少都已经默认了，batchsize一般都是2，8，36，64，128...因为基本上所有论文都是这么设置默认超参数，大家久而久之就习惯了，至少这样设置总不会错吧。其实我也有这么一个迷思，如果不设置为2的n次方会怎么样？效果变差？效率变低？还是...基本理论一般而言，选择batchsize为2的幂背后的主要思想来自于：内存对齐和浮点效率。内存对齐将batchsize选择为2的幂的主要论点之一是CPU和GPU内存架构是以2的幂组织的。有一个...

主要是发现网上没有比较新的OpenAIAPI参数详情参考，自己到官网上看了最新内容，机翻后简单修正了下，作为备忘搜索用。主要参数messages（object）：包含到目前为止的对话的消息列表。根据您使用的模型，支持不同的消息类型（模态），如文本、图像和音频。model（string）：要使用的模型的ID。store（bool）：是否存储此聊天完成请求的输出。frequencypenalty（float）：介于2.0和2.0之间。正值会根据在文本中的现有频率对新tok...

2018年是自然语言处理领域的转折点，一系列深度学习模型在从问答到情感分类的NLP任务上取得了最先进的成果。谷歌的BERT算法已经成为一种“一个模型来统治其他所有NLP模型”，基于其在各种各样的任务上的优异性能。这篇文章通过可视化输出，尝试使用BertViz进行交互式演示。​​https:github.comjessevigbertviz​​BERT建立在两个关键思想的基础上，这两个思想是NLP最近取得的许多进展的原因：Transformer架构；无监督预训练。T...

近年来，机器学习的普及率急剧上升。机器学习从数据中创造价值的潜力使其对许多不同行业的企业都具有吸引力。大多数机器学习产品都是使用现成的机器学习算法设计和实现的，并进行了一些调整和微小的改动。机器学习算法种类繁多，可分为三大类：监督学习算法在给定一组观察值的情况下对特征（自变量）和标签（目标）之间的关系进行建模。然后该模型用于使用这些特征预测新观察的标签。根据目标变量的特性，它可以是分类（离散目...

1.什么是BERT？在不断发展的自然语言处理（NLP）领域，一项名为BERT的突破性创新已经出现，改变了游戏规则。BERT代表BidirectionalEncoderRepresentationsfromTransformers，不仅仅是机器学习术语海洋中的另一个首字母缩略词。它代表了机器理解语言方式的转变，使它们能够理解使人类交流丰富而有意义的错综复杂的细微差别和上下文依赖关系。2.为什么BERT很重要？想象一句话：“她拉小提琴的时候很漂亮。传统的语言模型会从左到...