关于大模型我又犯了一个想当然的错误,如雾里看花,终隔一层 原创
“ 做到知行合一,在知中行,在行中知,才不会雾里看花”
看过我文章的人应该都知道,最近一直在研究大模型的应用领域,也就是怎么应用大模型的强大功能,而且还开发了一个简单的微信聊天机器人小程序;但是总有一种雾里看花的感觉,老是想不明白。
这几天在散步的时候满脑子想的都是聊天机器人,内容生成;然后就在想,内容生成难道只能用来聊天吗?
然后回来就问了大模型,聊天机器人和内容生成的关系,然后得到了不一样的结果,才发现在之前太想当然了,大模型远远没有想的那么简单。
微信聊天机器人小程序:
01、对大模型的认知偏差
首先,思考一个问题聊天机器人和内容生成有什么关系?它们是一个东西吗?有什么区别?
关于智能机器人已经不是一个新的名词,在智能手机出现时就有了智能机器人,只不过那时的机器人智商还很低,比如苹果的siri,小爱同学,天猫精灵等。
而随着人工智能技术的发展,也就是大模型的出现,新的更加智能的机器人开始出现。但从技术角度来说,智能机器人也有多种不同的情况。
比如,基于生成式大模型的内容生成聊天机器人;而如果使用RAG(检索增强)或其它检索技术,那就是检索类型的聊天机器人;其它的还有基于规则驱动的聊天机器人。
既然提到内容生成,那么什么是内容生成?
内容生成是指通过人工智能和自然语言处理技术,自动生成文本,图像,音频,视频等多种形式的内容。
从字面意思来理解,生成自然是生成之前没有的东西,如果已经有了,那就不叫生成了,那叫搜索;从无到有的过程,才能叫做生成。
那大模型知识库属于内容生成吗?
说到这个,我们就应该先理解是什么大模型知识库。大模型知识库旨在融合大模型技术,对海量的企业内部数据,专业知识等进行高效组织,智能索引和深度学习,使之成为可以被模型理解和利用的结构化知识或资源。
大模型知识库不仅能实现企业内部知识的快速检索与匹配,还能利用大模型的语言理解和生成能力。
因此,可以说大模型知识库是使用了大模型的内容生成能力,但不完全属于内容生成。
再想一个问题,大模型在内容生成领域,可以生成文本,图片,音频和视频;那么,图片抠图和去除水印属于图像生成吗?音频降噪,视频的清晰度优化属于内容生成吗?
那么使用mind journey根据语言描述生成一个图片呢?
因此,从这里可以看出,内容生成只是大模型的一个功能点,它还有很多别的功能。
02、自然语言处理三兄弟,NLP,NLG,NLU
在前面说,内容生成是大模型技术与自然语言处理(NLP)的结合,那么什么是自然语言处理,它和NLU(自然语言理解),NLG(自然语言生成)又有什么关系?
自然语言处理应该算是一个通称,它的目的就是让机器用人类的语言和人类进行交流,而不再需要使用编程语言。
因此,要想让机器和人类使用人类的语言交流,那么就需要让机器理解人类语言,然后它才能用人类的语言“说出”它想说的话。
因此,这就有了自然语言理解——NLU和自然语言生成——NLG的出现。
那NLP是怎么实现的呢?
数据科学家和大模型专家,通过把非结构化的自然语言(包括文本,语音和视频)转化为结构化计算机能够识别的文本或语言;然后经过大模型的语义分析,生成对应的模型结构表。
之后,大模型再根据问题的语义,从模型表中解析出具有自然语言语义的并且有关联的正确回答。
human: 你吃饭了吗?
llm: 林黛玉杯酒斩唐僧。
human: 你吃饭了吗?
llm: 今天下雨了。
human: 你吃饭了吗?
llm: 吃过了,吃的饺子。
以上三句人类与大模型的对话中,第一句大模型的回答即答非所问,而且回答的是错误的。第二句,大模型回答的虽然是答非所问,但是它这句话是正确的;第三句,大模型回答的既有关联,而且是正确的。
因此,NLP中,大模型首先要理解语义和语境,也就是NLU;然后还能正确地回答问题,也就是NLG。
从这里也可以看出,大模型知识库并不是简单的检索知识库,还要利用大模型的语义理解和生成能力来更灵活,且准确的回答。
总结
伟大的领袖说过,没有调查就没有发言权,要想了解一件事,首先就要去靠近它,理解它,否则只能雾里看花,不知所以。
知行合一,在知中行,在行中知。
本文转载自公众号AI探索时代 作者:DFires
原文链接:https://mp.weixin.qq.com/s/LxhE8yJ1M3cZhI4FzQzOQg