比尔盖茨：ChatGPT是1980年以来最具革命性的科技进步。
身处这个AI变革的时代，唯有躬身入局，脚步跟上。
这是一篇我的学习笔记，希望对你了解ChatGPT有帮助。
1、ChatGPT里的GPT，分别代表什么？
GPT，Generative Pre-trained Transformer，生成式预训练变换模型。
什么意思？
Generative，生成式，是指它能自发的生成内容。
Pre-trained，预训练，是不需要你拿到它再训练，它直接给你做好了一个通用的语言模型。
Transformer，变换模型，谷歌提出来的一个很厉害的模型，他可以帮助更好的去处理NLP相关的问题，是非常棒的神经网络结构。
2、Transformer虽是由谷歌提出的。但是应用最成功的是OpenAI的ChatGPT。
因为ChatGPT是站在巨人的肩上走出来的。
ChatGPT是全人类社会的结晶，没有前人的铺垫，ChatGPT不会这么顺利走出来。
后面也会有更多的非常厉害的应用，会基于ChatGPT走出来。
3、Transformer中有一个很重要的概念，注意力机制。
什么是注意力机制呢？
就是从你输入的信息中，挑出重要的信息，把注意力集中在这些重要的信息上，忽略不重要的信息。这样就能更好的理解你说的话。
注意力机制能帮助Transformer模型集中注意力在输入信息中最重要的部分。
4、机器学习方式，分为监督学习、无监督学习、强化学习。
监督学习：有标签数据，可以直接反馈，可以预测结果和未来
无监督学习：没有标签和目标，没有反馈，而是它自己去寻找数据中的隐藏结果
强化学习：是一个决策过程，有一系列的奖励机制和惩罚机制，让机器学习如何做到更好
ChatGPT用到的是无监督学习和强化学习。
5、ChatGPT能进行大量的内容生成和创造，其实是靠的猜概率。
比如，天气灰蒙蒙的，我的心情很___
经过大量数据训练过的AI，会预测这个空格出现的最高概率的词是「沮丧」。
那么「沮丧」就会被填到这个空格中，所以产生了答案：
天气灰蒙蒙的，我的心情很沮丧
这感觉很不可思议，但事实就是这样。
现阶段所有的NLP(自然语言处理)任务，都不是机器真正理解人类的世界。
他只是在玩文字游戏，进行一次又一次的概率解谜。
6、在这个”猜概率“的文字游戏中，大预言模型（LLM，Large Language Model）演进出了最主流的两个方向：BERT和GPT。
BERT是之前最流行的方向，几乎统治了所有NLP领域。
并在自然语言理解类任务中发挥出色(例如文本分类，情感倾向判断等）。
而GPT方向则较为薄弱，最知名的玩家就是OpenAl了。
事实上在GPT3.0发布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。
7、BERT和GPT区别是？
BERT，是双向语言模型，联系前后猜中间的字，所以是双向，就像完型填空。
比如：我___20号回家
BERT猜的是「我打算20号回家」，猜的是中间的「打算」。
GPT，是单向语言模型，猜下一个字，所以是单向，像写作文。
比如：我打算20号___
GPT猜的是「我打算20号回家」，猜的是后面「回家」两个字。
8、怎么给GPT提问？
有两种方式：fine-tune和prompt。
fine-tune，调参：需要对模型参数进行更新，来完成生成内容。
fine-tune 专业，门槛高，受众小。但是多样性、准确度高，适合复杂任务。少数玩家的游戏。
prompt，提示词：不需要修改模型和参数，只需要给一些提示和样例，就能完成任务。
prompt更简单，门槛低，受众大。适合处理简单的任务。所有玩家都。
我们在ChatGPT输入框中输入的内容，就是prompt。
9、ChatGPT是生成式AI。
AI从内容产出方式上，分为两种：分析式AI和生成式AI。
分析式AI，主要用于分析，归类。你喂给它多少数据，它就能分析出什么样的内容，它局限于数据本身。
生成式AI， 在学习归纳数据分布的基础上，创造数据中不存在的新内容。可以生成文本、图片、代码、语音合成、视频和3D模型。
ChatGPT是生成式AI，最擅长文本和写代码。
10、最后，从知识获取的角度说，ChatGPT是全新一代的 “知识表示和调用方式”。
早期，知识以结构化的方式存储在数据库中。我们通过 SQL获取。
后来，随着互联网的诞生，更多文本、图片、视频等非结构化知识存储在互联网中。我们通过搜索引擎获取。
现在，知识以参数的形式存储在大模型中。我们用自然语言直接调用这些知识。
