学习80min快速了解大型语言模型（ChatGPT使用）笔记

学习李宏毅：80min快速了解大型语言模型（ChatGPT使用）笔记

链接：https://www.youtube.com/watch?v=wG8-IUtqu-s

1、创建一个属于自己的GPT

目前，GPT4具备一个功能，Create a GPT。利用这个功能可以创建一个“属于自己的GPT”。

例如：你有一门课的所有课件，使用这个功能，你可以将所有的PDF课件，传到GPT上，这样你就创建了一个属于这门课程的专用GPT4。

2、ChatGPT真正做的事——文字接龙

G: Generative

P: Pre-trained

T: Transformer

Chatgpt主要在做文字接龙，根据问题去接下一个字，然后再根据问题+生成的第一个字再去预测下一个字，一次类推，每次预测一个token，token是由程序员之前设定的，预测下一个字的时候会面临一个选择，也就是不同概率的一些字让chatgpt选择，有的概率大，有的概率小，但是是随机选择的（如果每次概率最大，可能会一直重复），所以chatgpt每次回答的答案都是不一样的。

这也是为什么ChatGPT经常会输出错误信息的原因。

ChatGPT进化

GPT版本	模型参数量	训练数据
GPT-1	117M	1GB
GPT-2	1542M	40GB
GPT-3	175B	580GB
GPT-4	?	?

GPT3已经可以编程了

GPT3已经学习了很多数据，按理来说知识储备量已经够了，但是它只是空有一腔知识，而不知道怎么回答。它不知道怎么回答人类的问题，不知道自己的任务是需要回答问题。

它需要：

首先：预训练，在大量数据上进行预训练。

督导式学习：也就是说给它一些问答的数据让它学，让它明白自己的任务以及如何回答问题。

eg：台湾最高的山是那一座？玉山

增强式学习：人类不用去提供答案了，而是评价模型的输出的好坏。模型会对人类选择好的那条回答增加概率，反之降低概率。

3、高效使用GPT

1、把需求写清楚

2、提供咨询给ChatGPT，也就是把你所知道的资料都告诉他。因为它只是在做文字接龙

3、提供范例，也就是可以给Chatgpt提供一个例子

4、鼓励ChatGPT想一想。、

咒语：

• 请详细列出计算过程
• Let’s work this out in a step by step way to be sure we have the right answer.
• Let’s think step by step

5、可以上传文档

6、可以使用其他工具，比如 ML Paper Reader，就可以让chat帮你查找一些相关文献。使用插件之后，生成的内容正确率都还蛮高的。

7、拆解任务，将大任务拆解，你可以自己拆解，或者也可以让chatgpt拆解。

8、chatgpt其实会反省。你问它，请检查上述回答，它会自己反省（仅限GPT-4）