大模型微调--文章3

 原文地址

链接：https://zhuanlan.zhihu.com/p/635848732

思考题

问题1：p-tuning为了解决什么问题？（解决）

答案：该方法的提出主要是为了解决这样一个问题：大模型的Prompt构造方式严重影响下游任务的效果。比如：GPT-3采用人工构造的模版来做上下文学习（in context learning），但人工设计的模版的变化特别敏感，加一个词或者少一个词，或者变动位置都会造成比较大的变化。

问题2：什么是NLU任务？（解决）

答案：自然语言理解，是自然语言处理（NLP）中的一个重要子领域，涉及理解和处理人类语言的语义和语法，以便机器能够从文本中提取有意义的信息。NLU任务通常涉及对文本的深层次理解，包括解析句子结构、理解上下文、推理隐含意义。

问题3：什么是P-tuning？与prefix tuning有什么区别？（解决）

答案：prefix tuning是在每一层中插入可学习的前缀嵌入序列，而不是直接影响输入，在transformer每一层都添加前缀；

p-tuning是直接在输入层中插入可学习的提示词（软提示），优化这些提示词以提高任务性能，仅在输入层进行更改，在其他层没有操作。

问题4：P-tuning v2的原理是怎么样的？（解决）

答案：P-tuning v2不仅仅在输入层添加软提示，还可以在模型的多个中间层或特定层添加这些提示。这种多层次的提示优化使得模型能够更好地捕捉复杂的语义信息。

问题5：prompt-tunin、prefix tuning、p-tuning和p-tuning2有什么区别和联系？（解决）

答案：p-tuning可以看作是prompt-tunin的发展；p-tuning2可以看作是prefix tuning的发展

问题6：文章主要讲了什么内容？文章结构是什么样的？（解决）

答案：文章主要讲了p-tuning和p-tuning是什么，以及原理是什么，和前一篇的对比。结构上也是这样的。

动手题

1：动手实践prompt-tuning、prefix tuning、p-tuning和p-tuning v2(未解决)