当前位置：首页 > news >正文

网站推广宣传/如何推广新产品的方法

news 文章来源：https://blog.csdn.net/c_cpp_csharp/article/details/132407287 2025/3/19 0:10:48

网站推广宣传,如何推广新产品的方法,网站备案做网站时就需要吗,在线制作动画网站本文是LLM系列文章，针对《Adapting Language Models to Compress Contexts》的翻译。使语言模型适应上下文压缩摘要1 引言2 相关工作3 方法4 实验5 上下文学习6 压缩检索语料库实现高效推理7 结论不足摘要 1 引言 2 相关工作 3 方法 4 实验 5 上下文学习 …

本文是LLM系列文章，针对《Adapting Language Models to Compress Contexts》的翻译。

使语言模型适应上下文压缩

摘要
1 引言
2 相关工作
3 方法
4 实验
5 上下文学习
6 压缩检索语料库实现高效推理
7 结论
不足

摘要

1 引言

2 相关工作

3 方法

4 实验

5 上下文学习

6 压缩检索语料库实现高效推理

7 结论

我们引入了一种训练策略，用于将预训练的LMs调整为自动压缩器，自动压缩器将上下文递归压缩为摘要向量。我们的实验表明，摘要向量保留了重要的上下文信息，用于改进语言建模、上下文演示中的编码以及评估文章与用户查询的相关性。这表明，我们的无监督训练策略可以带来多用途的应用。摘要矢量可以预先计算、缓存和重复使用。这承诺通过减小注意力窗口的大小来提高实际的效率。未来还有大量工作要做，将自动压缩器扩展到更大的模型，并提高摘要向量的质量，以进一步缩小差距，同时充分关注长期上下文。

不足

我们只将AutoCompressors应用于参数高达2.7B的OPT型号。未来的工作需要确定自动压缩器在大型模型中的表现，但随着摘要向量维度的增长，每个向量可以保留更多信息。我们还质疑，其他具有不同体系结构特征的预训练模型族，如未绑定的输入输出嵌入，是否更难适应自动压缩器。
我们的研究结果表明，摘要向量忽略了一些通过充分关注可以获得的有用信息。此外，模型并不总是从增加汇总向量的数量中受益。我们怀疑，用于有效学习摘要向量的训练信号可能会受到预训练模型的限制，该模型非常善于根据当前片段中的纯文本标记进行预测。未来的工作需要改进这种优化。
摘要积累仍然会随着分段数量的增加而导致二次复杂度，尽管其速率远低于完全注意力。未来的工作可能会探索更有效地组合许多摘要向量的方法。