NLP 相关知识

NLP

NLP（Natuarl Language Processing）是人工智能的一个分支，中文名自然语言处理，专注于处理和理解人类使用的自然语言。它涵盖了多个子领域，如文本分类、情感分析、机器翻译、问答系统、语音识别、语义解析等

NLP 的常见技术范式如下：

全监督学习（非神经网络）：仅在目标任务的输入输出样本数据集上训练特定任务模型

全监督学习（神经网络）：使用特征学习与模型训练相结合，通过网络架构学习数据特征

全监督学习（Fully Supervised Learning）是机器学习中的一种基本学习范式，其中每个训练样本都带有完整的标签信息。在全监督学习中，算法的目标是从给定的输入数据（特征）和对应的正确输出（标签）中学习一个函数或模型，使得该模型能够在新的未知数据上准确预测标签

第三种技术范式诗预训练（Pretraining），预训练是机器学习，特别是深度学习中的一种重要技术，特别是在自然语言处理（NLP）领域。预训练是指在大规模未标注数据集上先进行学习，然后将学到的知识转移到特定任务的微调阶段。这个过程通常分为两个阶段：

1. 预训练阶段： 在这个阶段，模型（如 Transformer 架构的 BERT、GPT 或 T5 等）会在一个非常大的文本数据集上进行训练，这个数据集通常是互联网抓取的网页、书籍、新闻等。模型的目标是学习语言的一般规律和模式，而不是针对特定任务。这个过程通常使用无监督学习任务，如自动生成下一个单词（自回归预训练）或填充被遮蔽的单词（掩码语言模型预训练）。大模型的本质，是基于大样本训练出的预测模型。模型基于给它输入的语料，根据概率预测可能的回答。模型的预测结果受语料限制
2. 微调阶段： 预训练完成后，模型已经具备了一定的语言理解能力。在微调阶段，模型会针对特定的下游任务（如文本分类、问答系统、机器翻译等）进行进一步的训练，这个阶段叫 Fine-tuning。这时，我们会用到带有标签的小型数据集，调整模型的参数以优化特定任务的性能。具体来说，是通过人类的反馈来约束模型，从而让模型回答出人类满意的答案。当预测模型执行某个任务时，人类可以提供正面或负面的反馈（手动去选择对错），以指导模型的行为

预训练的好处在于，它允许模型在大量数据上学习通用的语言表示，这些表示可以捕捉到语言的丰富结构和语义信息。这样，在微调时，模型只需要少量的标记数据就能达到较好的性能，尤其对于那些标记数据稀缺的任务来说，预训练极大地提高了效率和效果

LLM

LLM 是近年来随着深度学习发展而出现的一种特定类型的 NLP 模型。这些模型非常大，拥有数亿甚至数千亿个参数

LLM通过训练大规模的文本数据集（如互联网上的网页、书籍、文章等）来学习语言模式和结构。著名的 LLM 包括 Google 的 BERT、Facebook 的 RoBERTa、OpenAI 的 GPT 系列以及阿里云的 Qwen 等

这些模型能够执行多种 NLP 任务，如回答问题、生成文本、翻译等，并且由于其规模和复杂性，它们在许多任务上表现出优秀的性能

Prompt Chaining

链允许我们将多个组件组合在一起以创建一个单一的、连贯的任务。例如，我们可以创建一个链，它接受用户输入，使用 PromptTemplate 对其进行格式化，然后将格式化的响应传递给 LLM。另外我们也可以通过将多个链组合在一起，或者将链与其他组件组合来构建更复杂的链

熟悉 openai 的都知道,openai 提供的聊天接口 api，本身是不具备“记忆的”能力。如果想要使聊天具有记忆功能，则需要我们自行维护聊天记录，即每次把聊天记录发给 gpt 发送的内容也越来越多，那很可能就碰到 token 的限制。聪明的同学会发现，其实我们只保留最近几次的聊天记录就可以了，这确实是一种解法，但是不够完美

Prompt Chaining 确实涉及到使用对话历史来指导模型生成连贯的响应，但它不仅仅是简单地将用户和模型之间的完整对话历史拼接在一起并一次性发送给模型。在实际应用中，Prompt Chaining 通常更加复杂和精细

LangChain

LangChain 作为一个大语言模型开发框架，是 LLM 应用架构的重要一环。那什么是 LLM 应用架构呢？其实就是指基于语言模型的应用程序设计和开发的架构

LangChian 可以将 LLM 模型、向量数据库、交互层 Prompt、外部知识、外部工具整合到一起，进而可以自由构建 LLM 应用

LangChain 为使用聊天模型提供了一个标准接口。聊天模型是语言模型的一种变体。虽然聊天模型在内部使用语言模型，但它们所提供的接口略有不同。它们不是暴露一个 “输入文本，输出文本” 的 API，而是提供了一个以 “聊天消息” 作为输入和输出的接口

聊天模型的接口是基于消息而不是原始文本。LangChain 目前支持的消息类型有 AIMessage、HumanMessage、SystemMessage 和 ChatMessage，其中 ChatMessage 接受一个任意的角色参数。大多数情况下，您只需要处理 HumanMessage、AIMessage 和 SystemMessage

但是如果只是这样的话，那为什么不直接调用大模型接口呢。所以 LangChain 还提供了很多其他功能，比如缓存 LLM 返回结果。上面介绍了聊天的角色处理以及如何进行批量处理消息。我们都知道向 openAI 调用接口都是要花钱的，如果用户问同一个问题，对结果进行了缓存，这样就可以减少接口的调用并且也能加快接口返回的速度

那么怎么判断用户下次问了相似的问题呢，这就需要使用到向量库了，比如 ES。这个更多的是用于文档、文本或者大量数据的总结、问答场景，一般是和向量库一起使用，实现向量匹配。其实就是把文本等内容转成多维数组，可以后续进行相似性的计算和检索

他相比 fine-tuning 最大的优势就是，不用进行训练，并且可以实时添加新的内容，而不用加一次新的内容就训练一次，并且各方面成本要比 fine-tuning 低很多

向量库：将一段文本、图像、音频拆分成多个纬度的数据，根据用户传入，锚定坐标然后选择最近的点做返回，这大概就是向量数据库在 LLM 工程（langchain）中的使用，简单来说就是做缓存