当前位置：首页 > news >正文

【自然语言处理】实验3，文本情感分析

news 文章来源：https://blog.csdn.net/chen695969/article/details/136129117 2024/9/20 18:32:56

清华大学驭风计划课程链接

学堂在线 - 精品在线课程学习平台 (xuetangx.com)

代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主

有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~

案例简介

情感分析旨在挖掘文本中的主观信息，它是自然语言处理中的经典任务。在本次任务中，我们将在影评文本数据集（Rotten Tomato）上进行情感分析，通过实现课堂讲授的模型方法，深刻体会自然语言处理技术在生活中的应用。同学们需要实现自己的情感分析器，包括特征提取器（可以选择词袋模型、词向量模型和预训练模型）、简单的线性分类器以及梯度下降函数。随后在数据集上进行训练和验证。我们提供了代码框架，同学们只需补全 model.py 中的两个函数。

数据说明

我们使用来自Rotten Tomato的影评文本数据。其中训练集 data_rt.train 和测试集 data_rt.test 均包含了3554条影评，每条影评包含了文本和情感标签。示例如下：

其中， +1 表示这条影评蕴涵了正面感情，后面是影评的具体内容。

文本特征提取

TODO：补全 featureExtractor 函数在这个步骤中，同学们需要读取给定的训练和测试数据集，并提取出文本中的特征，输出特征向量。同学们需要实现词袋模型、词向量模型和预训练模型（选做）来生成句子表示，并对比不同方法的表现有何差异。

Bag of Words得到句子的0-1向量（选做：用TFIDF计算句子向量）

Word2Vec词向量求和/取平均（选做：实现Doc2Vec[1]）

使用BERT得到[CLS]向量/词的隐状态取平均（选做）

训练分类器

TODO：补全 learnPredictor 函数我们提供的训练数据集中，每句话的标签在文本之前，其中 +1 表示这句话蕴涵了正面感情， -1 表示这句话蕴涵了负面感情。因此情感分析问题就成为一个分类问题。

同学们需要实现一个简单的线性分类器，并推导出相应的梯度下降函数。

实验与结果分析

在训练集上完成训练后，同学们需要在测试集上测试分类器性能。本小节要求同学们画出训练集上的损失函数下降曲线和测试集的最终结果（损失函数、准确率），并对结果进行分析。

评分要求

同学们需要提交源代码和实验报告。实验报告中应包含以下内容：对hinge loss反向传播的理论推导，请写出参数的更新公式。对实验结果的分析，请描述采用的模型结构、模型在训练集上的损失函数下降曲线和测试集的最终结果，并对结果进行分析。分析可以从模型的泛化能力、参数对模型性能的影响以及不同特征的影响等方面进行。

[1] Distributed Representations of Sentences and Documents. https://arxiv.org/pdf/1405.4053.pdf

实验结果

1，反向传播推导

2，文本特征提取

2.1 使用 BOW 作为特征

从 loss 图来看训练的 loss 下降比测试的 loss 快很多，但是相同点就是都在下降，虽然中间测试的 loss 随着周期增大突然有个小的升高，但是最终仍然总体趋势是下降的。然后再从训练准确率来看 train 的训练最终几乎饱满了，测试的正确率也是最终达到最高，所以开始我前面对于最佳学习率和迭代次数的精准把控做的很好，才能得出最优结果，最终测试错误值来到了 0.263 。

2.2 使用 N-gram 作为特征

从图中可以看出 loss 曲线不管是训练还是训练的 loss 都在下降，跟前面的情况类似，也是训练的 loss 下降很快，而测试的 loss 下降较为平缓。从准确率图来看训练的也几乎饱满，测试也是随着周期变大达到最高，最终 test 的错误值为 0.238，达到新低。可以看出我们调参的方法非常有效，通过对多个学习率的运行，找出了对于每个级别的最佳超参数，并且精准把控训练轮数达到最优结果。

2.3 使用 BERT 得到[CLS]向量作为特征

首先从 loss 图可以看出训练和测试的 loss 的曲线非常接近，没有出现前两个特征提取方法中差别较大的情况，总体趋势也是训练的 loss 下降更快，测试的 loss 紧跟其后。从准确率图来看，训练和测试的准确率曲线几乎是同趋势变化，特别已经很平稳，说明训练基本已经充分了。最终测试的错误率来到了新底，达到了约为 0.197 这个相比于前 面两种方法更好的结果。

3，总结三种方法对比差异：

这三种方法使用了不同的特征提取方式,导致最终结果的差异。让我详细解释一下可能的区别和影响。

词袋特征提取（第一个方法） ：

这个方法简单地对文本进行词级别的计数，每个单词作为一个特征，记录其出现的次数。缺点：忽略了单词之间的顺序和上下文信息。如果两个句子有相似的单词分布，但是顺序不同，这种方法就不能捕捉到它们的相似性。

N-Gram 特征提取（第二个方法） ：

这个方法根据指定的 N 值（可以是单词级别或字符级别）提取 N-Gram 特征，可以是词级别的 N-Gram 或字符级别的 N-Gram 还可以是混合级别的 N-Gram。

优点：能够更全面地考虑到文本中的不同信息，从而提高了对文本特征的表示能力。词级别的 N-Gram 能够捕捉单词之间的关系，而字符级别的 N-Gram 则能够捕捉到更细小的特征和局部模式，这样结合起来可以在一定程度上弥补彼此的不足，提高特征提取的效果。因此，混合级别的 N-Gram 特征提取方法可能比单一级别的 N-Gram 提取更有效，能够更全面地表示文本特征

缺点：对于大量的文本数据，特征空间可能会变得非常大，导致稀疏性增加，同时可能引入一些噪音特征。

BERT 特征提取（第三个方法） ：

使用预训练的 BERT 模型提取文本的特征向量，提取 [CLS] token 对应的隐藏状态作为整个句子的表示。

优点：BERT 模型在训练中学习到了大量语言表示，能够捕捉更高级别、更全局的语义和句子系。

缺点：计算成本较高，即使是对于轻量化版本的 BERT 模型，也需要更多的计算资源，比如在我的实验里运行 20 轮即使使用 GPU 也需要 40 分钟才能跑完，相对于其他两种方法非常耗时。

当综合考虑时 ，BERT 特征提取方法表现更出色，因为它能够捕捉更加丰富和高级别的语义信息。相比之下，传统的词袋模型和 N-Gram 方法有时可能忽视句子的语义和上下文信息，在表现上稍显不足。然而，混合级别的 N-Gram 方法则能够在一定程度上弥补这些传统方法的缺陷。结合了词级别和字符级别的信息，这种方法更全面地考虑了文本的局部模式和全局特征，使得其能够更有效地提取特征。至于为什么 BERT 特征提取方法更为优越，我认为原因在于 BERT 模型经过大规模训练，具备了对语言表示更全面的学习能力。它能够理解和捕捉到文本中更深层次、更复杂的语义关系，因此在处理这次情感分析实验时具有更好的表现。