NLP+LLM从入门到精通系列

NLP+LLM从入门到精通系列

前言：笔者从事于NLP+LLM的对话智能机器人的相关行业，现在的大模型的技术日新月异，传统的NLP业务显然是要被淘汰的，那么这也是我着笔写这一系列文章的初衷。本系列将由浅到深，结合实际代码案例，帮助想要入门的小伙伴们更快掌握，以下是本系列的文章结构与预告，希望小伙伴们可以留下一个点赞和关注，你们的关注便是我更新的动力.（本系列相关知识/提子获取/openai账户/我的私有训练语料库以及数据集等等 可关注）

如果本系列反响还不错的话，我会额外出一系列关于从0到1搭建一个企业级的NLP+LLM智能对话机器人（更加关注LLMOps应用平台开发，就不会像本系列过多讲解基础知识点），敬请期待

1.NLP是什么

1-1 语言的产生：语音、词汇、语法

点这里

1-2 什么是NLP

点这里

1-3 NLP为什么这么难做

点这里

1-4 NLP发展历史以及我的工作感悟

点这里

2.数学基础讲解

2-1 概率论基础讲解

点这里

2-2 贝叶斯与信息理论

点这里

2-3 基于概率统计的模型采样知识

点这里

2-4 机器学习是什么（上）

点这里

2-5 机器学习是什么（下）

点这里

2-6 降维方法介绍

点这里

2-7 从已知结果中学习未知问题-回归与分类

点这里

2-8 聚类算法介绍

点这里

2-9 模型评估指标

点这里

2-10 文本分析流程1

点这里

2-11 文本分析流程2

点这里

2-12 中文处理的难题-分词

2-13 词语的处理：独热编码和词嵌入表示

3.神经网络与深度学习

3-1 激活函数和神经网络思想

3-2 梯度与反向传播

3-3 超参数

3-4 优化器和学习率

3-5 提高模型效果：归一化

3-6 构建线性模型解决温度计示数转换问题

3-7 使用深度学习解决温度即示数问题（上）

3-8 使用深度学习解决温度即示数问题（下）

4.文本处理

4-1 文本预处理：分词、停用词、特殊字符消失术

4-2 文本向量化

4-3 基于python的文本预处理封装

4-4 词嵌入技术（word2vec）

4-5 分类问题：给文本打标签

4-6 序列标注问题：发现特定词语

4-7 大语言模型的演进，助力NLP

4-8 注意力机制

4-9 大模型微调

4-10 生成式AI，像人类一样对话

4-11 自然语言处理常见的评价指标-AUC、BLEU、ROUGE等等

4-12 构建丰富的语料库和精选数据集

4-13 NLP常用工具，anaconda、NLTK

5.内容理解详谈

5-1 为什么要做内容理解

5-2 NLP在内容理解体系发挥的作用（上）

5-3 NLP在内容理解体系发挥的作用（下）

5-4 新闻APP标准文本如何面向推荐系统构建内容理解体系（上）

5-5 新闻APP标准文本如何面向推荐系统构建内容理解体系（下）

5-6 融合了多种内容类型的马蜂窝旅行内容理解如何配合运营体系运转（上）

5-7 融合了多种内容类型的马蜂窝旅行内容理解如何配合运营体系运转（下）

5-8 内容理解在点评UGC场景下辅助风险控制（上）

5-9 内容理解在点评UGC场景下辅助风险控制（下）

5-10 京东商城下的内容理解与智能创意（上）

5-11 京东商城下的内容理解与智能创意（下）

6.如何处理文本相似问题

6-1 文本相似度检测的类型：长文本短文本、词语句子段落、字符级语义级

6-2 在内容理解体系中，相似度检测可以解决什么

6-3 文本相似度检测的评估效果

6-4 使用编辑距离计算词或短语级的文本相似度

6-5 使用SIMHASH算法计算海量长文本的相似度

6-7 使用word2vec解决语义级别的短文本相似问题

7.实体识别

7-1 实体识别能够解决什么

7-2 在内容理解体系中借助实体识别搭建基础能力

7-3 为实体识别的结果构建评价方案时有哪些可用的指标

7-4 RNN在NLP中如何发挥作用

7-5 延长网络的记忆，长短时记忆网络（LSTM）都对RNN做了哪些改进

7-6 从规则到概率，条件随机场CRF算法助力网络模型认识规律

7-7 实体识别实战：ner bert lstm crf（上）

7-8 实体识别实战：ner bert lstm crf（下）

7-9 实体识别实战：ner bilstm crf

8.文本分类

8-1 内容理解中最广泛的文本分类有哪些

8-2 如何在内容理解体系搭建中借助文本分类的力量

8-3 文本分类任务效果的评估：离线指标、人工测评、线上效果

8-4 情感分析在内容平台的实践

8-5 卷积神经网络基础知识

8-6 处理情感分类的数据集并搭建卷积网络（上）

8-7 处理情感分类的数据集并搭建卷积网络（下）

8-8 实战：使用word2vec为数据集构建词向量，并寻找相似词

8-9 实战：使用word2vec的fasttext工具来解决文本分类的问题

8-10 transformer的衍生品Bert如何应用于文本分类

8-11 内容理解体系中多级多标签分类问题（上）

8-12 内容理解体系中多级多标签分类问题（下）

8-13 如何在具体业务中准备数据（上）

8-14 如何在具体业务中准备数据（下）

8-15 为企业级分类任务设计一个可扩展、易调整的算法构架

8-16 如何分布式工程部署

9.LLM+NLP

9-1 文本提取与文本生成能为我们提供哪些能力

9-2 在内容理解中，我们如何借助文本提取和文本生成能力来搭建我们的能力框架

9-3 没有标准答案的提取和生成任务如何评估效果

9-4 探索很老但很有用的TFIDF提取技术

9-5 谷歌的TextRank算法

9-6 GPT1模型-初代生成式预训练模型

9-7 GPT2模型-更强大的生成式预训练模型

9-8 GPT3模型-开创性的生成式预训练模型

9-9 InstructGPT在GPT3的基础上的三大改进点（上）

9-10 InstructGPT在GPT3的基础上的三大改进点（下）

9-11 实战：借助开源的GPT2模型搭建我们自己的生成式任务方案

9-12 实战：使用GPT2自动生成文本标题

9-13 实战：引入评估模型来提高生成效果

9-14 实战：借助ChatGPT的API实现文本摘要提取

10.后话

10-1 内容理解与NLP实战课程回顾

10-2 大模型时代的AI价值对齐

10-3 NLP大模型展望

10-4 大模型时代下如何继续跟进NLP的发展

10-5 系列文章结束语==>企业级项目实战的0-1教学介绍