python-Bert（谷歌非官方产品）模型基础笔记0.1.096

2024年6月7日19:15:13----0.1.095
2024年6月7日19:32:17----0.1.096

TODOLIST

1. 下游任务
2. 小数据微调模型
3. 增量训练

官网中的微调样例代码

1. 句子分类的样例代码：run_classifier.py
2. 完形填空的例子：run_squad.py
3. 句子编码的例子：extract_features.py

Bert模型的微调限制

我们做的具体领域任务对网络的设计要求必然得和预训练任务是一致的，主要包含下面两种任务：
任务一：屏蔽语言模型（Masked LM）
任务二：相邻句子判断（Next Sentence Prediction）

Bert的适合的场景

裸跑都非常优秀，句子级别（例如，SST-2）、句子对级别（例如MultiNLI）、单词级别（例如NER）和跨度级别（例如SQuAD），一般有如下场景：

1. 一种是 fine-tune（微调）方法，
2. 一种是 feature extract（特征抽取）方法，就是直接获取预训练的BERT模型的输出作为特征，对预训练的BERT的模型参数不会有任何改动。

Bert多语言和中文模型

参考链接：https://github.com/google-research/bert/blob/master/multilingual.md

1. 中文简繁体模型（BERT Chinese-only Model ）
   BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters
2. 其他非拉丁字母文本模型（BERT Multilingual Model ）
   BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters
   BERT-Base, Multilingual Uncased (Orig, not recommended): 102 languages, 12-layer, 768-hidden, 12-heads, 110M parameters

Bert模型两大类

BERT-Base 和 BERT-Large

官方建议模型

1. Uncased