python-Bert（谷歌非官方产品）模型基础笔记0.1.096
python-bert模型基础笔记0.1.015
- TODOLIST
- 官网中的微调样例代码
- Bert模型的微调限制
- Bert的适合的场景
- Bert多语言和中文模型
- Bert模型两大类
- 官方建议模型
- Bert模型中名字的含义
- Bert模型包含的文件
- Bert系列模型参数介绍
- 微调与迁移学习区别
- Bert微调的方式
- Pre-training和Fine-tuning区别
- 关于Fine-tuning需要的硬件资源
- 模型后缀介绍
- Bert微调代码
- Bert的pytorch版本
- 参考链接
2024年6月7日19:15:13----0.1.095
2024年6月7日19:32:17----0.1.096
TODOLIST
- 下游任务
- 小数据微调模型
- 增量训练
官网中的微调样例代码
- 句子分类的样例代码：run_classifier.py
- 完形填空的例子：run_squad.py
- 句子编码的例子：extract_features.py
Bert模型的微调限制
我们做的具体领域任务对网络的设计要求必然得和预训练任务是一致的，主要包含下面两种任务：
任务一：屏蔽语言模型（Masked LM）
任务二：相邻句子判断（Next Sentence Prediction）
Bert的适合的场景
裸跑都非常优秀，句子级别（例如，SST-2）、句子对级别（例如MultiNLI）、单词级别（例如NER）和跨度级别（例如SQuAD），一般有如下场景：
- 一种是 fine-tune（微调）方法，
- 一种是 feature extract（特征抽取）方法，就是直接获取预训练的BERT模型的输出作为特征，对预训练的BERT的模型参数不会有任何改动。
Bert多语言和中文模型
参考链接：https://github.com/google-research/bert/blob/master/multilingual.md
- 中文简繁体模型（BERT Chinese-only Model ）
BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters - 其他非拉丁字母文本模型（BERT Multilingual Model ）
BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters
BERT-Base, Multilingual Uncased (Orig, not recommended): 102 languages, 12-layer, 768-hidden, 12-heads, 110M parameters
Bert模型两大类
BERT-Base 和 BERT-Large
官方建议模型
- Uncased