昇思25天学习打卡营第十六天|基于MindSpore的GPT2文本摘要
背景
提供免费算力支持，有交流群有值班教师答疑的华为昇思训练营进入第十六天了。
今天是第十六天，从第十天开始，进入了应用实战阶段，前九天都是基础入门阶段，具体的学习内容可以看链接
基础学习部分
昇思25天学习打卡营第一天|快速入门
昇思25天学习打卡营第二天|张量 Tensor
昇思25天学习打卡营第三天|数据集Dataset
昇思25天学习打卡营第四天|数据变换Transforms
昇思25天学习打卡营第五天|网络构建
昇思25天学习打卡营第六天|函数式自动微分
昇思25天学习打卡营第七天|模型训练
昇思25天学习打卡营第八天|保存与加载
昇思25天学习打卡营第九天|使用静态图加速
应用实践部分
昇思25天学习打卡营第十天|CycleGAN图像风格迁移互换
昇思25天学习打卡营第十一天|DCGAN生成漫画头像
昇思25天学习打卡营第十二天|Diffusion扩散模型
昇思25天学习打卡营第十三天|GAN图像生成
昇思25天学习打卡营第十四天|Pix2Pix实现图像转换
昇思25天学习打卡营第十五天|基于 MindSpore 实现 BERT 对话情绪识别
学习内容
数据集加载与处理
-
数据集加载
本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。
-
数据预处理
原始数据格式：
article: [CLS] article_context [SEP] summary: [CLS] summary_context [SEP]预处理后的数据格式：
[CLS] article_context [SEP] summary_context [SEP]因GPT2无中文的tokenizer，我们使用BertTokenizer替代。
模型构建
- 构建GPT2ForSummarization模型，注意shift right的操作。
- 动态学习率
模型训练
模型推理
数据处理，将向量数据变为中文数据
model = GPT2LMHeadModel.from_pretrained('./checkpoint/gpt2_summarization_epoch_0.ckpt', config=config)
model.set_train(False)
model.config.eos_token_id = model.config.sep_token_id
i = 0
for (input_ids, raw_summary) in test_dataset.create_tuple_iterator():output_ids = model.generate(input_ids, max_new_tokens=50, num_beams=5, no_repeat_ngram_size=2)output_text = tokenizer.decode(output_ids[0].tolist())print(output_text)i += 1if i == 1:break
总结
文本摘要功能在很多地方都有应用，是效率提高神器。这节课非常有意义。
