[论文笔记] ICLR 2022 | 减少跨语言表示差异，字节跳动AI Lab通过流形混合增强跨语言迁移
- 论文地址：https://openreview.net/pdf?id=OjPmfr9GkVv
- 代码地址：https://github.com/yhy1117/X-Mixup
字节跳动人工智能实验室和加利福尼亚大学圣塔芭芭拉分校的研究者提出了 跨语言流形混合（X-Mixup）方法为目标语言提供 “折衷” 的表示，让模型自适应地校准表示差异。此方法不仅显著地减少了跨语言表示差异，同时有效地提升了跨语言迁移的效果。
基于多语言预训练语言模型（比如 mBert、XLM-R 等），各种跨语言迁移学习方法取得了不错的迁移效果，但 其中许多目标语言的性能仍然远远落后于源语言。字节跳动人工智能实验室和加利福尼亚大学圣塔芭芭拉分校的研究者通过分析发现这种 跨语言性能差异 和 跨语言表示差异有很强的相关性，为了实现更好的跨语言迁移学习，本文提出了跨语言流