论文标题

适应大科学多语言模型来看不见的语言

Adapting BigScience Multilingual Model to Unseen Languages

论文作者

Yong, Zheng-Xin, Nikoulina, Vassilina

论文摘要

我们基于将新语言(德语和韩语)添加到BigScience预处理的多语言模型中的不同策略,其参数为13亿,目前支持13种语言。我们研究影响模型的语言适应性以及计算成本和预期性能之间的权衡的因素。

We benchmark different strategies of adding new languages (German and Korean) into the BigScience's pretrained multilingual language model with 1.3 billion parameters that currently supports 13 languages. We investigate the factors that affect the language adaptability of the model and the trade-offs between computational costs and expected performance.

扫码加入交流群

加入微信交流群

微信交流群二维码

扫码加入学术交流群,获取更多资源