作者：汝贤、秋兮、熊兮、临在
导读
预训练语言模型在NLP的各个应用中都有及其广泛的应用；然而，经典的预训练语言模型（例如BERT）缺乏对知识的理解，例如知识图谱中的关系三元组。知识增强预训练模型使用外部知识（知识图谱，字典和文本等）或者句子内部的语言学知识进行增强。我们发现，知识注入的过程都伴随着很大规模的知识参数，下游任务fine-tune的时候仍然需要外部数据的支撑才能达到比较好的效果，从而无法在云环境中很好的提供给用户进行使用。CKBERT（Chinese Knowledge-enhanced BERT）是EasyNLP团队自研的中文预训练模型，结合了两种知识类型（外部知识图谱，内部语言学知识）对模型进行知识注入，同时使得知识注入的方式方便模型可扩展。我们的实验验证也表明CKBERT的模型精度超越了多种经典中文模型。在本次的框架升级中，我们将多种规模的CKBERT模型贡献给开源社区，并且这些CKBERT模型与HuggingFace Models完全兼容。此外，用户也可以在阿里云机器学习平台PAI上方便地利用云资源使用CKBERT模型。预训练语言模型在NLP的各个应用中都有及其广泛的应
