在基于margin-loss的句子相似度这个项目中，为了验证想法，找不到开放数据集，因此自己从新浪爱问爬取了数据。自己爬的数据和学界开放的数据对比，数据显得非常脏。这里有三个含义：第一：数据不规范，比如用词，写作等；第二：中文文本中蕴含了特殊符号等；第三：数据偏见在真实场景下是确实存在的。这里是从数据质量的角度来看，结合具体的场景，可能会有各种影响数据质量的因素。因此，我们需要数据预处理，目的是提升数据质量；在基于margin-loss的句子相似度这个项目中，为了验证想法，找不到开放数据集，因
阅读背景：
gan 总结 数据增强_[NLP]聊一聊，预处理和数据增强技术_weixin_39645041的博客
来源：互联网
分享到：
