前言
随着 Vision Transformer (ViT) 在 2021 年霸榜各大数据集，如何基于 ViT 构建更加合适的自监督学习范式成为了该领域的一大问题。最初，DINO 和 MoCo v3 尝试将对比学习和 ViT 相结合，取得了不错的效果。不过长期以来，由于 CV 和 NLP 领域数据和基础模型之间的差异，NLP 的 Masked Language Modeling (MLM) 掩码模式机制没能成功应用于 CV 领域，但最近 ViT 的蓬勃发展，为掩码学习机制应用于视觉自监督打开了一扇大门。随着 Vision Transformer (ViT) 在 2021 年霸榜
