2021年，自然语言处理技术在超大规模预训练模型、训练范式和训练效率等方面继续实现突破，适用性和效率进一步提升，带动下游知识图谱、智能语音等技术的发展，广泛落地并赋能于金融、生物医疗、互联网应用、智慧安防等诸多场景，投融资和市场规模均迎来增长。在学术领域，研究者在进一步提升预训练语言模型性能的同时，也愈发关注模型规模加速膨胀背景下的技术可解释性、泛化性及社会性问题，以及由技术依赖产生的伦理和垄断问题。