人工智能大模型的基础理论
大模型在计算机视觉、自然语言处理等诸多领已经实现比肩、甚至超越人类的判别与生成能力。然而,在当前的模型规模下,持续增长的数据和计算需求、存储需求、模型维护和更新已成为制约大模型持续发展的重要瓶颈。此外,随着垂域知识的不断发展和新数据的不断产生,大模型需要具有持续学习和迭代的能力,需要能够对新数据进行模型增量训练,并克服可能出现的遗忘现象,这对模型维护和更新提出了更多的挑战。为此,中心围绕大模型约化理论、大模型优化理论开展了一系列科研工作,以提升大模型的可持续性和可扩展性,保持模型性能和知识积累,真正赋能千行百业。