基于深度学习的图像处理研究平台建设
2022-02-17 科研项目
一、项目描述
本项目旨在研究基于图像的理解问题与基于图像的三维重建问题,包括人体姿态估计、人脸人体三维重建和室内场景三维重建等。
二、主要痛点
图像是获取信息的重要方式。如何从二维图像中感知三维信息从而提高计算机分析与决策的能力是一个重要的课题。
三、解决方案描述
由于图像的信息存在维度缺失,需要借助有效的三维先验知识来恢复三维信息,包括基于参数化方法的统计三维模型、基于深度学习的物体三维形状先验模型等。本项目基于所针对的任务,构建了各类框架来生成对应的先验模型并充分利用到应用场景中。
四、主要贡献
本项目利用构建的先验模型,完成了各类具有挑战性的任务,包括密集人群中的人体姿态估计,从图像中构建三维衣物模型,从图像中恢复三维室内场景,以及可快速编辑的三维建模方案。
五、下一步计划
基于目前的研究本项目可以实现初步的三维信息构建,但仍然会缺失图像中较为细节的形状信息,本项目将会继续研究图像中精细三维的感知与恢复。
六、合作单位
中国科学技术大学,华南理工大学,大连理工大学
七、团队成员
韩晓光、杜冬、张肇轩、邱宇达、唐佳鹏等