• 财务系统
  • OA
  • 采购信息
  • 企业邮箱
  • English
  • 研究院概况
    • 研究院概述
    • 发展历程
    • 组织架构
    • 人才团队
      • 管理团队
      • 科研团队
      • 行政团队
  • 科研部门
    • 大数据基础理论与算法研究所
    • 大数据通用软件与技术研究所
      • 通用求解器实验室
      • 大数据安全计算实验室
    • 大数据智能应用技术研究所
      • 信息系统大数据实验室
      • 医疗大数据实验室
      • 语音语义大数据实验室
      • 智慧城市/交通/物流大数据实验室
      • 社会行为大数据实验室
      • 政企大数据实验室
    • 科研处
  • 科学研究
    • 重要成果
    • 科研项目
    • 教育项目
      • 奖学金项目
      • 联合培养项目
    • 科研活动
    • 学人风采
    • MIIS
  • 新闻中心
    • 院内新闻
    • 媒体聚焦
    • 通知公告
      • 采购招标公开信息
      • 重大通知
    • 科普中心 
    • 视听中心
      • 视频
      • 期刊
  • 党群文化
    • 群团风采
    • 学习园地
  • 人才招聘
    • 科研类职位
    • 工程类职位
    • 行政类职位
    • 岗位总览
  • 联系我们
    • 信息咨询
    • 公关宣传
    • 产业合作
  • 研究院概况
    • 研究院概述
    • 发展历程
    • 组织架构
    • 人才团队
      • 管理团队
      • 科研团队
      • 行政团队
  • 科研部门
    • 大数据基础理论与算法研究所
    • 大数据通用软件与技术研究所
      • 通用求解器实验室
      • 大数据安全计算实验室
    • 大数据智能应用技术研究所
      • 信息系统大数据实验室
      • 医疗大数据实验室
      • 语音语义大数据实验室
      • 智慧城市/交通/物流大数据实验室
      • 社会行为大数据实验室
      • 政企大数据实验室
    • 科研处
  • 科学研究
    • 重要成果
    • 科研项目
    • 教育项目
      • 奖学金项目
      • 联合培养项目
    • 科研活动
    • 学人风采
    • MIIS
  • 新闻中心
    • 院内新闻
    • 媒体聚焦
    • 通知公告
      • 采购招标公开信息
      • 重大通知
    • 科普中心 
    • 视听中心
      • 视频
      • 期刊
  • 党群文化
    • 群团风采
    • 学习园地
  • 人才招聘
    • 科研类职位
    • 工程类职位
    • 行政类职位
    • 岗位总览
  • 联系我们
    • 信息咨询
    • 公关宣传
    • 产业合作
  • 财务系统
  • OA
  • 采购信息
  • 企业邮箱
  • English
  • 研究院概况
    • 研究院概述
    • 发展历程
    • 组织架构
    • 人才团队
      • 管理团队
      • 科研团队
      • 行政团队
  • 科研部门
    • 大数据基础理论与算法研究所
    • 大数据通用软件与技术研究所
      • 通用求解器实验室
      • 大数据安全计算实验室
    • 大数据智能应用技术研究所
      • 信息系统大数据实验室
      • 医疗大数据实验室
      • 语音语义大数据实验室
      • 智慧城市/交通/物流大数据实验室
      • 社会行为大数据实验室
      • 政企大数据实验室
    • 科研处
  • 科学研究
    • 重要成果
    • 科研项目
    • 教育项目
      • 奖学金项目
      • 联合培养项目
    • 科研活动
    • 学人风采
    • MIIS
  • 新闻中心
    • 院内新闻
    • 媒体聚焦
    • 通知公告
      • 采购招标公开信息
      • 重大通知
    • 科普中心 
    • 视听中心
      • 视频
      • 期刊
  • 党群文化
    • 群团风采
    • 学习园地
  • 人才招聘
    • 科研类职位
    • 工程类职位
    • 行政类职位
    • 岗位总览
  • 联系我们
    • 信息咨询
    • 公关宣传
    • 产业合作

面包屑

  • 首页
  • 科学研究
  • 科研项目
  • 基于跨模态图文特征联合表达的视觉内容层次化理解关键技术研究

基于跨模态图文特征联合表达的视觉内容层次化理解关键技术研究

2022-01-19 科研项目

一、项目描述及目标

       视觉内容层次化理解意在对图像场景中的物体、物体的属性、物体之间的交互关系等不同层次的信息进行全面分析。但是该任务的实现需要精细化的标注,由于成本较高,并不适用于深度学习的方法。本项目将探讨如何借助互联网上的图文数据对,进行模型的优化,从而针对场景中的内容实现细粒度、层次化的视觉内容理解

二、重要性及影响

       从数据获取、模型设计、学习策略等方面解决现有模式的不足。充分利用互联网中图像数据及其对应文本说明的相关性,同时将不同层次语义之间的内在联系,以及该联系与不同层次视觉表达的关联性与一致性考虑在建模的过程中。本项目的实施有望使得模型能够自动挖掘海量多模态数据中的隐含信息,提升模型泛化性能。

三、解决方案描述

      1. 提出基于对比学习的图文联合表达学习框架

      2. 设计层次化深度视觉模型,对物体属性、类别、交互等进行统一学习  

      3. 引入知识图谱,实现知识与数据联合驱动的图文内容学习方法。

四、主要贡献

       本项目将更为高效地运用互联网图文资源,并且设计实现网络结构,在学习的过程中挖掘图文对应关系,提升视觉模型表达能力与预测精度。

 
五、下一步计划

       现阶段工作主要集中在图文联合表达学习框架的构建,并且设计模型有效接收多个层次的语义内容。相关技术也将对医学影像分析以及报告生成起到积极推动。

 

 
关注我们
  •  
  •  
  •  
  •  
  • 联系我们
    • 信息咨询
    • 公关宣传
    • 产业合作
  • 协同机构
    • 香港中文大学(深圳)
    • 国家健康医疗大数据研究院(深圳)
    • 深圳国际工业与应用数学中心

  • 友情链接
Copyright 大数据研究院(深圳) 2022 版权所有 | 粤ICP备16049670号