新闻速递

5月13日，“腾讯技术公益创投计划”公布了拟资助项目的名单，其中来自深圳市大数据研究院医疗大数据实验室研究科学家刘李博士带领的“Q语通视频到文本/语音的自动双向转换系统”项目从307个申请项目脱颖而出,成为30个“腾讯技术公益创投计划”的资助项目之一。

“腾讯技术公益创投计划”公示名单（部分）

“腾讯技术公益创投计划”由腾讯公益慈善基金会发起、社会价值投资联盟（深圳）协办，该计划鼓励社会专业力量通过技术能力应对公益痛点和社会问题，倡导技术公益，希望以公益的技术和创新之力，助力提升运营模式和效能，并通过支持优秀案例，在全社会营造全新、可持续的公益生态空间。项目自2021年12月启动申报，经过两轮筛选和专业评审，于今日最终产生30个拟资助项目并进入公示期。

“Q语通”编码图标

“Q语通”，是中文版的线索语（Cued Speech），是刘李博士和她的博士导师共同发明的一套适用于使用中文的听障人群的沟通系统。一般提到和听障人士的沟通，人们往往会想到手语或者唇读。但前者是一套具有独立语法的视觉语言，和其他非听障人士所使用的语言系统不同；后者则因为不同的发音可能有相似唇形（例如[u]和[y]）而产生混淆。Q语通用5种手的位置编码元音，8种手形状编码辅音，将使用者置于和人们日常相同的语言环境，将语言可视化，大大提高了沟通的效率，拉近了大众和听障人士的距离。
本次入选的“Q语通视频到文本/语音的自动双向转换系统”项目则更进一步，希望借助AI的力量，实现视频到文本和语音的自动双向转换。具体说来，项目结合最新的机器学习理论和方法，探索自监督对比学习和无偏学习的协同建模来研究带噪标注与数据分布不平衡下的特征提取问题，运用统计分析方法获取内在先验知识，并结合基于生成器、鉴别器和识别器的三方对抗训练来创建鲁棒的Q语通异步多模态联合学习模型，最终建立一个高效的Q语通视频到文本/语音的自动双向转换模型。这个模型的搭建和完善，将促进Q语通这一研究成果真正走向落地应用，造福于更多听障人士。

Q语通视频到文本/语音的自动双向转换系统示意图

此外，本项目也在听力障碍者早期教育、语音纠正和治疗、视听识别中的隐私保护、机器人、视听转换以及人机互动等其他领域也获得了广泛关注。

团队介绍

本项目组共有16名成员，项目负责人是深圳市大数据研究院的刘李博士；专家顾问团包括香港中文大学(深圳)副校长(科研)、深圳市大数据研究院院长罗智泉院士，深圳市大数据研究院执行院长李平博士，香港中文大学(深圳)数据科学学院执行院长、深圳市大数据研究院首席科学家查宏远教授，香港中文大学(深圳)数据科学学院副院长(科研)李海洲教授以及法国格勒诺布尔阿尔卑斯大学冯钢教授等专家学者；项目组成员包括深圳市大数据研究院医疗大数据实验室主任万翔教授、产业化中心主任沈超教授以及医疗大数据实验室王昌淼博士、工程师高路斐、黄珊等。

项目负责人  刘 李
深圳市大数据研究院医疗大数据实验室研究科学家

刘李博士目前在深圳市大数据研究院担任研究科学家。从2018年9月到2019年9月，她在加拿大多伦多瑞尔森大学(Ryerson University)计算机工程学院从事博士后研究。2015年10月到2018年9月，她在法国格勒诺布尔阿尔卑斯大学(Universite Grenoble Alpes)和法国国家科学研究中心(CNRS)共属的GIPSA-lab实验室攻读工程与机器学习博士，并于2018年9月11日获得博士学位。她现为国际电子电气工程师学会会员，信号处理协会会员以及中科院自动化所模式识别与人工智能专委会委员，中国女工委员会委员。担任IEEE/ACM Transactions on Audio, Speech, and Language Processing, Neurocomputing，Interspeech, SIGNAL等国际期刊和会议的审稿人。她的主要研究方向是：自动视听语音识别，医学影像，多媒体信息处理、小样本学习、机器学习与人工智能以及Cued Speech的发明和应用。