病理图像分析——结构嵌入式的基于图神经网络的细胞核分类方法
项目描述及目标
病理图像的细胞核分类是指对病理图像中的每个细胞核精确预测类别,例如肿瘤细胞,炎症细胞,淋巴细胞等。细胞核的精准分类有助于病理医生直接判断肿瘤的区域。针对难判断的肿瘤区域,通过对细胞群落之间类别关系的分析,可辅助医生提升判断的准确率。
本方法目标为:
1. 通过对细胞核多边形轮廓建模,得到更好的细胞核特征表示。
2. 将每个细胞核构建为图结构中的节点,通过图神经网络的学习来提升细胞核类别预测的准确率。
重要性与挑战
使用计算机辅助算法精准分类细胞,有助于减少经验不足医生的误判率,也可减轻成熟医生的负担。然而相同类别的细胞的形态纹理时常也有较大差别。细胞核的形态也会受到位置,生命周期等因素的影响而产生变化。不同类别的细胞在视觉上也有可能相似,容易混淆医生的判断,对于人工智能分类模型来说也是一个挑战。
方法介绍
本方法首先使用预训练的分割模型得到细胞核分割的结果。其次,对病理图像构建图结构,每一个细胞核都作为图中的一个节点,每个细胞核都和相邻的K的细胞核相连。构建每个节点的特征,包括细胞核多边形形态特征以及卷积神经网络学习的特征。其中多边形形态特征由一个循环神经网络对多边形建模得到。每个边的特征定义为相连细胞核连线中点的特征。经过图卷积神经网络对各相连节点之间关系的学习。模型对每个图节点类别的预测就是对应细胞核类别的预测。
关键贡献及商业价值
本方法提出的关键贡献点为
1.一种新的基于循环神经网络的多边形特征构建方法;
2.一个结构嵌入式的细胞核分类框架;
3.在中山六院构建的数据集以及两个公开数据集上相比之前的最好方法都提升了3.1%-7.5% 的分类F1-score。
本方法可以提升细胞核分类的精度,为临床的诊断提供高价值的参考,可作为病理图像分析计算机辅助诊断系统的重要一环。具有很高的商业价值。
下一步计划
本方法在一些细胞类别的分类上具有明显优势,在少数细胞的分类上还有提升空间。下一步会针对特定器官或者特定类别的细胞进行针对性的训练和测试,以提升和验证本方法的泛化性能。
合作方
香港中文大学(深圳);中山大学;中山大学附属第六医院
团队成员
楼威;万翔;李灏峰