近日，我院青年教师刘彦北等人在医学图像领域顶级期刊IEEE Transaction on Medical Imaging（1区，Top，IF=11.037）发表了题为“Structural Attention Graph Neural Network for Diagnosis and Prediction of COVID-19 Severity”的论文，提出了基于图结构注意力网络的COVID-19轻重症诊断预测模型。
当前基于影像的肺部疾病诊断绝大多数方法都是利用CNN网络进行疾病诊断，但它们往往只是简单地将提取到的感染特征串联起来，忽略了特征之间的相关性以及肺部本身的结构信息。为此，该研究引入了图结构建模方式，利用图结构模拟疾病在肺中传播的路径，并结合肺部感染特征对患者新冠感染进行诊断和严重程度转化时间进行预测。针对患者的CT影像，首先采用VB-Net神经网络提取18个不同肺段（包括右肺上叶尖段、右肺上叶后段、右肺上叶前段、右肺中叶外侧段、右肺中叶内侧段、右肺下叶背段、右肺下叶内基底段、右肺下叶前基底段、右肺下叶外基底段、右肺下叶后基底、左肺上叶尖后段、左肺上叶前段、左肺上叶上舌段、左肺上叶下舌段、左肺下叶背段、左肺下叶前内基底段、左肺下叶外基底段、左肺下叶后基底段）的感染特征（磨砂玻璃影的体积、密度、质量等）和整体特征（例如病灶体积相对于所在肺段的占比等）并对其进行量化作为节点的属性，然后以肺段之间的物理结构建立节点的边。该研究算法框架如图所示。
图1. 模型框架
该模型首先构建了肺部结构图，然后采用图注意力网络迭代更新肺段表示。为了区分左右肺不同的感染程度，进一步引入了结构注意力机制。最后，融合患者个人信息等非图像类特征信息，搭建了联合多任务学习的整体框架。在1687例胸部CT扫描图像的实验结果中表明，所设计模型获得了最佳的诊断性能(如ACC为90.4%, AUC为86.86%)和预测结果(如相关系数为0.58)。本研究成果由我院刘彦北老师等人联合天津大学张长青、联影公司石峰、上海科技大学沈定刚等本领域专家和研究生共同完成。
IEEE医学影像汇刊（IEEE Transaction on Medical Imaging）是医学图像领域顶刊，聚焦医学、生物学和影像学的科学，涉及关于身体结构、形态和功能成像从采集、处理到可视化等系列问题的研究。2022年影响因子为11.037。
文章信息：
Yanbei Liu, Henan Li, Tao Luo, Changqing Zhang, Zhitao Xiao, Ying Wei, Yaozong Gao, Feng Shi, Fei Shan, Dinggang Shen. Structural Attention Graph Neural Network for Diagnosis and Prediction of COVID-19 Severity. IEEE Transaction on Medical Imaging, 2022. DOI: 10.1109/TMI.2022.3226575