[1]徐盼盼,张东,袁达龙.基于生成对抗网络的多模态MR图像缺失模态合成[J].中国医学物理学杂志,2023,40(7):827-832.[doi:DOI:10.3969/j.issn.1005-202X.2023.07.006]
　XU Panpan,ZHANG Dong,YUAN Dalong.Incomplete multimodality MR image synthesis based on generative adversarial network[J].Chinese Journal of Medical Physics,2023,40(7):827-832.[doi:DOI:10.3969/j.issn.1005-202X.2023.07.006]
点击复制

基于生成对抗网络的多模态MR图像缺失模态合成()
分享到：

《中国医学物理学杂志》[ISSN:1005-202X/CN:44-1351/R]

卷:
40卷
期数:
2023年第7期
页码:
827-832
栏目:
医学影像物理
出版日期:
2023-07-15

文章信息/Info

Title:
Incomplete multimodality MR image synthesis based on generative adversarial network
文章编号:
1005-202X（2023）07-0827-06
作者:
徐盼盼; 张东; 袁达龙
武汉大学物理科学与技术学院， 湖北 武汉 430072
Author(s):
XU Panpan;  ZHANG Dong;  YUAN Dalong
School of Physics and Technology, Wuhan University, Wuhan 430072, China
关键词:
磁共振成像; 生成对抗网络; 混合注意力模块; 多模态合成
Keywords:
Keywords: magnetic resonance imaging generative adversarial network hybrid attention module multimodal synthesis
分类号:
R318；TP391
DOI:
DOI:10.3969/j.issn.1005-202X.2023.07.006
文献标志码:
A
摘要:
提出一种基于生成对抗网络的多模态磁共振（MR）图像缺失模态合成方法，在不同缺失情况下均能预测出完整的模态序列。该模型将生成对抗网络作为模态合成的基本框架，生成对抗网络由生成器和判别器2个部分组成。其中生成器有3个阶段：特征提取、特征融合和图像生成。在特征提取过程中，使用U-Net网络进行编码。然后将4个模态的特征进行融合，并将融合结果输入混合注意力模块。这样使网络能够自适应地调整不同模态的权重，最后进行图像生成。判别器部分由4个相同的判别器组成，对4种不同的模态进行判别，其网络结构基于PatchGan进行改进。通过与其他具有代表性的模态合成算法比较，此方法无论在视觉效果还是客观评价指标上都取得了更好的效果，其中峰值信噪比均在23 dB以上，结构相似性均在0.99以上。
Abstract:
Abstract: An incomplete modality synthesis method for multimodality magnetic resonance (MR) images based on generative adversarial network (GAN) is proposed to predict the complete modal sequence in different scenarios. The proposed model uses GAN which consists of generator and discriminator as the backbone of the network. The generator contains feature extraction, feature fusion and image generation. U-Net is used for encoding during feature extraction, and the features of the 4 modalities are fused before being input into the hybrid attention module, so that the network can adaptively adjust the weights for different modalities and finally generate images. The discriminator consists of 4 same discriminators which network structure is improved from PatchGan to discriminate different modalities. Compared with other state-of-the-art modality synthesis algorithms, the proposed method achieves better results in both visual effects and objective criteria, with peak signal-to-noise ratios higher than 23 dB and structural similarity index measurements above 0.99.

相似文献/References:

[1]王水花,张煜东.压缩感知磁共振成像技术综述[J].中国医学物理学杂志,2015,32(02):158.[doi:10.3969/j.issn.1005-202X.2015.02.002]
[2]马海涵,游 箭,唐文国,等.成人小脑髓母细胞瘤MR成像和NSE表达水平[J].中国医学物理学杂志,2015,32(02):207.[doi:10.3969/j.issn.1005-202X.2015.02.012]
[3]武 杰,袁航英,严 峻,等.医用核磁共振成像设备的风险因素分析与管理[J].中国医学物理学杂志,2014,31(03):4918.[doi:10.3969/j.issn.1005-202X.2014.03.016]
[4]张煜东,王水花.磁共振成像加速方法[J].中国医学物理学杂志,2014,31(04):5015.[doi:10.3969/j.issn.1005-202X.2014.04.010]
[5]万俊,聂生东,王远军,等.基于MRI的脑肿瘤分割技术研究进展[J].中国医学物理学杂志,2013,30(04):4266.[doi:10.3969/j.issn.1005-202X.2013.04.013]
[6]曾雁冰,张战胜,辛学刚,等.反演法在磁共振射频场设计与优化中的应用[J].中国医学物理学杂志,2013,30(04):4272.[doi:10.3969/j.issn.1005-202X.2013.04.014]
[7]赵 琳,张军,张新宇,等.CT和MRI诊断脑神经胶质瘤52例分析[J].中国医学物理学杂志,2015,32(04):464.[doi:10.3969/j.issn.1005-202X.2015.04.003]
　[J].Chinese Journal of Medical Physics,2015,32(7):464.[doi:10.3969/j.issn.1005-202X.2015.04.003]
[8]赵 琳,张军,张新宇,等.CT和MRI诊断脑神经胶质瘤52例分析[J].中国医学物理学杂志,2015,32(04):464.[doi:10.3969/j.issn.1005-202X.2015.04.003]
[9]骆众星,石健强,谢斯栋,等.T1 FLAIR PROPELLER序列在3.0T磁共振颅脑增强成像上对抑制各种伪影的应用[J].中国医学物理学杂志,2015,32(06):878.[doi:doi:10.3969/j.issn.1005-202X.2015.06.025]
　[J].Chinese Journal of Medical Physics,2015,32(7):878.[doi:doi:10.3969/j.issn.1005-202X.2015.06.025]
[10]管春,朱庆永.参考制导的压缩感知快速磁共振重建方法[J].中国医学物理学杂志,2016,33(3):217.[doi:10.3969/j.issn.1005-202X.2016.03.001]

备注/Memo

备注/Memo:
【收稿日期】2023-02-08 【基金项目】国家重点研发计划973项目（2011CB707900） 【作者简介】徐盼盼，硕士，研究方向：医学图像处理，E-mail: panpan_w@outlook.com
更新日期/Last Update: 2023-07-15