[1]邱宏轩,刘明洋,刘苏锐,等.基于多分支自适应融合的多模态MR图像合成方法[J].中国医学物理学杂志,2026,43(4):436-444.[doi:DOI:10.3969/j.issn.1005-202X.2026.04.003]
　QIU Hongxuan,LIU Mingyang,et al.Multi-branch adaptive fusion for multimodal magnetic resonance image synthesis[J].Chinese Journal of Medical Physics,2026,43(4):436-444.[doi:DOI:10.3969/j.issn.1005-202X.2026.04.003]
点击复制

基于多分支自适应融合的多模态MR图像合成方法()

《中国医学物理学杂志》[ISSN:1005-202X/CN:44-1351/R]

卷:
43卷
期数:
2026年第4期
页码:
436-444
栏目:
医学影像物理
出版日期:
2026-04-28

文章信息/Info

Title:
Multi-branch adaptive fusion for multimodal magnetic resonance image synthesis
文章编号:
1005-202X（2026）04-0436-09
作者:
邱宏轩1; 2; 刘明洋3; 刘苏锐2; 王宇熙1; 2; 彭博2; 戴亚康2; 于微波1
1.长春工业大学电气与电子工程学院， 吉林 长春 130012； 2.中国科学院苏州生物医学工程技术研究所， 江苏 苏州 215163； 3.吉林建筑科技学院电气与机械工程学院， 吉林 长春 130114
Author(s):
QIU Hongxuan1;  2;  LIU Mingyang3;  LIU Surui2;  WANG Yuxi1;  2;  PENG Bo2;  DAI Yakang2;  YU Weibo1
1. School of Electrical and Electronic Engineering, Changchun University of Technology, Changchun 130012, China 2.Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou 215163, China 3. School of Electrical and Mechanical Engineering, Jilin University of Architecture and Technology, Changchun 130114, China
关键词:
磁共振成像; 多模态图像合成; 生成对抗网络; 特征一致性
Keywords:
Keywords: magnetic resonance imaging multimodal image synthesis generative adversarial networks feature consistency
分类号:
R318
DOI:
DOI:10.3969/j.issn.1005-202X.2026.04.003
文献标志码:
A
摘要:
多模态磁共振图像（MR）为临床诊断与治疗提供全面且关键的信息，生成缺失模态图像有助于医学分析。针对现有合成方法在输入模态数量固定及合成图像的质量和结构保真度不佳等局限，本研究基于生成对抗网络框架提出一种多分支自适应融合与模态一致性引导的多模态磁共振图像合成方法（MMFC-GAN）。通过引入目标模态标签、零图像占位和多分支编码策略，实现对任意模态组合输入的高效医学图像合成。其中，目标模态标签引导解码器聚焦于所需特征，零图像占位处理输入模态不完整问题，而多分支编码确保各模态特征独立提取与灵活融合，增强模型对多模态图像输入的适应性与合成能力。此外，引入模态一致性引导机制，在潜在空间对不同模态的编码特征进行对齐，强化模态间的结构信息一致性，从而提升生成图像的结构保真度和合成质量。在BraTS2020和ISLES2015数据集上验证了本方法的有效性。实验结果表明，合成图像的峰值信噪比（PSNR）均超过24 dB，优于现有主流方法，且在视觉质量上达到最优水平。
Abstract:
Abstract: Multimodal magnetic resonance imaging provides comprehensive and essential information for clinical diagnosis and treatment, and synthesizing missing modality images can significantly improve medical analysis. To address the limitations of existing image synthesis methods, including fixed input modalities, suboptimal image quality, and insufficient anatomical fidelity in synthesized images, a multi-branch modality-adaptive fusion and consistency-guided generative adversarial network is proposed for multimodal magnetic resonance image synthesis. Within this network, efficient medical image synthesis from arbitrary modality combinations is achieved through the incorporation of target modality labels, a zero-image placeholder strategy, and a multi-branch encoding mechanism. Specifically, target modality labels are used to guide the decoder to focus on desired features, a zero-image placeholder strategy is employed to address incomplete input modalities, and a multi-branch encoding mechanism is adopted to ensure independent feature extraction and flexible cross-modality fusion, thereby enhancing the models adaptability to multimodal inputs and its synthesis performance. Furthermore, a modality consistency guidance mechanism is introduced to align encoded features from different modalities in the latent space, reinforcing cross-modal anatomical consistency and thus improving the anatomical fidelity and overall quality of synthesized images. The effectiveness of the proposed method is validated on the BraTS2020 and ISLES2015 datasets. Experimental results demonstrate that the synthesized images achieve a peak signal-to-noise ratio exceeding 24 dB, outperforming the existing image synthesis methods and exhibiting superior visual quality.

相似文献/References:

[1]王水花,张煜东.压缩感知磁共振成像技术综述[J].中国医学物理学杂志,2015,32(02):158.[doi:10.3969/j.issn.1005-202X.2015.02.002]
[2]马海涵,游 箭,唐文国,等.成人小脑髓母细胞瘤MR成像和NSE表达水平[J].中国医学物理学杂志,2015,32(02):207.[doi:10.3969/j.issn.1005-202X.2015.02.012]
[3]武 杰,袁航英,严 峻,等.医用核磁共振成像设备的风险因素分析与管理[J].中国医学物理学杂志,2014,31(03):4918.[doi:10.3969/j.issn.1005-202X.2014.03.016]
[4]张煜东,王水花.磁共振成像加速方法[J].中国医学物理学杂志,2014,31(04):5015.[doi:10.3969/j.issn.1005-202X.2014.04.010]
[5]万俊,聂生东,王远军,等.基于MRI的脑肿瘤分割技术研究进展[J].中国医学物理学杂志,2013,30(04):4266.[doi:10.3969/j.issn.1005-202X.2013.04.013]
[6]曾雁冰,张战胜,辛学刚,等.反演法在磁共振射频场设计与优化中的应用[J].中国医学物理学杂志,2013,30(04):4272.[doi:10.3969/j.issn.1005-202X.2013.04.014]
[7]赵 琳,张军,张新宇,等.CT和MRI诊断脑神经胶质瘤52例分析[J].中国医学物理学杂志,2015,32(04):464.[doi:10.3969/j.issn.1005-202X.2015.04.003]
　[J].Chinese Journal of Medical Physics,2015,32(4):464.[doi:10.3969/j.issn.1005-202X.2015.04.003]
[8]赵 琳,张军,张新宇,等.CT和MRI诊断脑神经胶质瘤52例分析[J].中国医学物理学杂志,2015,32(04):464.[doi:10.3969/j.issn.1005-202X.2015.04.003]
[9]骆众星,石健强,谢斯栋,等.T1 FLAIR PROPELLER序列在3.0T磁共振颅脑增强成像上对抑制各种伪影的应用[J].中国医学物理学杂志,2015,32(06):878.[doi:doi:10.3969/j.issn.1005-202X.2015.06.025]
　[J].Chinese Journal of Medical Physics,2015,32(4):878.[doi:doi:10.3969/j.issn.1005-202X.2015.06.025]
[10]管春,朱庆永.参考制导的压缩感知快速磁共振重建方法[J].中国医学物理学杂志,2016,33(3):217.[doi:10.3969/j.issn.1005-202X.2016.03.001]

备注/Memo

备注/Memo:
【收稿日期】2025-11-21 【基金项目】国家自然科学基金（62471467, 62301557）；江苏省重点研发计划（BE2022049-2）；中国科学院磁共振技术联盟项目（2024GZL001）；苏州市重点实验室项目（SZS2024007） 【作者简介】邱宏轩，硕士，研究方向：医学图像处理，E-mail: 15584147870@163.com；刘明洋，硕士，研究方向：医学图像处理，E-mail: liumingyang06@163.com（邱宏轩和刘明洋为共同第一作者） 【通信作者】于微波，硕士，教授，研究方向：机器视觉与图像处理，E-mail: yuweibo@ccut.edu.cn；戴亚康，博士，研究员，研究方向：医学图像处理，E-mail: daiyk@sibet.ac.cn
更新日期/Last Update: 2026-04-28