当前位置：首页 > news >正文

【每周CV论文推荐】GAN在医学图像生成与增强中的典型应用

news 来源：原创 2024/5/19 19:29:45

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

生成对抗网络是一项非常基础的技术，医学图像则是一个非常重要的应用方向，当前GAN在医学图像中陆续也有了一些比较重要的应用，本次我们来简单给大家推荐一些图像生成的工作。

作者&编辑 | 言有三

1 基础数据仿真GAN

医学图像领域数据获取和标注成本非常高昂，因此对数据的仿真有非常大的需求，基本的DCGAN模型已经被用于各类任务的数据增强。

文章引用量：1000+

推荐指数：✦✦✦✦✧

[1] Frid-Adar M, Klang E, Amitai M, et al. Synthetic data augmentation using GAN for improved liver lesion classification[C]//2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018). IEEE, 2018: 289-293.

[2] Chuquicusma M J M, Hussein S, Burt J, et al. How to fool radiologists with generative adversarial networks? A visual turing test for lung cancer diagnosis[C]//2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018). IEEE, 2018: 240-244.

[3] Baur C, Albarqouni S, Navab N. MelanoGANs: high resolution skin lesion synthesis with GANs[J]. arXiv preprint arXiv:1804.04338, 2018.

2 有条件监督数据仿真GAN

有些数据的获取对人体会造成一些伤害，比如CT扫描的图片比MRI图片危害性更大，我们可以使用图像翻译框架Pix2Pix将某一个域的数据转换为另一个域的数据，比如MRI变成CT。另一方面，直接生成RGB图像可能受限于训练数据，但是我们可以基于图像翻译框架，从更加简单的数据形式，比如从同一个分割掩膜生成不同的彩色图片，从而实现数据集的扩充。

文章引用量：500+

推荐指数：✦✦✦✦✦

[4] Nie D, Trullo R, Lian J, et al. Medical image synthesis with context-aware generative adversarial networks[C]//International conference on medical image computing and computer-assisted intervention. Springer, Cham, 2017: 417-425.

[5] Costa P, Galdran A, Meyer M I, et al. End-to-end adversarial retinal image synthesis[J]. IEEE transactions on medical imaging, 2017, 37(3): 781-791.

3 无条件监督数据仿真GAN

在有些场景中我们需要成对的不同类型的图像，比如在放射治疗中的MRI与CT，但是高质量成对数据获取难度高，图像翻译框架CycleGAN是一个不依赖于成对数据集的框架，可被用于从某一个域的数据转换为另一个域的数据。

文章引用量：500+

推荐指数：✦✦✦✦✦

[6] Wolterink J M, Dinkla A M, Savenije M H F, et al. Deep MR to CT synthesis using unpaired data[C]//International workshop on simulation and synthesis in medical imaging. Springer, Cham, 2017: 14-23.

[7] Chartsias A, Joyce T, Dharmakumar R, et al. Adversarial image synthesis for unpaired multi-modal cardiac data[C]//International workshop on simulation and synthesis in medical imaging. Springer, Cham, 2017: 3-13.

4 三维生成GAN

医学图像数据本质上是三维的，前面介绍的一些工作大多是二维切片图像的仿真，这里我们再介绍一些三维仿真GAN的工作，相比于二维图片生成计算复杂度更高，因此一些新的工作致力于在生成高分辨率图片的同时，设计更加高效的生成架构。

文章引用量：500+

推荐指数：✦✦✦✦✦

[8] Jin D, Xu Z, Tang Y, et al. CT-realistic lung nodule simulation from 3D conditional generative adversarial networks for robust lung segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2018: 732-740.

[9] Sun L, Chen J, Xu Y, et al. Hierarchical Amortized GAN for 3D High Resolution Medical Image Synthesis[J]. IEEE journal of biomedical and health informatics, 2022, 26(8): 3966-3975.

5 如何进行实战

由于本次推荐的论文与图像生成、图像翻译都有关联，为了帮助大家掌握相关前置知识！我们推出了相关的专栏课程《深度学习之图像生成GAN：理论与实践》，《深度学习之图像翻译GAN：理论与实践》，感兴趣可以进一步阅读：

【视频课】CV必学，超6小时，2大模块，循序渐进地搞懂GAN图像生成！