광각 안저사진을 이용한 적대적 생성 신경망 합성 결과 비교 연구

Abstract

최근 의료현장에서는 의료 촬영술의 발전으로 기존의 일반 안저촬영기에서 촬영 이 더욱 간편해지고 촬영 범위가 넓어진 광각 안저촬영기로 교체되고 있다. 그러나 데이터 수집 과정의 어려움으로 인해 현재 대부분 안과 질환 관련 딥러닝 연구는 여전히 기존 일반 안저사진을 기반으로 이루어지고 있다. 딥러닝의 성능은 데이터 수량과 연관이 있어 데이터가 부족한 경우 데이터 증강 을 사용해 데이터를 증폭하여 성능을 향상한다. 데이터 증강에는 이미지에 회전, 반전 등을 적용한 일반적인 데이터 증강 방법이 있으며, GAN을 사용하여 새로운 이미지를 합성하는 방법이 존재한다. GAN은 다양한 모델이 존재하며 각 모델의 성능을 평가하기 어렵다. 모델에 사 용된 데이터 세트가 다르며 적절한 평가 척도가 존재하지 않기 때문이다. 또한 GAN 모델 연구에 사용된 데이터가 실제 합성에 사용되는 데이터의 해상도, 복잡 도를 반영하지 못한다. 따라서 본 논문에서는 다양한 GAN 모델을 이용해 광각 안 저사진을 합성하고 결과를 비교·분석한다. 광각 안저사진은 제주대학병원 안과와 협업을 통해 당뇨망막병증으로 한정 지어 데이터를 수집 및 라벨링하였다. 본 연구에 사용된 GAN 모델은 의료 영상 합성 연구에서 자주 사용되는 DCGAN, WGAN-GP, BEGAN을 이용하였다. 각 모델의 하이퍼 파라미터는 일부는 동일하게 설정하고, 나머지 값들은 모델이 발표된 논문 을 기준으로 설정하였다. 합성된 안저사진은 정성적, 정량적 평가를 진행하였으며, 정성적 평가는 합성 결 과에서 시신경유두, 황반 등의 관찰 가능 여부를 판단하였다. 정량적 평가는 FID와 이미지 품질 평가 척도를 이용하였다. FID의 경우 BEGAN 모델을 이용한 경우 가 장 좋은 평가를 얻었으며, 이미지 품질 평가의 경우 WGAN-GP 모델이 결과가 좋 았다. 정성적 평가와 정량적 평가 후 결과를 비교하였을 때 BEGAN이 가장 적절하 다 판단하였다. 또한, BEGAN의 경우 훈련을 계속 반복하였을 때 실제 안저사진과 비슷한 결과를 얻을 수 있었다. 데이터 세트의 특성에 따라 BEGAN의 하이퍼 파라 미터를 조정한다면 훨씬 더 정교한 결과를 얻을 수 있을 것으로 기대된다.

In actual medical settings recently, due to an advancement of medical imaging technologies, the conventional fundus cameras are being replaced with the ultra-wide field retinal imaging devices that enable to take images easier and provide the broadened imaging range. However, due to difficulties in data collection process, most of the deep learning studies related to ophthalmologic diseases are still being conducted based on the fundus images by the conventional fundus cameras. The performance of deep learning is associated with data volume; accordingly, the data augmentation is used to amplify the data for performance enhancement in case of data shortage. Data augmentation includes the general data augmentation method that applies rotation or reversal to images and the method that synthesizes new images using GAN. It is a big challenge to evaluate the performance of each model because there are various models in GAN, in other words, because the dataset used in each model is different and no suitable evaluation criteria are available. In addition, the data used for GAN model research cannot reflect the resolution and complexity metric of data that are used in actual synthesis. In this context, this study synthesizes the ultra-wide field retinal images taken by an ultra-wide field retinal imaging device using various GAN models and comparatively analyzes the synthesis results. The data for ultra-wide field retinal images taken by an ultra-wide field retinal imaging device, which are limited only with the diabetic retinopathy, were collected and labelled through a collaboration with the ophthalmology department of Jeju National University Hospital. The GAN model used in this study has utilized DCGAN, WGAN-GP and BEGAN that are all frequently used in the studies for medical image synthesis. Some hyper-parameters in each model were set to be identical and other parameter values were set to the criteria of the studies that each model was reported. This study conducted the qualitative and quantitative evaluations on the synthesized ultra-wide field retinal images. The qualitative evaluation was proceeded for the availability in observation of optic disc or macular etc. Both FID from those images and image quality evaluation scale were used for the quantitative evaluation. The FID obtained the best evaluation result when BEGAN model was used and WGAN-GP model exhibited a good result in the image evaluation. When comparing the results after proceeding the qualitative and quantitative evaluations, it was thought that BEGAN was most appropriate. Moreover, the similar results to actual ultra-wide field retinal images were obtained when BEGAN repeated the training over and over again. It is expected to obtain even more sophisticated results if the hyper-parameters of BEGAN are adjusted according to the characteristics of each dataset.