Çekişmeli Üretici Ağlar Kullanılarak Medikal Görüntülerin Sanal Hematoksilen ve Eozin (H&E) Boyanması

Abstract

Tıbbi görüntülerin sanal boyanması işlemi dijital patolojide önemli bir yaklaşım olarak görülmektir. Geleneksel doku boyama zaman alan, uzmanlık gerektiren, boyamanın uzmandan uzmana değişkenlik gösterdiği yoğun bir süreçtir. Derin öğrenme yaklaşımı kullanılarak sanal boyama ile görüntü kalitesinin iyileştirilmesi ve manuel boyamadan kaynaklı maliyetlerin azaltılması sağlanmaktadır. Bu çalışmada, boyamasız tüm slayt görüntülerin (WSI-Whole Slide Images) Hematoksilen ve Eozin (H&E) boyalı görüntü çiftlerini sanal olarak boyamak için koşullu çekişmeli üretici ağ (cGAN- The Conditional Generative Adversarial Network) tabanlı bir derin sinir ağının uygulanmasını araştırmaktadır. Açık kaynak olarak sunulan bir veri setini kullanarak, sonuçlarımızı daha büyük bir veri seti kullanan bir referans çalışmayla karşılaştırıyoruz. Sadece yedi adet WSI kullanan yaklaşımımız, 68 WSI kullanan referans çalışmayla karşılaştırıldığında Yapısal Benzerlik İndeksi (SSIM), Tepe Sinyal-Gürültü Oranı (PSNR) ve Pearson Korelasyon Katsayısı (PCC) açısından rekabetçi bir performans göstermektedir. Ayrıca çalışmamızda çekişmeli üretici ağın eğitim sürecinde önerdiğimiz hibrit kayıp fonksiyonu ile sentetik görüntüler ve gerçek görüntülerin değerlendirilmesi sağlanmıştır. Çalışmamızda elde edilen sonuçlar SSIM, PSNR ve PCC değerlerinin ortalaması sırasıyla 0,668, 21,487 ve 0,872 iken, referans çalışmada bu değerler sırasıyla 0,724, 22,609 ve 0,903 olarak hesaplanmıştır. Elde edilen sonuçlar, GAN'ların yüksek kaliteli sanal boyama görüntülerini elde etme potansiyelini ortaya koyarak, kapsamlı veri kümelerine olan ihtiyacı azaltmaktadır ve böylece dijital patoloji için verimlilik ve tekrar edilebilirliği artırmaktadır.

Virtual staining of medical images is an essential approach in digital pathology. Traditional tissue staining is a time-consuming, specialized, and intensive process where staining varies from expert to expert. By using a deep learning approach, virtual staining improves image quality and reduces the costs associated with manual staining. In this study, we investigate the application of a deep neural network based on the Conditional Generative Adversarial Network (cGAN) for virtual staining of unstained whole slide images (WSI-Whole Slide Images) to Hematoxylin and Eosin (H&E) stained image pairs. Using a publicly available dataset, we compare our results with a reference work using a larger dataset. Using only seven WSIs, our approach performs competitively in terms of Structural Similarity Index (SSIM), Peak Signal-to-Noise Ratio (PSNR), and Pearson Correlation Coefficient (PCC) compared to the reference work using 68 WSIs. In addition, in our study, the hybrid loss function we proposed in the training process of the adversarial generative network was used to evaluate synthetic and real images. The average SSIM, PSNR, and PCC values obtained in our study are 0.668, 21.487, and 0.872, respectively, while in the reference study, these values are 0.724, 22.609, and 0.903, respectively. The results demonstrate the potential of GANs to acquire high-quality virtual staining images, reducing the need for extensive datasets and thus increasing efficiency and reproducibility for digital pathology.