BT Görüntüleme Artefaktları için VLM Tabanlı Yapılandırılmış Değerlendirme

Abstract

X-ray bilgisayarlı tomografi (BT), tıbbi tanıdan endüstriyel uygulamalara kadar geniş bir kullanım alanıyla günümüzün en kritik görüntüleme yöntemlerinden biridir. BT görüntüleri; düşük doz gürültüsü ve ışın sertleşmesi gibi fiziksel kaynaklı bozulmalardan ciddi ölçüde etkilenebilmekte, bu durum görüntü kalitesini ve tanısal doğruluğu olumsuz yönde etkilemektedir. Mevcut yapay zekâ tabanlı yaklaşımlar bu sorunu yalnızca bir sınıflandırma görevi olarak ele almakta; artefaktın fiziksel mekanizmasını açıklayan ve kullanıcıya somut eylem önerisi sunan bir sistem ise literatürde oldukça sınırlı kalmaktadır. Bu çalışmada, BT artefaktlarını tespit eden, fiziksel mekanizmalarını doğal dille açıklayan ve yapılandırılmış eylem önerisi üreten bir görsel-dil modeli (VLM) tabanlı boru hattı (pipeline) önerilmektedir. LLaVA-1.5-7B ve Qwen2-VL-7B modelleri QLoRA ince ayarıyla 2DeteCT veri seti üzerinde eğitilmiş; ince ayar sonrasında LLaVA-1.5-7B %99,8, Qwen2-VL-7B ise %86,9 doğruluk elde etmiştir. Elde edilen sonuçlar, alan uyarlamasının yapılandırılmış artefakt değerlendirmesindeki etkinliğini ortaya koymaktadır.

X-ray computed tomography (CT) is one of today's most critical imaging modalities, with a wide range of applications spanning from medical diagnosis to industrial inspection. CT images can be severely affected by physically induced degradations such as low-dose noise and beam hardening, which compromise image quality and diagnostic accuracy. Existing AI-based approaches largely treat this problem as a pure classification task, and a system that explains the physical mechanisms of artefacts and provides actionable recommendations to the user has not been systematically addressed. In this study, we propose a vision-language model (VLM) based pipeline that detects CT artefacts, explains their physical mechanisms in natural language, and generates structured, actionable recommendations. LLaVA-1.5-7B and Qwen2-VL-7B models were fine-tuned using QLoRA on the 2DeteCT dataset; following fine-tuning, LLaVA-1.5-7B achieved 99.8% accuracy while Qwen2-VL-7B reached 86.9%. The results demonstrate the effectiveness of domain adaptation for structured artefact assessment.