Düzen Farkındalıklı Görme-Dil Modelleri Kullanarak Kurumsal Raporlarda Görsel İçeriklerin Anlamsal İIişki Tespiti

Abstract

Bu çalışma, kurumsal sürdürülebilirlik raporlarındaki görsel içeriğin çevreleyen metinle anlamsal tutarlılığını otomatik olarak değerlendiren bir sistem sunmaktadır. Önerilen sistem dört aşamadan oluşmaktadır: (1) PDF belgelerinden sayfa düzeni bilgisiyle birlikte içerik çıkaran MinerU Ayrıştırıcı, (2) çıkarılan verileri sorgulanabilir tablolara dönüştüren Parquet Normalleştirici, (3) her görseli çevreleyen sayfa metniyle birlikte bir Görme-Dil Modeline (VLM) sunarak uygunluk puanı üreten İyimser Tarayıcı (Optimistic Scanner) ve (4) yalnızca ilgili sayfa metnini kullanarak bu puanları doğrulayan Bağımsız Denetçi (Independent Auditor). Sistem 30 rapor üzerinde test edilmiş; %83,3 kesinlik (precision) ve 0,79 F1 skoru elde edilmiştir.

This paper presents an automated system for evaluating the semantic consistency between visual content and its surrounding text in corporate sustainability reports. The proposed system comprises four stages: (1) a MinerU Parser that extracts content alongside layout information from PDF documents, (2) a Parquet Normalizer that converts the extracted data into queryable tables, (3) an Optimistic Scanner that queries a Vision-Language Model (VLM) with each image and its surrounding text to generate a relevance score, and (4) an Independent Auditor that verifies these scores using only the text from the corresponding page. Evaluated on 30 reports, the system achieves a precision of 83.3% and an F1-score of 0.79.