Большие языковые модели перспективны для поддержки клинических решений, но обычно не интегрируют медицинские изображения. Мультимодальные визуально-языковые модели (vision-language models) предложены как решение, однако данных об их эффективности, особенно в сравнении с классическим машинным обучением, недостаточно. PSMA-направленная радиофармтерапия — признанный метод лечения метастатического кастрационно-резистентного рака предстательной железы (мКРРПЖ), но прогнозирование долгосрочного ответа остаётся сложной задачей.
Исследователи разработали visual question answering (VQA) framework — систему, воспроизводящую структурированную интеграцию PSMA-визуализации и клинических данных, которую используют врачи при оценке общей выживаемости. Ретроспективное многоцентровое исследование включило 110 пациентов с мКРРПЖ, получавших [177Lu]Lu-PSMA I&T или [177Lu]Lu-PSMA-617 в двух академических центрах.
VQA-модель объединяет 3D-кодировщик изображений, доменспецифичную языковую модель RadBERT и кросс-модальный трансформер для обработки базовых и промежуточных (после 2 циклов) ПЭТ/ОФЭКТ, клинических данных и клинического запроса. Модель обучалась прогнозировать 24-месячную выживаемость.
VQA превзошла все современные подходы, показав точность, сопоставимую с query-free attention multimodal fusion model. При интеграции ОФЭКТ/ПЭТ с уровнем ПСА точность составила 81,8% (95% CI 0,52–0,95). Внешняя валидация на когорте [177Lu]Lu-PSMA-617 после few-shot fine-tuning показала 71,9% точность (95% CI 0,53–0,86) с дальнейшим превосходством в стратификации выживаемости над всеми сравниваемыми методами.
VQA продемонстрировала наиболее точную калибровку с реальным распределением выживаемости — статистически значимых различий не выявлено (log-rank test, P=0,76). ROC-анализ показал наивысшую площадь под кривой (AUC 0,75) среди оцениваемых моделей. Система продемонстрировала адаптивность к различным PSMA-лигандам при сохранении улучшенной прогностической эффективности.
Принятие врачебного workflow даёт VQA-подходу преимущества в интеграции imaging и лабораторных данных для поддержки клинических решений по сравнению с традиционным машинным обучением. Результаты обосновывают дальнейшую оценку VQA-систем для прогнозирования выживаемости у пациентов с мКРРПЖ, получающих PSMA-радиофармтерапию.