Протоковая аденокарцинома поджелудочной железы (PDAC) часто диагностируется на поздних стадиях, что существенно ограничивает возможности раннего вмешательства. Новое исследование представляет мультимодальную платформу моделирования выживаемости для доклинической стратификации риска PDAC с использованием рутинно собираемых клинических данных.
Исследователи разработали унифицированную мультимодальную платформу, интегрирующую гетерогенные источники клинических данных:
- Абдоминальная компьютерная томография (КТ)
- Радиологические заключения
- Структурированные переменные электронных медицинских карт (ЭМК)
Для решения проблем разреженности и гетерогенности данных ЭМК авторы внедрили текстовое кодирование клинических переменных. Объемная вариабельность КТ-изображений была устранена через автоматизированное выделение поджелудочной железы и стандартизированный отбор субобъемов.
Система интегрирует vision-language foundation model (VLM) с целевой функцией моделирования выживаемости, основанной на отрицательном логарифме правдоподобия для оценки выживаемости без рака.
Производительность модели оценивалась на внутренних и внешних валидационных когортах с использованием concordance index (C-index). Мультимодальное объединение в целом превосходило унимодальные подходы по всем когортам.
Vision-language модели продемонстрировали сильную и стабильную дискриминативную производительность, в то время как модели с инженерными признаками достигли конкурентоспособной производительности, особенно при внешней валидации.
Мультимодальная интеграция обеспечила наиболее устойчивую производительность, подчеркивая комплементарную ценность объединения изображений, текста и структурированных клинических данных.
Для решения проблем интерпретируемости, связанных с VLM-модальностями, авторы провели систематические исследования методом исключения, используя модально-специфичную окклюзию и шумовые возмущения для количественной оценки вклада изображений и текстовых признаков.
Результаты поддерживают возможность оппортунистической стратификации риска PDAC на основе рутинно собираемых мультимодальных клинических данных и подчеркивают потенциал мультимодального представительного обучения для раннего выявления риска.