Исследование трех коммерческих ИИ-сервисов для оценки маммографии по шкале BI-RADS продемонстрировало широкие диапазоны диагностической точности и низкую согласованность как между сервисами, так и с врачом-экспертом. При анализе 99 маммографических исследований (198 молочных желез) диагностическая точность варьировала от умеренной до хорошей, однако согласованность оказалась существенно ниже межэкспертной согласованности врачей-рентгенологов.
Бинарная шкала BI-RADS № 1 (BI-RADS 1-3 против 4-5)
- ROC AUC: 0,644-0,876
- Точность: 0,788-0,909
- Специфичность: 0,816-0,977
- Чувствительность: 0,333-0,883
Бинарная шкала BI-RADS № 2 (BI-RADS 1-2 против 3-5)
- ROC AUC: 0,795-0,915
- Точность: 0,808-0,939
- Специфичность: 0,818-0,961
- Чувствительность: 0,739-0,870
Между ИИ-сервисами
- Бинарная шкала № 1: κ 0,232-0,504
- Бинарная шкала № 2: κ 0,416-0,663
- Полная шкала BI-RADS: κ 0,387-0,564
Между ИИ-сервисами и врачом-экспертом
- Бинарная шкала № 1: κ 0,288-0,641
- Бинарная шкала № 2: κ 0,518-0,832
- Полная шкала BI-RADS: κ 0,570-0,701
Выполнено смешанное ретроспективное диагностическое исследование с анализом 99 анонимизированных маммографических исследований. Врач-эксперт определял категории BI-RADS 1-5 для каждой молочной железы отдельно, что служило референсным стандартом. Статистический анализ включал оценку ROC AUC, чувствительности, специфичности и точности с 95% доверительными интервалами.
Для оценки согласованности использовались внутриклассовая корреляция и каппа Коэна. Сравнение диагностических показателей проводили с помощью теста Мак-Немара, различия согласованности оценивали bootstrap-анализом с 5000 повторений.
Полученные результаты подтверждают литературные данные о широких диапазонах колебаний диагностической точности ИИ-сервисов для маммографии. Критически важно, что согласованность ИИ-сервисов как между собой, так и с врачом-экспертом оказалась существенно ниже межэкспертной согласованности врачей-рентгенологов, установленной в предыдущих исследованиях.
Эти данные указывают на необходимость дальнейшего совершенствования ИИ-технологий для маммографического скрининга и важность сохранения роли врача-рентгенолога в интерпретации результатов.