Большие языковые модели могут интерпретировать медицинские заметки и создавать структурированные резюме на простом языке, что потенциально улучшает понимание пациентами сложных планов лечения. Исследователи разработали промпт для LLM, позволяющий суммировать онкологическую консультацию с указанием диагноза, стадии, рекомендаций по лечению, побочных эффектов и предстоящих обследований.
Онколог оценивал каждое резюме по трём критериям: соответствие структуры запросу (/7), точность включённой информации (/13) и читаемость (/10), максимальный балл — 30. Баллы за читаемость снижались при сохранении медицинского жаргона или технических терминов. Вариабельность между врачами оценивалась с помощью однофакторного ANOVA. Пациенты и врачи заполняли опросники по 5-балльной шкале Likert для качественной обратной связи.
Проанализировано 27 резюме от 5 врачей онкологического центра при университете. Средний балл составил 26.7/30 ± 2.4. Большинство снижений связано с сохранением жаргона (медиана 2 термина на резюме). Влияние стиля документирования врача было значимым (η² = 0.363, p=0.035), что указывает на вариабельность между провайдерами.
Завершено 23 опроса врачей и 15 опросов пациентов. 93% врачей и 100% пациентов выразили заинтересованность в использовании резюме в будущем. Врачи оценили точность на 4.8 (из 5), ясность — 4.4, наличие эмпатии — 4.6. Пациенты дали оценки: точность — 4.6, ясность — 4.8, полезность — 4.4.
Ни одно резюме не содержало галлюцинаций (выдуманной информации) и не допускало ошибок в определении целей лечения (куративное или паллиативное). Валидация оценки с привлечением дополнительных рецензентов продолжается.
Резюме, созданные LLM, продемонстрировали высокую точность по оценке клиницистов и получили позитивную обратную связь от пациентов и врачей. Результаты помогут улучшить промпты для повышения согласованности между врачами и сокращения жаргона. Данные поддерживают дальнейшую оценку резюме как масштабируемого инструмента обучения пациентов.
Таблица. Средние баллы (± SD) по категориям структура, точность и читаемость для каждого врача:
| Критерий | Врач 1 | Врач 2 | Врач 3 | Врач 4 | Врач 5 | Среднее | |---|---|---|---|---|---|---| | Структура (/7) | 6.8±0.4 | 6.8±0.45 | 7±0 | 7±0 | 6.8±0.45 | 6.9±0.3 | | Точность (/13) | 12.3±0.8 | 11.8±0.8 | 12.8±0.4 | 12.6±0.9 | 11.2±0.8 | 12.2±0.9 | | Читаемость (/10) | 7.8±0.75 | 5.8±4 | 9.2±0.8 | 7±1.9 | 7.8±0.8 | 7.6±2.2 | | Итого (/30) | 27±0.6 | 24.4±3.3 | 29.2±0.8 | 26.6±2.5 | 25.8±1.8 | 26.7±2.4 |