Контекст и цель исследования

Пациенты с ограниченным знанием английского языка сталкиваются со значительными барьерами в доступе к онкологической помощи, однако большинство образовательных материалов о противоопухолевой терапии остаётся только на английском. Большие языковые модели (LLM) обеспечивают быстрый и масштабируемый перевод, но строгая оценка качества в онкологическом контексте до сих пор отсутствует. Фреймворк Multidimensional Quality Metrics (MQM) классифицирует ошибки по восьми категориям и четырём уровням серьёзности; критические ошибки (прямое влияние на безопасность пациента или приверженность лечению) автоматически приводят к отклонению перевода независимо от общей оценки.

Методы

Шесть образовательных документов по гастроинтестинальным опухолям перевели на испанский и упрощённый китайский с помощью четырёх LLM: GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro Preview и TranslateGemma 27B (open-source), что дало 48 единиц перевода. LLM-MQM применяли с тремя независимыми LLM-оценщиками, использующими MQM-scorecard: каждый перевод оценивали по шкале 0–100 через взвешенные по серьёзности штрафы за ошибки (×25 критические, ×5 значимые, ×1 незначительные, нормализованные по числу слов). Семантическое сходство по Language-Agnostic BERT Sentence Embedding (LaBSE) служило дополнительной валидированной метрикой.

Результаты

В 144 оценках аннотировано 346 ошибок. Преобладающие классы: accuracy/major (31,5%), accuracy/minor (22,0%), style/minor (14,2%), terminology/minor (13,0%) и accuracy/critical (9,0%). Межэкспертное согласие было умеренным-хорошим в испанском (Pearson r = 0,56–0,72) и хорошим-отличным в китайском (r = 0,68–0,87).

Три frontier-LLM достигли почти максимальных AI-MQM-оценок в испанском (99,7–99,8/100) без критических флагов безопасности; оценки для китайского разошлись: GPT-5.4: 98,4±2,6; Gemini 3.1 Pro Preview: 95,9±5,0; Claude Sonnet 4.6: 94,0±6,4. TranslateGemma 27B показала заметно более низкие результаты (76,9±17,0) с критическими флагами безопасности в 4 из 6 китайских документов.

LaBSE-метрика для испанского составила 0,963–0,965 у frontier-моделей против 0,955 у TranslateGemma; для китайского — 0,875–0,898 у всех моделей.

Выводы

LLM-MQM с тремя независимыми LLM-оценщиками обеспечил клинически структурированную воспроизводимую оценку качества с хорошим межэкспертным согласием и значимым выявлением критических ошибок безопасности. Три frontier-LLM достигли почти потолочных MQM-оценок в испанском и высоких, но дифференцированных в китайском; open-source модель генерировала существенно больше критических ошибок. Проводится валидация через MQM-оценку двуязычными онкологическими специалистами как референсный стандарт.