Исследователи оценили производительность четырёх конфигураций больших языковых моделей — GPT-4o, GPT-5.4, DS-Fast и DS-Expert — на коммерчески доступном наборе подготовительных вопросов к китайскому национальному квалификационному экзамену по радиационной онкологии (средний уровень) 2025 года. Анализировались показатели точности, доля идентичных ответов, согласованность между моделями и время обработки запросов.
Все четыре конфигурации тестировались с использованием одинакового промпта на китайском языке без предварительного обучения (zero-shot). Точность оценивалась с 95% доверительными интервалами Уилсона. Попарные различия в основном китайскоязычном анализе оценивались точным тестом Макнемара с поправкой Холма. Дополнительно проведён контролируемый анализ на английских переводах тех же вопросов.
Общая точность на китайском языке составила:
- GPT-4o: 56.7% (95% ДИ 53.7–59.7)
- GPT-5.4: 66.1% (95% ДИ 63.2–68.9)
- DS-Fast: 98.4% (95% ДИ 97.4–99.0)
- DS-Expert: 99.8% (95% ДИ 99.3–99.9)
Все шесть попарных сравнений остались статистически значимыми после поправки Холма.
DS-Fast и DS-Expert дали идентичные ответы в 98.2% случаев, и все эти совпадающие ответы были правильными.
GPT-5.4 и DS-Expert показали 100% условную точность среди совпадающих ответов, но доля идентичных ответов составила только 65.9%.
Оценочная задержка модели была минимальной для DS-Fast (0.68 ± 1.00 секунд) и максимальной для DS-Expert (3.69 ± 2.24 секунд).
При тестировании на английских переводах вопросов общая точность составила 62.6%, 61.5%, 66.5% и 76.9% соответственно. DS-Expert сохранил лидерство, но его преимущество над GPT-моделями существенно уменьшилось.
Конфигурации DeepSeek значительно превзошли GPT-модели на китайскоязычном экзаменационном наборе по радиационной онкологии, при этом DS-Expert достиг наивысшей точности. Однако производительность существенно зависела от языка вопросов. Результаты поддерживают дальнейшую оценку для проверки ответов и повторения практических вопросов, но не устанавливают образовательную эффективность.