ИИ в онкологическом консилиуме и роль врача

Могут ли большие языковые модели надёжно участвовать в обсуждении лечения опухолей печени, желчных путей и поджелудочной железы?

Новое исследование (источник: Journal of Medical Internet Research) обращает внимание на вопрос, который легко упустить при разовой проверке модели: повторит ли она своё решение, получив те же сведения о пациенте. 

Что показало исследование

Авторы ретроспективно рассмотрели 107 случаев, обсуждавшихся междисциплинарной командой одного центра. Четырём большим языковым моделям предоставили стандартизированные описания до заседания консилиума; каждый запрос с одинаковым случаем повторяли четыре раза в отдельных сеансах. Исследователи сравнили устойчивость ответов между повторами и их совпадение с решением команды. Это проверка рекомендаций моделей, а не испытание лечения с участием пациентов.

Средняя доля расхождений с первым ответом составляла от 12,8% до 30,2% в зависимости от модели. Первый ответ совпадал с решением консилиума в 48,6–72,9% случаев; результат менялся и при использовании наиболее частого из четырёх ответов. Для решений о хирургическом лечении показатель F1 был ниже, чем для химиотерапии: 0,400–0,520 против 0,621–0,836. Совпадение с консилиумом не доказывает правильность отдельного решения, как и расхождение не всегда означает ошибку: команды могут обоснованно оценивать один случай по-разному.

Полное расхождение между ответами модели и решением консилиума зарегистрировано в 17 из 107 случаев (15,9%). Среди 31 случая, признанного анатомически нерезектабельным, таких расхождений не было. В исследовательской модели панкреатическая локализация опухоли ассоциировалась с большей вероятностью полного расхождения (скорректированное отношение шансов 7,37; 95% доверительный интервал 2,03–26,78). Это наблюдение помогает определить, какие ситуации стоит проверять особенно тщательно, но не даёт правила для выбора лечения отдельного пациента: оценка основана на небольшом числе расхождений, а доверительный интервал широк.

Работа ограничена одним центром и ретроспективно подготовленными описаниями. Авторы не оценивали, ускоряет ли ИИ работу врачей, предсказывает ли осложнения в данной выборке и меняет ли результаты лечения. Её главный проверенный результат касается устойчивости рекомендаций при повторном запросе.

Комментирует новость доктор медицинских наук, профессор Чжао Алексей Владимирович, главный врач сети клиник К31+

ИИ все больше внедряется в повседневную Жизнь, в том числе и различные сферы медицины, анализ больших данных позволяет предупреждать врачей о риске того или иного осложнения и отдаленном прогнозе в каждом конкретном случае, они не смогут заменить консилиумы , но облегчают врачам рутинную работу по анализу больших даных, ускоряют работу и позволяют сосредоточиться на тонких вещах, не поддающихся пока анализу с помощью ИИ.

Выше перечисленные статьи не выявили каких либо новых закономерностей по сравнению с тем, что мы знали и без ИИ, по всем указанным направлениям были проведены мультицентровые исследования, разработаны шкалы прогноза итп.

От редакции

Комментарий профессора Чжао рассматривает место ИИ в клинической работе шире, чем одно исследование языковых моделей: анализ данных может быть подспорьем, а обсуждение сложного случая остаётся задачей врачей. Само исследование добавляет к этому обсуждению конкретный критерий проверки — устойчивость рекомендации при неизменных исходных данных. Оно не показывает, становится ли решение консилиума лучше или быстрее после применения ИИ. Открытым остаётся вопрос, как оценивать полезность таких инструментов в реальном процессе принятия хирургического решения.

Мы в ВК | ТГ | МАКС