Искусственный интеллект всё активнее адаптируют для медицинских задач, где от модели требуется не просто связный ответ, а надёжная работа с клинической информацией.

Новое исследование медицинских языковых моделей показало, что дополнительное обучение может повысить точность диагностики. Однако вместе с этим меняется и то, как модель запоминает и впоследствии воспроизводит информацию из обучающих данных.

Зачем медицинскому ИИ специальное обучение

Универсальные языковые модели обучаются на огромных массивах разнородной информации. Они могут содержать значительный объём медицинских знаний, но этого недостаточно для надёжной поддержки клинических решений.

Дообучение помогает адаптировать уже существующую модель к конкретным медицинским задачам. В процессе она лучше осваивает клиническую терминологию, диагностические закономерности и связи, характерные для определённой области.

Исследователи изучили несколько этапов такой адаптации: дополнительное предварительное обучение, работу с медицинскими наборами вопросов и ответов, а также дообучение на реальных клинических записях.

Клиническая часть исследования включала более 13 000 медицинских записей, обработанных в защищённой исследовательской среде с соблюдением требований конфиденциальности.

Авторы подчёркивают, что рост точности сам по себе ещё не объясняет, каким образом модель пришла к правильному ответу.

Точность диагностики может расти

После дополнительного обучения показатели одной из языковых моделей заметно улучшились.

Правильный диагноз оказывался на первом месте в 54,8% тестовых случаев после дообучения против 48,6% до адаптации.

Рост был неодинаковым в разных медицинских специальностях. Особенно заметные улучшения исследователи зафиксировали в кардиологии и нефрологии, где прирост в отдельных анализах превышал 10 процентных пунктов.

Такие результаты объясняют интерес к специализированному обучению медицинского ИИ. Клиническая терминология и диагностическое мышление часто требуют знаний, которые встречаются в универсальных наборах данных значительно реже.

Что означает запоминание данных

Отдельное внимание в исследовании уделялось запоминанию. В данном контексте под ним понимается ситуация, когда модель сохраняет информацию из обучающих материалов и позднее способна воспроизводить её полностью или частично.

Само по себе запоминание не обязательно является проблемой. Например, сохранение устойчивых медицинских знаний, клинических рекомендаций или биомедицинских фактов может повышать качество работы модели. Однако исследователи обнаружили разные типы запомненной информации.

Часть относилась к полезным медицинским знаниям, другая представляла собой шаблонные фразы или характерные особенности конкретных наборов данных.

Наибольшую обеспокоенность вызывает способность модели воспроизводить фрагменты, связанные с реальными медицинскими записями или конфиденциальной информацией пациентов.

Точность ещё не означает надёжность

Доцент кафедры биомедицинской информатики и наук о данных Йельской школы медицины Цинъюй Чэнь изучает как возможности, так и слабые стороны медицинского искусственного интеллекта.

Он подчёркивает важное различие между хорошими результатами на тестах и реальной пригодностью системы для клинической практики: высокая оценка на контрольном наборе ещё не означает, что модели можно безоговорочно доверять при работе с пациентами.

Запомненные данные могут сохраняться

Исследование также показало, что последующее дообучение не обязательно удаляет информацию, которую модель запомнила раньше.

В некоторых экспериментальных условиях до 87% информации, запомненной во время дополнительного предварительного обучения, оставалось обнаруживаемой и после следующих этапов адаптации.

Это означает, что новые этапы обучения не гарантируют автоматического «забывания» ранее усвоенных фрагментов.

Почему защита данных особенно важна

Медицинские записи содержат конфиденциальную информацию, поэтому их использование при разработке ИИ требует особой осторожности.

Недостаточно обеспечить только безопасное хранение исходных данных. Исследователям также необходимо проверять, способна ли уже обученная модель впоследствии воспроизводить сведения из материалов, использованных во время обучения.

Именно поэтому оценка риска утечки через саму модель становится отдельной задачей наряду с защитой серверов и баз данных.

Почему одной точности недостаточно

Авторы исследования предлагают оценивать медицинский ИИ шире, чем только по проценту правильных диагнозов.

Помимо точности, необходимо учитывать способность модели работать с новыми случаями, устойчивость результатов, надёжность, степень запоминания обучающих данных и риски для конфиденциальности.

Дообучение действительно может сделать модель более специализированной. Но одновременно оно меняет и то, какая информация сохраняется внутри системы.

Поэтому разработчикам нужны методы, позволяющие отличать полезное усвоение медицинских знаний от нежелательного запоминания конкретных записей.

В будущем медицинские системы ИИ, вероятно, придётся проверять не только на способность правильно определять диагноз, но и на стабильность работы, поведение за пределами обучающих данных и риск воспроизведения конфиденциальной информации.

Главный вывод исследования заключается в том, что качество медицинского ИИ нельзя измерять одной только точностью. Более тщательная проверка запоминания и конфиденциальности может помочь создавать системы, которые будут не только специализированными, но и более надёжными для использования в клинической среде.