Опубликовано исследование, в котором оценивали способность специалистов и мультимодальных языковых моделей различать реальные и синтетические рентгенограммы. Семнадцать радиологов из двенадцати учреждений изучали 264 изображения: реальные снимки и синтетические изображения, созданные на основе генеративных моделей.
Специалистам без подсказки было трудно безошибочно отличать синтетические изображения от настоящих. В одном из этапов 41% респондентов спонтанно заметили признаки генерации в определённой группе изображений. После того как участников предупредили о том, что в наборе есть синтетические снимки, средняя точность различения выросла и составила 75%. Эти показатели относятся к разным задачам отбора и не являются напрямую сопоставимыми.
Мультимодальные языковые модели также демонстрировали ошибки при распознавании. Результаты различались в зависимости от используемой модели, конкретных участников и набора изображений, поэтому нельзя утверждать, что любой врач или любая модель всегда ошибается или всегда распознаёт подделку.
Авторы работы отмечают потенциальную уязвимость при использовании синтетических изображений на исследовательских наборах и предлагают усиливать проверку происхождения медицинских изображений, в том числе с помощью цифровых подписей и инструментов обнаружения вмешательств. При этом исследование не доказывает массового внедрения поддельных снимков в клинические системы и не показывает, что какой‑то один инструмент полностью устраняет риск.
