Ученые MIT исследуют риск запоминания в эпоху клинического ИИ.
Для чего нужна конфиденциальность пациентов? Клятва Гиппократа, считающаяся одним из самых ранних и широко известных текстов медицинской этики в мире, гласит: «Все, что я увижу или услышу в жизни моих пациентов, будь то в связи с моей профессиональной практикой или нет, и что не должно быть разглашено вне, я сохраню в тайне, считая все такое личным».
По мере того как приватность становится все более дефицитной в эпоху алгоритмов, жаждущих данных, и кибератак, медицина остается одной из немногих областей, где конфиденциальность по-прежнему является центральным элементом практики, позволяя пациентам доверять врачам свои чувствительные данные.
Однако статья, соавторами которой являются исследователи MIT, изучает, как модели искусственного интеллекта, обученные на де-идентифицированных электронных медицинских записях (ЭМЗ), могут запоминать информацию, относящуюся к конкретным пациентам. Работа, недавно представленная на конференции NeurIPS 2025, предлагает строгую методику тестирования, чтобы убедиться, что целевые подсказки не могут раскрыть информацию, и подчеркивает, что утечку необходимо оценивать в контексте здравоохранения, чтобы определить, действительно ли она ставит под угрозу конфиденциальность пациентов.
Фондовые модели, обученные на ЭМЗ, обычно должны обобщать знания для улучшения прогнозов, опираясь на множество записей пациентов. Но при «запоминании» модель опирается на одну конкретную запись пациента при формировании ответа, что потенциально нарушает конфиденциальность. Примечательно, что уже известно о склонности фундаментальных моделей к утечкам данных.
«Знания в этих высокоемких моделях могут быть ресурсом для многих сообществ, но злоумышленники могут побудить модель извлечь информацию из обучающих данных», — говорит Сана Тонекабони, постдок в Центре Эрика и Венди Шмидт при Броудовском институте MIT и Гарварда и первый автор статьи. Учитывая риск того, что фундаментальные модели также могут запоминать приватные данные, она отмечает: «эта работа является шагом к тому, чтобы у нашего сообщества были практические оценочные процедуры до выпуска моделей».
Для исследования потенциального риска, который модели на основе ЭМЗ могут представлять в медицине, Тонекабони обратилась к доценту MIT Марзие Гассеми, ведущему научному сотруднику в Абдул Латиф Джамиль Клиник по машинному обучению в области здравоохранения (Jameel Clinic) и члену Лаборатории компьютерных наук и искусственного интеллекта. Гассеми, факультетский сотрудник в департаменте электротехники и информатики MIT и Институте инженерии и медицины, руководит группой Healthy ML, сосредоточенной на устойчивом машинном обучении в здравоохранении.
Сколько информации требуется злоумышленнику, чтобы раскрыть чувствительные данные, и каковы риски, связанные с утекшей информацией? Чтобы оценить это, исследовательская группа разработала серию тестов, которые, как они надеются, заложат основу для будущих оценок приватности. Эти тесты призваны измерять различные типы неопределенности и оценивать их практический риск для пациентов, анализируя различные уровни возможных атак.
«Мы действительно пытались сделать упор на практичности; если атакующему нужно знать дату и значения дюжины лабораторных тестов из вашей записи, чтобы извлечь информацию, риск причинения вреда очень мал. Если у меня уже есть доступ к таким защищенным исходным данным, зачем мне атаковать большую фундаментальную модель ради большего?» — говорит Гассеми.
С неизбежной цифровизацией медицинских записей утечки данных стали более частыми. За последние 24 месяца Министерство здравоохранения и социальных служб США зафиксировало 747 утечек медицинской информации, затронувших более 500 человек, при этом большинство инцидентов классифицируются как взлом/ИТ-инциденты.
Пациенты с уникальными заболеваниями особенно уязвимы, поскольку их легко выделить. «Даже при де-идентифицированных данных многое зависит от того, какую именно информацию вы раскрываете об индивидууме», — говорит Тонекабони. «Как только вы идентифицируете человека, вы узнаете гораздо больше».
В ходе структурированных тестов исследователи обнаружили, что чем больше информации у атакующего о конкретном пациенте, тем выше вероятность утечки со стороны модели. Они продемонстрировали, как отличить случаи обобщения моделью знаний от случаев запоминания на уровне пациента, чтобы корректно оценивать риск для приватности.
В статье также подчеркивается, что некоторые утечки более вредны, чем другие. Например, раскрытие моделью возраста или демографических данных пациента может считаться менее опасной утечкой по сравнению с раскрытием более чувствительной информации, такой как диагноз ВИЧ или злоупотребление алкоголем.
Исследователи отмечают, что пациенты с уникальными состояниями особенно уязвимы, поскольку их легко вычислить, что может требовать более высокого уровня защиты. «Даже при де-идентифицированных данных многое зависит от того, какую именно информацию вы раскрываете об индивидууме», — повторяет Тонекабони. Команда планирует расширить работу, сделав ее более междисциплинарной, привлекая клиницистов, экспертов по приватности и юристов.
«Есть причина, по которой наши данные о здоровье являются частными», — говорит Тонекабони. «Нет никакой причины, чтобы другие о них знали».
Эта работа поддержана Центром Эрика и Венди Шмидт при Броудовском институте MIT и Гарварда, Wallenberg AI, Фондом Кнута и Алисы Валленберг, Национальным научным фондом США, грантом Фонда Гордона и Бетти Мур, наградой Google Research Scholar и программой AI2050 при Schmidt Sciences. Ресурсы, использованные при подготовке исследования, были частично предоставлены провинцией Онтарио, правительством Канады через CIFAR и компаниями-спонсорами Института Vector.
