Оценка прозрачности характеристик моделей ИИ/МЛ для медицинских устройств, проверенных FDA

Быстрая интеграция искусственного интеллекта (ИИ) и машинного обучения (МЛ) в медицинские устройства подчеркивает необходимость прозрачности в отчетности по их регулированию. В 2021 году Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) опубликовало принципы хорошей практики машинного обучения (GMLP), однако соблюдение этих принципов в устройствах, проверенных FDA, остается неопределенным. Мы проанализировали 1,012 сводок безопасности и эффективности (SSED) для устройств, поддерживающих ИИ/МЛ, которые были одобрены или очищены FDA в период с 1970 года по декабрь 2024 года. Прозрачность в разработке моделей и их производительности была оценена с помощью нового показателя прозрачности характеристик ИИ (ACTR) по 17 категориям. Средний балл ACTR составил 3.3 из 17, с умеренным улучшением на 0.88 пункта (95% CI, 0.54–1.23) после введения рекомендаций 2021 года. Почти половина устройств не сообщала о клиническом исследовании, а более половины не предоставляли никаких показателей производительности. Эти результаты подчеркивают пробелы в прозрачности и акцентируют необходимость наличия строгих стандартов для обеспечения доверия к медицинским технологиям на основе ИИ/МЛ.

Введение

Появление мощных технологий искусственного интеллекта в здравоохранении вызвало дебаты о их регулировании. ИИ и МЛ становятся все более интегрированными в медицинские устройства для диагностики и лечения пациентов. FDA является регуляторным органом, который отвечает за эти технологии, если они соответствуют критериям медицинских устройств. Оценка регулирования FDA этих устройств может предоставить важные данные для национальной дискуссии.

В октябре 2021 года FDA разработала набор из десяти руководящих принципов для хорошей практики машинного обучения (GMLP) для медицинских устройств, поддерживающих машинное обучение (MLMDs), в сотрудничестве с Health Canada и Управлением по лекарственным средствам и медицинским изделиям Великобритании.

Результаты

Мы проанализировали 1016 одобренных медицинских устройств, из которых 1012 имели доступные сводки. Даты одобрения устройств охватывают период с 1970 по 2024 год, при этом 99.7% одобрений были после 2000 года и 54.2% после 2021 года.

96.4% устройств были одобрены через путь 510(k) (n = 976), далее шли устройства, одобренные по пути De Novo (n = 32, 3.2%) и пути предварительного одобрения (n = 4, 0.4%). Клинические специализации включали радиологию (n = 769, 76%), кардиологию (n = 99, 9.8%) и неврологию (n = 37, 3.7%).

Показатели производительности

Мы исследовали показатели производительности, которые сообщали устройства. Большинство устройств не предоставляли показатели производительности (n = 522, 51.6%). Наиболее часто сообщаемыми показателями были чувствительность (n = 242, 23.9%) и специфичность (n = 220, 21.7%). Средние показатели чувствительности составили 91.2%, специфичности 91.4%, а AUROC 96.1%.

Оценка ACTR

Прозрачность была количественно оценена с помощью нового показателя прозрачности характеристик ИИ (ACTR), который имеет 17 пунктов. Средний балл ACTR составил 3.3 из 17 возможных. Показатели ACTR улучшились на 0.88 после выхода рекомендаций FDA в 2021 году, что указывает на необходимость дальнейшей работы над законодательством.

Обсуждение

Несмотря на значительное внимание к регулированию технологий ИИ/МЛ, существует немало пробелов в прозрачности и качестве отчетов. Мы нашли существенные недостатки в отчетах по показателям производительности медицинских устройств после получения рыночного одобрения. Только 53.1% устройств указали на наличие клинического исследования, и из этих 62.5% были ретроспективными анализами.

Следует отметить, что отсутствие подробной информации о наборе данных и недостаточная прозрачность в отчетности могут значительно повлиять на возможности применения этих технологий в клинической практике.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching