Искусственные интеллектуальные чат-боты в офтальмологии: Повышение образования пациентов и необходимость участия врачей

Аннотация

Цели/предпосылки: Материалы по образованию пациентов (МПО) в офтальмологии часто имеют уровень читабельности, превышающий рекомендуемые нормы, что ограничивает доступность для многих пациентов. Хотя такие организации, как Американская академия офтальмологии (AAO), предоставляют относительно простые в чтении ресурсы, темы остаются ограниченными, а МПО других ассоциаций слишком сложны. Искусственные интеллектуальные чат-боты могут помочь врачам создавать более полные и доступные МПО для улучшения понимания пациентами. Цель данного исследования — сравнить читабельность МПО, написанных Американской академией офтальмологии (AAO), с теми, которые созданы большими языковыми моделями (БЯМ), включая ChatGPT-4o, Microsoft Copilot и Meta-Llama-3.1-70B-Instruct.

Методы: БЯМ были заданы для генерации МПО по 15 распространенным диагнозам, связанным с роговой оболочкой и передней камерой, а затем применен оптимизирующий читабельность запрос для перефразирования содержания на уровне чтения 6 класса. Читабельность этих материалов была оценена с использованием девяти различных библиотек анализа читабельности на Python и сравнена с существующими МПО на сайте AAO.

Результаты: Для всех 15 тем ChatGPT, Copilot и Llama успешно сгенерировали МПО, хотя все они превышали рекомендуемый уровень чтения 6 класса. В результате применения FRO запросов значительно улучшилась читабельность: 8.3 для ChatGPT, 11.2 для Copilot и 9.3 для Llama (p < 0.001). Хотя читабельность улучшилась, МПО, сгенерированные ИИ, в среднем не были статистически легче для чтения, чем МПО AAO, которые в среднем имели уровень 8.0 по шкале Флеша-Кинкейда.

Заключение: Правильно заданный запрос ИИ-чат-боты могут генерировать МПО с улучшенной читабельностью, близкой к материалам AAO. Однако большинство выводов все еще превышает рекомендуемый уровень чтения 6 класса. Субъективный анализ показал, что по сравнению с AAO не хватало нюансов, особенно в областях клинической неопределенности. Создав шаблон, который можно использовать в гибридных мировых потоках человек-ИИ, чат-боты показывают обещание как инструменты для офтальмологов в увеличении доступности МПО в офтальмологии. Будущая работа должна включать детальный качественный обзор офтальмологами с использованием проверенного инструмента (например, DISCERN или PEMAT) для оценки точности, предвзятости и полноты наряду с читабельностью.

Ключевые слова: искусственный интеллект, читабельность пациентов, образование пациентов, передний сегмент, офтальмология.

1. Введение

Офтальмология включает в себя сложные расстройства и методы лечения, связанные с роговой оболочкой и передней камерой. Офтальмология имеет свой собственный язык и точную анатомию, которые могут быть непонятны пациентам. Четкие и эффективные МПО необходимы для повышения понимания, поддержки обоснованного принятия решений и улучшения соблюдения предписаний лечения. В офтальмологии ограниченная здравоохранительная грамотность может прямо влиять на не соблюдение предписаний и отложенное распознавание симптомов, сигнализирующих о потенциально серьезных заболеваниях или осложнениях. Таким образом, улучшение читабельности МПО имеет прямые последствия для безопасности пациентов и результатов зрения. МПО должны придавать приоритет доступности, читабельности и пониманию, чтобы пациенты могли полностью воспользоваться предоставляемой информацией и чувствовать себя уверенно в собственном лечении.

Ожидается, что средний взрослый американец читает на уровне восьмого класса, при этом 47% испытывают трудности с синтезом информации из сложных текстов, и почти 20% не могут понять текст на уровне четвертого класса. На основе этого Американская медицинская ассоциация (AMA) и Национальный институт здоровья (NIH) рекомендуют, чтобы МПО были ниже 7-го класса. Организации, такие как AAO, и специализированные организации улучшили доступность качественных онлайн-ресурсов. Хотя МПО, написанные AAO, относительно легко читаются, диапазон тем ограничен. МПО, опубликованные другими офтальмологическими ассоциациями, были признаны слишком сложными для чтения. Например, Eid et al. обнаружили, что 16 брошюр Американского общества офтальмологических пластических и реконструктивных хирургий в среднем имели уровень чтения 11.2, в то время как Cheng et al. сообщили о МПО по глаукоме с уровнем 10.3, а онлайн МПО педиатрической офтальмологии имели средний уровень 11.8. Следовательно, существует необходимость в легко доступных МПО, охватывающих более широкий спектр тем в офтальмологии, особенно касающихся состояний, затрагивающих роговую оболочку и передний сегмент.

В последние годы мы наблюдаем рост больших языковых моделей (БЯМ) и искусственного интеллекта (ИИ), которые были широко исследованы как инструменты в области здравоохранения. Одним из форматов взаимодействия с этими БЯМ являются чат-боты, которые позволяют пользователю общаться с моделью в разговорном формате. После многих лет разработки OpenAI выпустила ChatGPT в ноябре 2022 года, а Microsoft последовала с Bing Chat (Copilot) в феврале 2023 года. Открытый БЯМ Meta’s Meta-Llama также появился в феврале 2023 года.

В офтальмологии было показано, что ИИ-чат-боты полезны при ведении записей, научном письме и даже способны точно отвечать на вопросы экзамена. С помощью запросов они могут генерировать МПО по запросу, однако качество и читабельность сгенерированных ИИ офтальмологических МПО остаются неопределенными, поскольку ИИ-модели могут «галлюцинировать».

Это исследование вносит уникальный вклад в область, будучи первым, насколько нам известно, оценивающим использование больших языковых моделей (БЯМ) при создании МПО специализированно для диагнозов роговой оболочки и передней камеры. В отличие от предыдущих исследований, мы включили открытые БЯМ, такие как Meta-Llama-3.1-70B-Instruct, наряду с ChatGPT-4o и Microsoft Copilot, тем самым расширив объем оцениваемых инструментов ИИ.

Данное исследование ставит целью сравнить читабельность МПО, созданных ChatGPT-4o, Microsoft Copilot и Meta-Llama-3.1-70B-Instruct, с теми, что размещены на сайте AAO. Мы предполагаем, что используя модификаторы запросов, мы можем создать более читабельные МПО, чем существующие.

2. Материалы и методы

Исследование проводилось в соответствии с принципами Хельсинкской декларации, и никакая информация, относящаяся к Закону о переносимости и подвижности медицинской информации (HIPAA), не использовалась. Этики/Комитет по этике решил, что утверждение не требуется для данного исследования.

В последних доступных версиях ChatGPT-4o, Microsoft Bing Chat/Copilot и открытого Meta-Llama-3.1-70B-Instruct были направлены запросы в конце сентября 2024 года по следующим 15 распространенным диагнозам, связанным с роговой оболочкой и передней камерой: роговичная ссадина, катаракта, кератит, кератоконус, дистрофия Фукса, конъюнктивит, роговичная рана, сухой глаз, синдром иридокорнеального эндотелия, миопия, гиперопия, астигматизм, пингвекула и птеригиум, склерит и трихиаз. Временная функция чата ChatGPT использовалась для того, чтобы удалить любые пользовательские данные и предотвратить использование разговора в качестве обучающих данных. Для имитации временной функции чата каждый раз в Copilot и Llama использовался новый чат. Чтобы минимизировать переменные, веб-поиск был отключен для всех моделей.

Первоначальный запрос был использован следующим образом: «действуйте как сертифицированный офтальмолог с повышенной квалификацией в области роговой оболочки, внешних заболеваний и рефракционной хирургии. На последующие вопросы об офтальмологическом диагнозе сгенерируйте документ по образованию пациентов объемом 675 слов (плюс-минус 40 слов), который легко читается, понимается и логичен для пациентов с любым уровнем образования.

Тема — «[Тема]». Документ должен затрагивать следующие вопросы:

• Что такое эта тема?
• Каковы диагнозы, если таковые имеются?
• Почему необходимо лечение или процедура?
• Каковы риски и осложнения, связанные с этой темой?

Целевой объем вывода основывался на существующих материалах МПО от AAO. Мы выбрали МПО AAO из-за их свободной, публичной доступности и уже высокой читабельности по нескольким темам, актуальным для специалистов по роговой оболочке.

Сразу после этого применялся следующий последующий оптимизирующий запрос для читабельности (FRO): «Пожалуйста, перефразируйте ваш ответ на вывод МПО выше на уровне чтения 6 класса. Пожалуйста, постарайтесь сохранить выходное количество слов максимально схожим». Выводы были сохранены в текстовых файлах и были проанализированы с использованием программы с открытым исходным кодом, py-readability-metrics, которая оценивает текст через девять библиотек анализа читабельности.

3. Результаты

По всем 15 темам ChatGPT, Copilot и Llama смогли успешно создать МПО на основе описанного ранее процесса запросов. По всем индексам читабельность всех МПО была в целом на более высоком уровне по сравнению с рекомендуемым 6 классом в среднем. Среднее значение всех показателей читабельности для МПО AAO составило 8.0 ± 1.5.

4. Обсуждение

Это исследование показывает, что заданные ИИ-чат-боты могут быть полезным инструментом для создания легко читаемых МПО для пациентов. С помощью запросов нам удалось генерировать МПО с БЯМ, которые в среднем соответствовали уровню чтения 7-8 класса, что значительно улучшилось по сравнению с версиями без запросов, но многие темы все еще превышают рекомедации NIH и AMA — уровень 6 класса. Даже когда прямо был задан запрос на написание на уровне чтения ниже 6 класса, чат-боты в среднем генерировали выводы, которые превышали 6 класс и не превосходили существующие материалы, написанные человеком (AAO). Конечно, были использованы итерационные запросы, однако дальнейшие исследования необходимы для изучения инженерии запросов с целью оптимизации создания точных и читабельных МПО.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching