Не прочитав ни одного учебника, не проведя ни дня в медицинской школе, соавтор исследования с препринтом правильно ответил на достаточное количество практических вопросов, чтобы оно прошло настоящий экзамен на медицинское лицензирование в США.
Но испытуемый не был членом Mensa или ученым-медиком; это был искусственный интеллект.
Инструмент, который был создан для того, чтобы отвечать на вопросы пользователей в разговорной манере, вызвал столько шума, что врачи и ученые пытаются определить, каковы его ограничения – и что он может сделать для здоровья и медицины.
Что такое ChatGPT, а что нет
ChatGPT, или чат-генеративный предварительно обученный трансформатор, - это инструмент обработки естественного языка, управляемый искусственным интеллектом.
Технология, созданная OpenAI из Сан-Франциско и запущенная в ноябре, не похожа на хорошо зарекомендовавшую себя поисковую систему. Он даже не подключен к Интернету. Скорее всего, программист-человек передает ему огромное количество онлайновых данных, которые хранятся на сервере.
Он может отвечать на вопросы, даже если никогда раньше не видел определенную последовательность слов, потому что алгоритм ChatGPT обучен предсказывать, какое слово появится в предложении, основываясь на контексте того, что стоит перед ним. Он использует знания, хранящиеся на его сервере, для генерации своего ответа.
ChatGPT также может отвечать на последующие вопросы, признавать ошибки и отклонять неуместные вопросы, говорится в сообщении компании. Его можно попробовать бесплатно, пока его создатели тестируют его.
Медицинский интерес очень силен
Программы искусственного интеллекта существуют уже некоторое время, но эта вызвала такой большой интерес, что медицинские практики, профессиональные ассоциации и медицинские журналы создали целевые группы, чтобы посмотреть, как это может быть полезно, и понять, какие ограничения и этические проблемы это может вызвать.
Практика доктора Виктора Ценга, Ansible Health, создала целевую группу по этому вопросу. Пульмонолог является медицинским директором калифорнийской группы и соавтором исследования, в котором ChatGPT продемонстрировал, что он, вероятно, может сдать экзамен на медицинское лицензирование.
Ценг сказал, что его коллеги начали экспериментировать с ChatGPT в прошлом году и были заинтригованы, когда он точно диагностировал мнимых пациентов в гипотетических сценариях.
Мы были просто настолько впечатлены и по-настоящему ошеломлены красноречием и своего рода плавностью его ответа, что решили, что нам действительно следует включить это в наш формальный процесс оценки и начать тестировать его на соответствие эталону медицинских знаний”, - сказал он.
Этим ориентиром был тест из трех частей, который должны пройти выпускники медицинских школ США, чтобы получить лицензию на медицинскую практику. Обычно это считается одной из самых сложных профессий, потому что в ней не задаются прямые вопросы с ответами, которые можно легко найти в Интернете.
Экзамен проверяет базовые научные и медицинские знания и ведение случаев, но он также оценивает клинические рассуждения, этику, критическое мышление и навыки решения проблем.
Исследовательская группа использовала 305 общедоступных тестовых вопросов из образца экзамена в июне 2022 года. Ни один из ответов или связанного с ними контекста не был проиндексирован в Google до 1 января 2022 года, поэтому они не будут частью информации, на которой обучался ChatGPT. Авторы исследования удалили примеры вопросов, которые содержали визуальные элементы и графики, и начали новую сессию чата для каждого заданного ими вопроса.
Студенты часто тратят сотни часов на подготовку, и медицинские школы обычно выделяют им свободное от занятий время только для этой цели. ChatGPT не должен был выполнять ничего из этой подготовительной работы.
Искусственный интеллект справился со всеми частями экзамена или почти сдал их без какой-либо специальной подготовки, продемонстрировав “высокий уровень согласованности и проницательности в своих объяснениях”, говорится в исследовании.
Ценг был впечатлен.
“Здесь много отвлекающих маневров”, - сказал он. “Погуглить или попытаться хотя бы интуитивно разобраться с помощью подхода "открытая книга" очень сложно. Чтобы ответить таким образом на один вопрос, могут потребоваться часы. Но ChatGPT смог дать точный ответ примерно в 60% случаев с убедительными объяснениями в течение пяти секунд ”.
Доктор Алекс Мехабер, вице-президент Национального совета медицинских экспертов США по лицензированию медицинских услуг, сказал, что результаты прохождения ChatGPT его не удивили.
“Входной материал действительно в значительной степени отражает медицинские знания и тип вопросов с множественным выбором, с которыми ИИ, скорее всего, добьется успеха”, - сказал он.
Мехабер сказал, что правление также тестирует ChatGPT с помощью экзамена. Участники особенно заинтересованы в ответах, которые технология дала неправильно, и они хотят понять, почему.
“Я думаю, что эта технология действительно захватывающая”, - сказал он. “Мы также были достаточно осведомлены и бдительны в отношении рисков, которые несут большие языковые модели с точки зрения потенциальной дезинформации, а также потенциально вредных стереотипов и предвзятости”.
Он считает, что у этой технологии есть потенциал.
“Я думаю, что это будет становиться все лучше и лучше, и мы взволнованы и хотим выяснить, как нам принять это и правильно использовать”, - сказал он.
Другие медицинские возможности
ChatGPT уже вступил в дискуссию вокруг исследований и публикаций.
Результаты исследования экзамена на медицинское лицензирование были даже записаны с помощью ChatGPT. Первоначально технология была указана в качестве соавтора проекта, но Ценг говорит, что, когда исследование будет опубликовано в журнале PLOS Digital Health в этом году, ChatGPT не будет указан в качестве автора, потому что это будет отвлекать.
В прошлом месяце журнал Nature опубликовал рекомендации, в которых говорилось, что ни одна такая программа не может быть признана автором, поскольку “любое присвоение авторства влечет за собой ответственность за работу, а инструменты искусственного интеллекта не могут взять на себя такую ответственность”.
Но статья, опубликованная в четверг в журнале Radiology, была почти полностью написана ChatGPT. Был задан вопрос, может ли она заменить человека-медицинского писателя, и программа перечислила многие из ее возможных применений, включая написание отчетов об исследованиях, создание документов, которые будут читать пациенты, и перевод медицинской информации на различные языки.
Тем не менее, у него есть некоторые ограничения.
“Я думаю, что это определенно поможет, но все в ИИ нуждается в ограждениях”, - сказала доктор Линда Мой, редактор журнала Radiology и профессор радиологии в медицинской школе Гроссмана Нью-Йоркского университета.
Она сказала, что статья ChatGPT была довольно точной, но в ней содержались некоторые ссылки.
Одна из других проблем моего заключается в том, что искусственный интеллект может фальсифицировать данные. Это так же хорошо, как и информация, которую он получает, и с таким количеством неточной информации, доступной в Интернете о таких вещах, как вакцины против Covid-19, он может использовать это для получения неточных результатов.
Коллега моего Арти Шен, аспирант Центра науки о данных Нью-Йоркского университета, изучает потенциал ChatGPT как своего рода транслятора для других программ искусственного интеллекта для анализа медицинских изображений. В течение многих лет ученые изучали программы искусственного интеллекта от стартапов и крупных компаний, таких как Google, которые могут распознавать сложные закономерности в данных изображений. Надежда состоит в том, что они могли бы обеспечить количественные оценки, которые потенциально могли бы выявлять заболевания, возможно, более эффективно, чем человеческий глаз.
“Искусственный интеллект может поставить вам очень точный диагноз, но они никогда не скажут вам, как они достигают этого диагноза”, - сказал Шен. Он считает, что ChatGPT мог бы работать с другими программами, чтобы зафиксировать свое обоснование и наблюдения.
“Если они могут говорить, это потенциально позволит этим системам передавать свои знания таким же образом, как опытный рентгенолог”, - сказал он.
Инструмент, помогающий врачам становиться лучше?
Ценг сказал, что в конечном счете он считает, что ChatGPT может улучшить медицинскую практику во многом таким же образом, как онлайн-медицинская информация расширила возможности пациентов и заставила врачей стать лучшими коммуникаторами, потому что теперь они должны предоставлять информацию о том, что пациенты читают онлайн.
Результаты сообщаются доктору Санджаю Гупте каждый вторник из отдела здравоохранения CNN.
ChatGPT не заменит врачей. Группа Ценга продолжит тестировать его, чтобы узнать, почему он создает определенные ошибки и какие другие этические параметры необходимо установить, прежде чем использовать его по-настоящему. Но Ценг считает, что это могло бы сделать медицинскую профессию более доступной. Например, врач может попросить ChatGPT упростить сложный медицинский жаргон до языка, понятного человеку с образованием седьмого класса.
“ИИ здесь. Двери открыты”, - сказал Ценг. “Моя основная надежда заключается в том, что это действительно сделает меня и сделает нас как врачей и поставщиков услуг лучше”.
