ChatGPT могла бы получить лицензию для работы врачом в США

ChatGPT сдал экзамен по золотому стандарту, необходимый для получения медицинской практики в США - на фоне растущих опасений, что искусственный интеллект может лишить работы "белых воротничков".

Программа искусственного интеллекта набрала от 52,4 до 75 процентов по результатам трех частей экзамена на получение медицинской лицензии (USMLE). Каждый год порог прохождения составляет около 60 процентов.

Исследователи из технологической компании AnsibleHealth, проводившие исследование, заявили: "Достижение проходного балла на этом печально известном сложном экспертном экзамене, причем без какого-либо человеческого подкрепления, знаменует собой заметную веху в развитии клинического ИИ".

Это произошло после того, как DailyMail.com рассказал о пяти профессиях, которым, по мнению экспертов, больше всего угрожает революция ИИ.

Полные результаты исследования, которые были доступны в виде препринта несколько недель назад, теперь прошли рецензирование и опубликованы в журнале PLOS Digital Health.

Разработанный OpenAI, ChatGPT (сокращение от "Chat Generative Pre-trained Transformer") - это языковой бот, способный генерировать человекоподобные ответы.

Технология уже прошла испытания и сдала экзамены в бизнес-школе (Уортонская школа бизнеса при Пенсильванском университете) и юридическом университете (Университет Миннесоты).

В последнем исследовании ученые протестировали программное обеспечение на 350 вопросах из июньского экзамена USMLE 2022 года.

Результаты оценивали два врача, а расхождения рассматривал третий эксперт.

Тест оценивает знания студентов-медиков и врачей, проходящих обучение, по большинству медицинских дисциплин и используется с 1992 года.

USMLE

Step 1 обычно сдается в конце второго года обучения в медицинской школе,

Step 2 - на четвертом курсе,

Step 3 - после окончания медицинской школы и первого года ординатуры.

Ежегодно тест сдают более 100 000 студентов и аспирантов.

В 88,9 процентах ответов ChatGPT был получен "по крайней мере один значительный вывод", который был "новым, неочевидным и клинически обоснованным".

Результаты превзошли показатели PubMedGPT, аналогичной модели, обученной исключительно на литературе биомедицинской области, которая набрала 50,8 процента на более старом наборе данных вопросов в стиле USMLE.

Авторы считают, что полученные ими результаты говорят о том, что ChatGPT может стать ценным инструментом в медицинском образовании.

ИИ-бот "обладает частичной способностью преподавать медицину, раскрывая новые и неочевидные концепции, которые могут не входить в сферу осведомленности обучающихся", - пишут авторы.

Авторы исследования добавляют, что "в настоящее время ИИ имеет все шансы вскоре стать повсеместным в клинической практике и найти разнообразное применение во всех секторах здравоохранения".

Команда AnsibleHealth настолько доверяет ChatGPT, что клиницисты компании начали экспериментировать с его использованием в своих рабочих процессах для переписывания отчетов, перегруженных жаргоном.

Даже команда, проводившая исследование, использовала ChatGPT для написания своих выводов.

ChatGPT внес существенный вклад в написание [нашей] рукописи", - говорит автор исследования доктор Тиффани Кунг. Мы взаимодействовали с ChatGPT как с коллегой, просили его обобщить, упростить и предложить контраргументы к готовящимся черновикам... Все соавторы оценили вклад ChatGPT".

Тем не менее, некоторые эксперты отмечают ограничения в результатах исследования и использовании ИИ.

Профессор Нелло Кристианини, профессор искусственного интеллекта из Университета Бата, сказал: "Это и отдаленно не говорит о том, что ChatGPT обладает знаниями, сравнимыми с человеческими... мы имеем дело со статистическим механизмом, обученным генерировать текст (новый, но "похожий" на тот, на котором он был обучен), в нужном контексте и правильным способом, поэтому не стоит говорить о понимании или связанных с ним понятиях".

Даже OpenAI признает, что инструмент склонен отвечать "правдоподобно звучащими, но неправильными или бессмысленными ответами".

Технология ИИ также может увековечить общественные предубеждения, такие как расовые, гендерные и культурные.

Технологические гиганты, включая Google и Amazon, ранее признавали, что некоторые из их проектов, в которых проводились эксперименты с ИИ, были "этически сомнительными" и имели ограничения. В некоторых компаниях людям пришлось вмешаться и решить эти проблемы.

Тем не менее, доктор Стюарт Армстронг, соучредитель и главный исследователь Aligned AI, считает, что "это впечатляющий результат, и мы должны ожидать, что в будущем мы увидим больше подобных успехов в области ИИ".

Есть много областей, где люди гораздо эффективнее ИИ... Однако это превосходство человека не будет длиться вечно. Однажды ИИ будет лучше нас почти во всех задачах".

Эндрю Кароли, декан Колледжа бизнеса SC Johnson при Корнелльском университете, недавно сказал Financial Times: "Одно мы все знаем точно: ChatGPT не исчезнет. Если что, эти методы искусственного интеллекта будут становиться все лучше и лучше. Преподаватели и администраторы университетов должны вкладывать средства в самообразование".