Когда люди заходят на сайт Koko, онлайновой службы эмоциональной поддержки, расположенной в Сан-Франциско, они рассчитывают обменяться сообщениями с анонимным добровольцем. Они могут спросить совета по поводу отношений, обсудить свою депрессию или найти поддержку практически во всем остальном - своего рода бесплатное цифровое плечо, на которое можно опереться.
Но для нескольких тысяч человек психиатрическая помощь, которую они получали, была не совсем человеческой. Вместо этого она была дополнена роботами.
В октябре компания Koko провела эксперимент, в котором GPT-3, недавно ставший популярным чатбот с искусственным интеллектом, писал ответы полностью или частично. Люди могли редактировать ответы и по-прежнему нажимали кнопки для их отправки, но они не всегда были их авторами.
По словам соучредителя Koko Роберта Морриса, около 4 000 человек получили от Koko ответы, хотя бы частично написанные искусственным интеллектом.
Эксперимент на маленькой и малоизвестной платформе разросся в острую полемику после того, как он был обнародован неделю назад, что может стать преддверием новых этических споров, которые будут возникать по мере того, как технология ИИ будет прокладывать себе путь во все большее количество потребительских товаров и медицинских услуг.
Моррис решил, что это стоящая идея, потому что GPT-3 часто бывает одновременно быстрым и красноречивым, сказал он в интервью NBC News.
"Люди, которые видели написанные совместно с GTP-3 ответы, оценивали их значительно выше, чем те, которые были написаны исключительно человеком. Это было интересным наблюдением", - сказал он.
Моррис сказал, что у него нет официальных данных по этому тесту.
Однако, как только люди узнавали, что сообщения были созданы машиной, преимущества улучшенного письма исчезали. "Симулированная эмпатия кажется странной, пустой", - написал Моррис в Twitter.
Когда он поделился результатами эксперимента в Твиттере 6 января, на него обрушился шквал критики. Академики, журналисты и коллеги-технологи обвинили его в том, что он поступил неэтично и обманом заставил людей стать подопытными без их ведома или согласия, когда они находились в уязвимом положении и нуждались в психиатрической помощи. Его сообщение в Твиттере набрало более 8 миллионов просмотров.
Отправители составленных ИИ сообщений, конечно, знали, написали ли они их или отредактировали. Но получатели видели только уведомление, которое гласило: "Кто-то ответил на ваше сообщение! (написано в сотрудничестве с ботом Koko)" без дальнейших подробностей о роли бота.
В демонстрации, которую Моррис разместил в Интернете, GPT-3 ответил человеку, который говорил о том, что ему трудно стать лучшим человеком. Чатбот сказал: "Я слышу тебя. Ты пытаешься стать лучшим человеком, и это нелегко. Нам трудно что-то изменить в своей жизни, особенно когда мы пытаемся сделать это в одиночку. Но вы не одиноки".
По словам Морриса, не было возможности отказаться от участия в эксперименте, кроме как не читать ответ вообще. "Если бы вы получили сообщение, вы могли бы пропустить его и не читать", - сказал он.
Лесли Вольф, профессор права Университета штата Джорджия, которая пишет и преподает этику научных исследований, сказала, что ее беспокоит то, как мало Коко сообщает людям, получающим ответы, дополненные искусственным интеллектом.
"Это организация, которая пытается оказать столь необходимую поддержку в условиях кризиса психического здоровья, когда у нас нет достаточных ресурсов для удовлетворения потребностей, и когда мы манипулируем людьми, которые уязвимы, это не очень хорошо, - сказала она. По ее словам, люди, испытывающие душевную боль, могут чувствовать себя еще хуже, особенно если ИИ создает необъективные или небрежные тексты, которые остаются без внимания.
Теперь компания Koko защищается по поводу своего решения, а вся технологическая индустрия снова сталкивается с вопросами о том, как непринужденно она иногда превращает непритязательных людей в лабораторных крыс, особенно по мере того, как все больше технологических компаний приходят в сферу медицинских услуг.
Конгресс обязал контролировать некоторые тесты с участием людей в 1974 году после разоблачения вредных экспериментов, включая исследование сифилиса Таскиги, в ходе которого правительственные исследователи вводили сифилис сотням чернокожих американцев, которые не получали лечения и иногда умирали. В результате университеты и другие организации, получающие федеральную поддержку, должны следовать строгим правилам при проведении экспериментов с участием людей, и этот процесс обеспечивается так называемыми институциональными наблюдательными советами, или IRB.
Но, в общем, нет таких юридических обязательств для частных корпораций или некоммерческих групп, которые не получают федеральной поддержки и не ищут одобрения от Управления по контролю за продуктами и лекарствами.
Моррис сказал, что "Коко" не получал федерального финансирования.
"Люди часто бывают шокированы, узнав, что в США не существует законов, специально регулирующих исследования на людях", - сказал в электронном письме Алекс Джон Лондон, директор Центра этики и политики Университета Карнеги-Меллон и автор книги по этике исследований.
Он сказал, что даже если организация не обязана проходить проверку IRB, она должна это делать, чтобы снизить риски. Он сказал, что хотел бы знать, какие шаги предприняла компания Koko, чтобы гарантировать, что участниками исследования "не были наиболее уязвимые пользователи, находящиеся в остром психологическом кризисе".
Моррис сказал, что "пользователи с повышенным риском всегда направляются на кризисные линии и другие ресурсы", и что "Koko внимательно следила за ответами, когда функция работала".
После публикации этой статьи Моррис сообщил в субботу по электронной почте, что компания Koko сейчас рассматривает возможность создания стороннего процесса IRB для рассмотрения изменений в продукте. По его словам, он хотел выйти за рамки существующих отраслевых стандартов и показать, что возможно для других некоммерческих организаций и служб.
Существуют печально известные примеры того, как технологические компании используют вакуум надзора. В 2014 году Facebook**** раскрыл, что провел психологический эксперимент на 689 000 человек, показав, что он может распространять негативные или позитивные эмоции подобно заразе, изменяя содержание новостных лент людей. Facebook****, теперь известная как Meta**, извинилась и пересмотрела свой внутренний процесс проверки, но она также заявила, что люди должны были знать о возможности таких экспериментов, прочитав условия обслуживания Facebook**** - позиция, которая озадачила людей за пределами компании из-за того, что немногие люди действительно имеют представление о соглашениях, которые они заключают с такими платформами, как Facebook****.
Но даже после бурного обсуждения исследования Facebook**** не произошло никаких изменений в федеральном законодательстве или политике, чтобы сделать надзор за экспериментами на людях всеобщим.
Koko - это не Facebook**** с его огромными прибылями и базой пользователей. Koko - это некоммерческая платформа и страстный проект Морриса, бывшего специалиста по данным Airbnb, получившего докторскую степень в Массачусетском технологическом институте. Это сервис для взаимной поддержки - а не потенциальный конкурент профессиональных терапевтов - и он доступен только через другие платформы, такие как Discord и Tumblr, а не как отдельное приложение.
По словам Морриса, за последний месяц в Koko приняли участие около 10 000 добровольцев, и около 1 000 человек в день получают от него помощь.
"Суть моей работы заключается в том, чтобы понять, как помочь людям, испытывающим эмоциональные страдания в Интернете", - сказал он. "В Интернете миллионы людей ищут помощи".
В стране ощущается нехватка специалистов, обученных оказывать помощь в области психического здоровья, даже несмотря на то, что симптомы тревоги и депрессии резко возросли во время пандемии коронавируса.
"Мы заставляем людей в безопасной обстановке писать друг другу короткие послания надежды", - сказал Моррис.
Критики, однако, сосредоточились на вопросе о том, давали ли участники информированное согласие на эксперимент.
Камилла Небекер, профессор Калифорнийского университета в Сан-Диего, специализирующаяся на этике исследований человека применительно к новым технологиям, говорит, что "Коко" создал ненужный риск для людей, ищущих помощи. По ее словам, информированное согласие участника исследования включает, как минимум, описание потенциальных рисков и преимуществ, написанное ясным и простым языком.
"Информированное согласие невероятно важно для традиционных исследований", - сказала она. "Это краеугольный камень этической практики, но когда у вас нет такого требования, общественность может оказаться в опасности".
Она отметила, что искусственный интеллект также настораживает людей своим потенциалом предвзятости. И хотя чат-боты получили широкое распространение в таких областях, как обслуживание клиентов, это все еще относительно новая технология. В этом месяце школы Нью-Йорка запретили ChatGPT, боту, созданному на основе технологии GPT-3, использовать школьные устройства и сети.
"Мы находимся на Диком Западе", - сказал Небекер. "Просто слишком опасно не иметь каких-то стандартов и соглашения о правилах дорожного движения".
FDA регулирует некоторые мобильные медицинские приложения, которые, по ее мнению, соответствуют определению "медицинского устройства", например, приложение, которое помогает людям избавиться от опиоидной зависимости. Но не все приложения соответствуют этому определению, и в сентябре агентство выпустило руководство, чтобы помочь компаниям понять разницу. В заявлении, предоставленном NBC News, представитель FDA сказал, что некоторые приложения, обеспечивающие цифровую терапию, могут считаться медицинскими устройствами, но согласно политике FDA, организация не комментирует конкретные компании.
В отсутствие официального надзора другие организации пытаются решить, как применить ИИ в областях, связанных со здоровьем. Компания Google, которая испытывает трудности с решением вопросов этики ИИ, провела в октябре "саммит по биоэтике здравоохранения" совместно с Центром Гастингса, некоммерческим исследовательским центром и аналитическим центром по биоэтике. В июне Всемирная организация здравоохранения включила информированное согласие в один из шести "руководящих принципов" для разработки и использования ИИ.
У компании Koko есть консультативный совет экспертов в области психического здоровья, которые высказывают свое мнение о практике компании, но Моррис сказал, что для них не существует официального процесса одобрения предлагаемых экспериментов.
Стивен Шуэллер, член консультативного совета и профессор психологии Калифорнийского университета в Ирвайне, сказал, что для совета было бы непрактично проводить проверку каждый раз, когда команда разработчиков Koko хочет выпустить новую функцию или протестировать идею. Он отказался сказать, совершила ли компания Koko ошибку, но сказал, что это показало необходимость общественного обсуждения исследований в частном секторе.
"Нам действительно необходимо задуматься о том, как ответственно использовать новые технологии по мере их появления?" - сказал он.
Моррис сказал, что он никогда не думал, что чат-бот с искусственным интеллектом решит проблему кризиса психического здоровья, и ему не понравилось, как он превратил поддержку сверстников Koko в "конвейер" по утверждению заранее написанных ответов.
Но он сказал, что заранее написанные ответы, которые копируются и вставляются, уже давно являются характерной чертой онлайновых справочных служб, и что организациям необходимо продолжать пробовать новые способы заботы о большем количестве людей. Обзор экспериментов на университетском уровне остановит этот поиск, сказал он.
"ИИ не является идеальным или единственным решением. Ему не хватает эмпатии и подлинности", - сказал он. Но, добавил он, "мы не можем занимать позицию, при которой любое использование ИИ требует максимальной проверки IRB".
Источник
