Приложение для чата, используемое для эмоциональной поддержки, использовало популярного чат-бота для написания ответов на выбор людей. Последовали споры.
Когда люди входят в Koko, онлайн-чат эмоциональной поддержки, базирующийся в Сан-Франциско, они ожидают обмена сообщениями с анонимным добровольцем. Они могут попросить совета по отношениям, обсудить свою депрессию или найти поддержку практически во всем остальном — своего рода бесплатное цифровое плечо, на которое можно опереться.
Но для нескольких тысяч человек поддержка в области психического здоровья, которую они получили, была не совсем человеческой. Вместо этого он был дополнен роботами.
В октябре Koko провела эксперимент, в ходе которого GPT-3, недавно популярный чат-бот с искусственным интеллектом, писал ответы полностью или частично. Люди могли редактировать ответы и все еще нажимали кнопки, чтобы отправить их, но они не всегда были авторами.
По словам соучредителя Koko Роберта Морриса, около 4000 человек получили ответы от Koko, по крайней мере, частично написанные ИИ.
Эксперимент на небольшой и малоизвестной платформе превратился в ожесточенную полемику с тех пор, как он раскрыл его неделю назад, что может стать предвестником новых этических споров, поскольку технология ИИ проникает во все больше потребительских товаров и медицинских услуг.
Morris thought it was a worthwhile idea to try because GPT-3 is often both fast and eloquent, he said in an interview with NBC News.
“Люди, которые видели совместно написанные ответы GTP-3, оценили их значительно выше, чем те, которые были написаны чисто человеком. Это было увлекательное наблюдение ”, - сказал он.
Моррис сказал, что у него нет официальных данных, которыми он мог бы поделиться в ходе теста.
Однако, как только люди узнали, что сообщения были созданы машиной совместно, преимущества улучшенного письма исчезли. “Имитация эмпатии кажется странной, пустой”, - написал Моррис в Twitter.
Когда он поделился результатами эксперимента в Твиттере 6 января, он был завален критикой. Ученые, журналисты и коллеги-технологи обвинили его в том, что он действовал неэтично и обманом заставлял людей становиться объектами тестирования без их ведома или согласия, когда они находились в уязвимом положении, нуждаясь в поддержке психического здоровья. Его тема в Твиттере набрала более 8 миллионов просмотров.
Отправители созданных ИИ сообщений, конечно, знали, написали они или отредактировали их. Но получатели увидели только уведомление, в котором говорилось: “Кто-то ответил на ваш пост! (написано в сотрудничестве с Koko Bot)” без дополнительной информации о роли бота.
В демонстрации, которую Моррис разместил в Интернете, GPT-3 ответил кому-то, кто говорил о том, что ему трудно стать лучше. Человек. Чат-бот сказал: “Я тебя слышу. Вы пытаетесь стать лучше, и это нелегко. Трудно вносить изменения в нашу жизнь, особенно когда мы пытаемся сделать это в одиночку. Но вы не одиноки ”.
По словам Морриса, не было предоставлено возможности отказаться от эксперимента, кроме как вообще не читать ответ. “Если вы получили сообщение, вы можете пропустить его и не читать”, - сказал он.
Лесли Вулф, профессор права Университета штата Джорджия, которая пишет и преподает исследовательскую этику, сказала, что ее беспокоит то, как мало Коко рассказала людям, которые получали ответы, дополненные ИИ.
“Это организация, которая пытается оказать столь необходимую поддержку в условиях кризиса психического здоровья, когда у нас недостаточно ресурсов для удовлетворения потребностей, и все же, когда мы манипулируем уязвимыми людьми, это не пройдет так хорошо”, - сказала она. По ее словам, люди, испытывающие душевную боль, могут чувствовать себя хуже, особенно если ИИ выдает предвзятый или небрежный текст, который остается незамеченным.
Теперь Koko занимает оборонительную позицию по поводу своего решения, и вся технологическая индустрия снова сталкивается с вопросами о том, как случайно она иногда превращает скромных людей в лабораторных крыс, тем более что все больше технологических компаний проникают в услуги, связанные со здоровьем.
Конгресс санкционировал надзор за некоторыми тестами с участием людей в 1974 году после разоблачения вредных экспериментов, включая исследование сифилиса в Таскиги, в ходе которого правительственные исследователи ввели сифилис сотням чернокожих американцев, которые не лечились и иногда умирали. В результате университеты и другие организации, получающие федеральную поддержку, должны следовать строгим правилам при проведении экспериментов с людьми, и этот процесс обеспечивается так называемыми институциональными наблюдательными советами, или IRB.
Но, в целом, для частных корпораций или некоммерческих групп, которые не получают федеральной поддержки и не ищут одобрения со стороны Управления по контролю за продуктами и лекарствами, таких юридических обязательств нет.
Моррис сказал, что Коко не получил федерального финансирования.
“Люди часто бывают шокированы, узнав, что в США нет реальных законов, конкретно регулирующих исследования с участием людей”, - сказал Алекс Джон Лондон, директор Центра этики и политики Университета Карнеги-Меллона и автор книги по этике исследований, в электронном письме.
Он сказал, что даже если организация не обязана проходить проверку IRB, она должна это сделать, чтобы снизить риски. Он сказал, что хотел бы знать, какие шаги предпринял Коко, чтобы убедиться, что участники исследования “не были наиболее уязвимыми пользователями в остром психологическом кризисе”.
Моррис сказал, что “пользователи с более высоким риском всегда направляются на кризисные линии и другие ресурсы” и что “Koko внимательно отслеживал ответы, когда функция была запущена”.
После публикации этой статьи Моррис сообщил в субботу по электронной почте, что Koko теперь рассматривает способы настройки стороннего процесса IRB для проверки изменений продукта. Он сказал, что хочет выйти за рамки текущего отраслевого стандарта и показать, что возможно для других некоммерческих организаций и служб.
Есть печально известные примеры технологических компаний, использующих вакуум надзора. В 2014 году Facebook**** показал, что он провел психологический эксперимент на 689 000 человек, показав, что он может распространять негативные или позитивные эмоции, как инфекцию, изменяя содержание новостных лент людей. Facebook****, теперь известный как Meta**, извинился и пересмотрел свой внутренний процесс проверки, но также сказал, что люди должны были знать о возможности таких экспериментов, прочитав условия предоставления услуг Facebook**** — позицияэто сбило с толку людей за пределами компании из-за того, что мало кто на самом деле понимает соглашения, которые они заключают с такими платформами, как Facebook****.
Но даже после бури в связи с исследованием Facebook**** не было никаких изменений в федеральном законе или политике, чтобы сделать надзор за экспериментами на людях универсальным.
Koko - это не Facebook**** с его огромной прибылью и пользовательской базой. Koko - это некоммерческая платформа и проект увлечения Морриса, бывшего специалиста по обработке данных Airbnb с докторской степенью в Массачусетском технологическом институте. Это сервис для одноранговой поддержки, а не потенциальный нарушитель профессиональных терапевтов, и он доступен только через другие платформы, такие как Discord и Tumblr, а не как отдельное приложение.
По словам Морриса, в прошлом месяце у Koko было около 10 000 добровольцев, и около 1000 человек в день получают от него помощь.
“Более широкая цель моей работы - выяснить, как помочь людям в эмоциональном расстройстве онлайн”, - сказал он. “В Интернете миллионы людей, которые борются за помощь”.
По всей стране ощущается нехватка специалистов, обученных оказывать поддержку в области психического здоровья, даже несмотря на то, что симптомы тревоги и депрессии усилились во время пандемии коронавируса.
“Мы заставляем людей в безопасной среде писать короткие сообщения надежды друг другу”, - сказал Моррис.
Критики, однако, сосредоточились на вопросе о том, дали ли участники информированное согласие на эксперимент.
Камилла Небекер, профессор Калифорнийского университета в Сан-Диего, специализирующаяся на этике исследований человека применительно к новым технологиям, сказала, что Koko создает ненужные риски для людей, обращающихся за помощью. По ее словам, информированное согласие участника исследования включает, как минимум, описание потенциальных рисков и преимуществ, написанных ясным и простым языком.
“Информированное согласие невероятно важно для традиционных исследований”, - сказала она. “Это краеугольный камень этических норм, но когда у вас нет необходимости это делать, общественность может подвергнуться риску”.
Она отметила, что ИИ также встревожил людей своей предвзятостью. И хотя чат-боты получили широкое распространение в таких областях, как обслуживание клиентов, это все еще относительно новая технология. В этом месяце школы Нью-Йорка запретили ChatGPT, бота, построенного на технологии GPT-3, на школьных устройствах и в сетях.
“Мы на Диком Западе”, - сказал Небекер. “Слишком опасно не иметь некоторых стандартов и соглашений о правилах дорожного движения”.
FDA регулирует некоторые мобильные медицинские приложения, которые, по его словам, соответствуют определению “медицинского устройства”, например, того, которое помогает людям пытаться избавиться от опиоидной зависимости. Но не все приложения соответствуют этому определению, и агентство выпустило руководство в сентябре, чтобы помочь компаниям понять разницу. В заявлении, предоставленном NBC News, представитель FDA сказал, что некоторые приложения, обеспечивающие цифровую терапию, могут считаться медицинскими устройствами, но, согласно политике FDA, организация не комментирует конкретные компании.
В отсутствие официального надзора другие организации борются с тем, как применять ИИ в областях, связанных со здоровьем. Google, которая испытывала трудности с решением вопросов этики ИИ, провела в октябре “саммит по биоэтике здоровья” с Центром Гастингса, некоммерческим исследовательским центром и аналитическим центром по биоэтике. В июне Всемирная организация здравоохранения включила информированное согласие в один из своих шести “руководящих принципов” разработки и использования ИИ.
В Koko есть консультативный совет экспертов в области психического здоровья, который оценивает практику компании, но Моррис сказал, что у них нет официального процесса утверждения предлагаемых экспериментов.
Стивен Шуллер, член консультативного совета и профессор психологии Калифорнийского университета в Ирвине, сказал, что для совета было бы непрактично проводить проверку каждый раз, когда команда разработчиков Koko хотела внедрить новую функцию или протестировать идею. Он отказался сказать, допустил ли Коко ошибку, но сказал, что это показало необходимость публичного обсуждения исследований частного сектора.
“Нам действительно нужно подумать о том, как новые технологии выходят в Интернет, как мы можем использовать их ответственно?” он сказал.
Моррис сказал, что он никогда не думал, что чат-бот с искусственным интеллектом решит кризис психического здоровья, и он сказал, что ему не нравится, как он превратил поддержку сверстников Koko в “конвейерную линию” утверждения заранее написанных ответов.
Но он сказал, что заранее написанные ответы, которые копируются и вставляются, уже давно являются функцией онлайн-справочных служб, и что организациям необходимо продолжать пробовать новые способы ухода за большим количеством людей. По его словам, обзор экспериментов на уровне университета остановит этот поиск.
“ИИ не является идеальным или единственным решением. Ему не хватает сочувствия и подлинности ”, - сказал он. Но, добавил он, “мы не можем просто занять позицию, в которой любое использование ИИ требует окончательного контроля IRB”.
Если вы или кто-то из ваших знакомых находится в кризисе, позвоните по номеру 988, чтобы связаться с линией спасения от самоубийств и кризисов. Вы также можете позвонить в сеть, ранее известную как Национальная линия жизни по предотвращению самоубийств, по телефону 800-273-8255, отправить сообщение ДОМОЙ на номер 741741 или посетить SpeakingOfSuicide.com/resources для получения дополнительных ресурсов.
Источник:https://www.nbcnews.com/
