197.1кChatGPT врет лучше людей
Группа из 697 человек прочитала 220 твитов, написанных другими физическими лицами и моделью искусственного интеллекта GPT-3, предшественником нынешнего глобального успеха ChatGPT . Сначала им нужно было угадать, какие твиты настоящие, а какие фейковые, а затем решить, написаны ли они человеком или машиной.
GPT-3 выиграл по обоим пунктам: он лгал лучше людей в твитах, а также лгал, притворяясь твиттером-человеком. «GPT-3 может лучше информировать и дезинформировать нас», — заключают авторы нового исследования, опубликованного в журнале Science Advances.
Как сообщает испанская газета El Pais Джованни Шпитале, исследователь из Цюрихского университета и соавтор исследования, вместе со своим коллегой Федерико Германи и Николой Биллер-Адорно, директором Института биомедицинской этики того же университета. , "Это было очень странно. Наша гипотеза заключалась в том, [что] если вы читаете один твит, его можно считать естественным [т.е. написано одним человеком]. Но если вы видите их много, вы начинаете замечать лингвистические особенности, которые могут быть использованы для вывода о том, что они могут быть синтетическими [машинописными]».
Но все пошло не так. Когда они были прочитаны, читатели-человеки не смогли обнаружить закономерности в текстах машины. Как оказалось, появление новых моделей и других подходов может даже улучшить способность ИИ заменить человека.
Более четкое письмо
Уровень написания ChatGPT-4, улучшенной версии GPT-3, практически идеален. Это новое исследование является еще одним свидетельством того, что люди не могут отличить их друг от друга, даже просматривая множество примеров подряд: «На оценку настоящих твитов ушло больше времени, чем на поддельные», — говорится в статье. Машинка вроде четче пишет. «Он очень четкий, хорошо организованный, за ним легко следить», — подчеркнул Спитале.
Логично, что такие улучшения приведут к более широкому использованию этого инструмента для написания всех видов контента, в том числе для дезинформации.
Как и в случае с любым нововведением, некоторые быстро возвещают о смерти «старого». Имея это в виду, технический веб-сайт The Verge недавно провозгласил в заголовке: «Искусственный интеллект убивает старую [сеть] сеть, а новая сеть изо всех сил пытается родиться». Авторы упомянутого нами исследования считают, что причина такого поражения человечества в Интернете восходит к теории покорности.
Согласно теории отставки, критическое воздействие синтетического текста снижает способность людей отличать искусственное от естественного. Чем больше искусственного текста мы читаем, тем сложнее его отличить от текста, написанного человеком. «Эта теория противоположна теории прививки», — сказал Спитале в интервью El Pais, добавив, что «критическое воздействие дезинформации повышает способность людей распознавать дезинформацию».
Если теория отказа подтвердится, пользователи Интернета скоро не смогут отличить то, что было написано человеком, от того, что было написано машиной. В ходе исследования исследователи также проверили, хорошо ли GPT-3 распознает собственные тексты. Ведь это не так.
Машина не слушается… никогда
Единственная надежда избежать автоматических кампаний по дезинформации заключается в том, что GPT-3 иногда не подчинялась приказам и создавала ложь. Это зависело от того, как обучалась каждая модель. Темы 220 твитов, использованных в исследовании, были довольно противоречивыми: изменение климата, вакцины, теория эволюции, Covid-19. Исследователи обнаружили, что GPT-3 в некоторых случаях плохо реагировал на их запросы о дезинформации, особенно по темам с большим количеством доказательств: вакцины и аутизм, гомеопатия и рак, плоская Земля.
С точки зрения ложного обнаружения была небольшая разница между твитами, написанными GPT-3, и твитами, написанными людьми. Но исследователи говорят, что разрыв значителен по двум причинам. Во-первых, даже несколько отдельных сообщений могут повлиять на большие выборки. Во-вторых, улучшение новых версий этих моделей ИИ может усугубить различия. Тестируя GPT-4 через ChatGPT , исследователи заметили, что модель значительно улучшилась, но они не могли поддерживать ее без доступа к API (интерфейсу прикладного программирования).
Что это означает?
Кампании по дезинформации раньше были очень дорогими, но вдруг они стали доступными. Больше не нужно нанимать кучку троллей-людей, чтобы сеять предвыборную рознь, теперь можно просто использовать генетический искусственный интеллект. Сила вашего сообщения умножается как минимум в 1000 раз. «Это непосредственная опасность, а не что-то из антиутопического будущего», — подчеркнул Спитале.
Чтобы этого не произошло, исследователи рекомендуют, чтобы базы данных для обучения этих моделей «регулировались принципами прозрачности, их информация должна быть проверена, а их происхождение открыто для независимой проверки. Независимо от того, произойдет ли такое регулирование, будут последствия: «Означает ли взрыв искусственного текста также взрыв дезинформации, во многом зависит от того, как демократическим обществам удастся регулировать эту технологию и ее использование», — предупредил Спитале.