Бесплатную технологию клонирования голоса ИИ от стартапа ElevenLabs использовали тролли для имитации голосов знаменитостей. Сгенерированное аудио варьируется по содержанию от мемов и эротики до яростной ненависти.
ElevenLabs, стартап, предоставляющий технологию клонирования голоса, объявил о дополнительных мерах безопасности, которые он представит на платформе, в ветке Twitter . Они будут включать запрет бесплатным пользователям создавать собственные голоса, запуск инструмента для обнаружения звука, сгенерированного искусственным интеллектом, и блокировку учетных записей, о которых сообщается, что они создают «вредный контент».
Стартап ИИ, который позволяет любому клонировать голос цели за считанные секунды, быстро становится популярным среди интернет-троллей. Пользователи 4chan стекаются к бесплатной платформе для синтеза голоса ElevenLabs, используя технологию компании для клонирования голосов знаменитостей и чтения аудио, начиная от мемов и эротики и заканчивая разжиганием ненависти и дезинформацией.
Такие дипфейки голоса ИИ быстро улучшались за последние несколько лет, но программное обеспечение ElevenLabs, которое, кажется, открыло общий доступ на выходных, предлагает мощное сочетание скорости, качества и доступности, а также полное отсутствие гарантий. .
О злоупотреблении программным обеспечением ElevenLabs впервые сообщило издание Motherboard , которое обнаружило плакаты на 4chan, которые делились созданными искусственным интеллектом голосовыми клипами, которые звучат как известные люди, включая Эмму Уотсон и Джо Рогана. Как сообщает Джозеф Кокс из Motherboard :
В одном примере сгенерированный голос звучит так, будто актриса Эмма Уотсон читает отрывок из «Майн кампф». В другом голос, очень похожий на голос Бена Шарпио, делает расистские замечания в адрес Александрии Окасио-Кортес. В третьем задушен тот, кто говорит, что «права трансгендеров — это права человека».
В собственных тестах The Verge мы смогли использовать платформу ElevenLabs для клонирования голосов целей за считанные секунды и создания аудиосэмплов, содержащих все, от угроз насилия до выражений расизма и трансфобии. В одном тесте мы создали голосовой клон президента Джо Байдена и смогли создать звук, который звучал так, будто президент объявляет о вторжении в Россию, а в другом признается, что теория заговора «пиццагейт» реальна; иллюстрируя, как технология может быть использована для распространения дезинформации.
ElevenLabs позиционирует свое программное обеспечение как средство для быстрого создания звуковых дубляжей для медиа, включая фильмы, телевидение и YouTube. Это один из многих стартапов в этой области, но утверждает, что качество его голоса требует небольшого редактирования, что позволяет использовать такие приложения, как дублирование в реальном времени на иностранные языки и мгновенное создание аудиокниг.
Сообщения на 4chan, увиденные The Verge , включают руководства по использованию технологии ElevenLabs; как найти образец аудио, необходимый для обучения модели; и как обойти «кредитные» лимиты компании на создание аудиосэмплов. Типичный для 4chan контент, создаваемый его пользователями, широко варьируется по тональности и намерениям, охватывая всю гамму от мемов и копипасты до яростных разжиганий ненависти и эротической фантастики. Голосовые клоны персонажей из видеоигр и аниме, а также клоны пользователей YouTube и Vtubers особенно популярны, отчасти потому, что легко найти образцы аудио этих голосов для обучения программного обеспечения.
В треде Twitter , опубликованном в понедельник, Eleven Labs признала это злоупотребление, отметив, что столкнулась с «растущим числом случаев неправильного использования клонирования голоса» и будет изучать способы смягчения этих проблем. Компания утверждает, что может «отследить любой сгенерированный звук до пользователя» и изучит меры безопасности, такие как проверка личности пользователя и ручная проверка каждого запроса на клонирование голоса. Однако на момент публикации программное обеспечение компании находится в свободном доступе без каких-либо ограничений на создаваемый контент. The Verge связалась с компанией для комментариев и обновит эту историю, если мы получим ответ.
Чтобы предсказать, как голосовые клоны ИИ могут использоваться и неправомерно использоваться в будущем, мы можем обратиться к недавней истории дипфейков видео. Эта технология начала распространяться в Интернете как способ создания порнографии без согласия, и хотя многие эксперты опасались, что она будет использоваться для дезинформации, это оказалось в значительной степени неверным (пока). Вместо этого подавляющее большинство видео дипфейков, размещенных в Интернете, являются порнографическими, и программное обеспечение использовалось для преследования и запугивания не только знаменитостей, но и частных лиц. В то же время дипфейки постепенно осваиваются коммерческими структурами и используются наряду с традиционными методами VFX в кино и на телевидении.
42.2к
