При создании языковых моделей ии, безопасность была второстепенной задачей.

14 августа 2023 в 06:26

4 дочитывания

1 комментарий

Эта публикация уже заработала 0,20 рублей за дочитывания

Посетители конференции DefCon в пятницу, 5 августа 2011 г., в Лас-Вегасе. Чиновники Белого дома, обеспокоенные тем, что чат-боты с искусственным интеллектом могут нанести вред обществу, а также мощные компании Кремниевой долины, спешащие вывести их на рынок, активно участвуют в трехдневном соревновании, которое завершится в воскресенье, 13 августа 2023 г., на хакерской конференции DefCon в Лас-Вегасе. Credit: AP Photo/Isaac Brekken

Важность тестирования безопасности искусственного интеллекта.

•Компании часто фокусируются на быстром запуске продуктов ИИ и не уделяют достаточно внимания проверке их надежности и безопасности. Но это опасно, так как плохо протестированный ИИ может принести вред.

Конкурс безопасности моделей ИИ проводится на хакерской конференции DefCon в Лас-Вегасе.

Подход “red teaming”, когда специальная группа пытается взломать или обмануть ИИ, чтобы найти уязвимости. Это помогает сделать ИИ более надежным и безопасным.

Около 3500 соперников подключились с помощью ноутбуков для выявления уязвимостей в восьми ведущих моделях ИИ.

Как оказалось:

• Модели ИИ уязвимы для автоматических атак и создания вредоносного контента.

• Исследователи обнаружили, что системы ИИ могут быть использованы для дезинформации и нарушения конфиденциальности.

• Системы ИИ могут загрязнять сами себя и проглатывать дезинформацию и выплевывать секреты компании.

Вывод:

Тестирование должно проводиться на всех этапах разработки, а не добавляться в последнюю минуту. Такой подход поможет создавать ответственный ИИ, которому можно доверять, так как уже скоро новые стартапы запустят сотни предложений на основе предварительно обученных моделей в ближайшие месяцы.

1 комментарий

Понравилась публикация?

да

10 / 0

нет

0 / 0

От лаборатории к палате: как ИИ внедряется в клиническую практику и какие вызовы ставит.

Искусственный интеллект в здравоохранении преодолел переломный момент: из области ...