Создание имиджа
Антропоморфизация моделей машинного обучения, таким образом, подогревает их образ и затрудняет обсуждение проблем, связанных с ними.
Мы видим, что такие компании, как OpenAI, компания, стоящая за ChatGPT , используют ту же модель, которая была создана и усовершенствована Boston Dynamics, Amazon и другими технологическими компаниями:
сначала представить опасную технологию в таком карикатурном, даже безобидном виде, что ее критика звучит глупо.
У Boston Dynamics есть танцующие роботы, у Amazon Ring - реклама, в которой дети играют возле гаража владельца устройства. Затем, втихую, подписывают выгодные контракты с учреждениями аппарата наблюдения или военными.
Цель - убедить людей, что даже если эти технологии не совсем безопасны и безвредны, они, по крайней мере, нейтральны. Поэтому, когда они появляются в менее дружественном контексте, общественности будет сложнее увидеть роль этих компаний в причинении вреда. В конечном итоге, идея заключается в том, чтобы общественность воспринимала эти технологии как нейтральные, а еще лучше - неизбежные.
OpenAI может утверждать, что эта демонстрация, ChatGPT и ее последующие версии с дополнительными функциями безопасности являются частью своего рода консультаций с общественностью для создания инструмента с положительным социальным воздействием, что это пример прислушивания к мнению общественности и так далее. Однако это ложь. У нас нет эффективного способа повлиять на то, как управляется OpenAI и какие бизнес решения она принимает, и компания это прекрасно понимает. Им интересно, как мы используем технологию, но на самом деле они не стремятся удовлетворить чьи-либо потребности.
Технология не является нейтральной
Технология не является ни хорошей, ни плохой, она также не нейтральна, это первый из шести законов технологии, предложенных историком Мелвином Кранцбергом.
Например: нож (простая технология, которой мы пользуемся каждый день) сам по себе не является ни хорошим, ни плохим. Однако разница между мясницким ножом и ножом для масла фундаментальна, и присутствие того или другого в нашем окружении не является нейтральным.
То, как мы формируем технологию, определяет, кто и как может ее использовать и насколько легко или трудно с ее помощью причинить вред.
Автоматизированные системы, основанные на моделях машинного обучения, уже наносят вред. Как в случае с палестинцем, арестованным несколько лет назад в Израиле из-за ошибки в автоматическом переводе его сообщения в Facebook**** - арабское "доброе утро" было автоматически переведено на иврит как "нападайте на них".
Или как в случае с автомобилем Tesla, ехавшим под управлением автопилота, построенного, конечно же, на модели машинного обучения, который внезапно остановился на оживленной многополосной дороге, вызвав столкновение нескольких автомобилей.
Оба этих примера очень наглядны, и в обоих случаях также было совершенно ясно, что виноват инструмент, основанный на "искусственном интеллекте". Однако гораздо более проблематичными являются ситуации, когда вред не столь очевиден, а причина не столь ясна.
Компьютер говорит нет
На основе моделей машинного обучения уже создаются инструменты, которые могут коренным образом повлиять на нашу жизнь.
В Бразилии внедрена система помощи в вынесении судебных решений, основанная на искусственном интеллекте. Появляются системы для оценки рефератов и письменных экзаменов.
Таким образом, мы можем получить более высокий вердикт или не поступить в университет и даже не узнать, что нас оценивала непрозрачная модель.
Одна из крупнейших технологических компаний, Amazon, в течение трех лет пыталась создать систему оценки соискателей на основе ИИ. Проект был заброшен, так как быстро выяснилось, что она постоянно оценивает заявки женщин гораздо ниже.
Однако компания внедрила спорную систему распознавания изображений Rekognition, которая используется, в частности, полицией США для распознавания лиц преступников. В ходе теста, проведенного неправительственной организацией ACLU, система распознала 28 членов Конгресса США как людей, обвиняемых в преступлениях.
Была проверена еще одна система автоматической оценки заявлений о приеме на работу. Было обнаружено, что она дает преимущество кандидатам с именем Джаред, в резюме которых была информация о том, что они играли в лакросс в средней школе.
Автоматизированная система, основанная на модели машинного обучения, внедренная налоговым органом Нидерландов, чтобы помочь поймать злоупотребление детскими пособиями, ошибочно отметила более двадцати шести тысяч семей. Для тысяч из них это означало потерю пособий и трагедии, изменившие жизнь.
Система, которую позже назвали примером "институционального расизма", была внедрена в основном среди иммигрантских общин и в бедных кварталах.
В этих и подобных случаях люди, подвергшиеся автоматической оценке, обычно не знают, что такая автоматическая оценка имеет место. Они также часто не имеют возможности обратиться в суд - особенно потому, что эти системы по-прежнему описываются как объективные, нейтральные, беспристрастные.
Это, конечно, фикция, но как удобно для учреждений, которые их внедряют! То или иное решение было принято не ущербным, предвзятым человеком, а объективной системой на основе жестких данных и крутой математики! А математика и данные не оставляют места для предвзятости. Компьютер говорит нет, и все.
У этого подхода есть название - "математическое мытье".
Необъективная модель
В конце концов, кто-то выбирает данные, используемые для обучения моделей, и решает, когда и где развернуть систему. Поэтому предвзятость максимально присутствует в системах, основанных на машинном обучении, и ответственность за нее по-прежнему лежит на людях.
Можно легко убедиться в этом самим - просто попробуйте сгенерировать изображения для запросов "профессор", "врач", "медсестра","медбрат", используя, например, Craiyon. Для первых двух получились результаты, содержащие только мужчин. Для последнего, исключительно женщины.
Аналогично, программа Google Translate переводит с "this is a doctor" на "this is a doctor" и с "this is a nurse" на "this is a nurse".
Стереотипы и предубеждения также максимально проявляются в ответах ChatGPT. Хотя OpenAI добавила фильтры, затрудняющие получение расистских или сексистских ответов, достаточно просто немного перефразировать вопрос, например, попросить ответить исходный код, чтобы обойти их.
Обучающие данные вовсе не обязательно должны быть специально отобраны, чтобы закодировать сексизм, расизм или другие предубеждения в данной модели. Не нужно быть квалифицированным специалистом по патриархату, чтобы понять, что если, например, мы обучим нашу модель на исторических данных о людях с докторской степенью, то их будет значительно больше, чем мужчин.
Не нужно быть эрудированным историком расизма, чтобы понять, что темнокожие люди или люди с именами, которые не звучат как европейские будут недопредставлены в таком наборе.
Кому открыть докторскую диссертацию
Будут ли обучающие данные нашей гипотетической модели оценки докторской диссертации включать небинарную категорию? Не забудем ли мы включить данные об инвалидности? Если нет, и мы используем такую модель для оценки того, как выглядит срез соискателей докторской диссертации, модель отнесет небинарных людей к одной из двух категорий, появившихся в учебных данных. Она также не будет каким-либо образом отображать информацию о потребностях людей с ограниченными возможностями.
Другими словами, она будет стирать их небинарность и инвалидность. А это влечет за собой конкретные последствия - если "данные говорят", что небинарных людей в университете "не существует", хотя они все-таки есть, зачем создавать безопасные для них пространства? Если "компьютер говорит", что людей с ограниченными возможностями нет, нечего вкладывать средства в необходимые для них изменения.
Откуда берутся данные?
В контексте любой модели машинного обучения ключевым вопросом являются данные. Откуда они берутся? Кто их отбирает, на основе каких критериев? Как и кем создается их описание, необходимое для обучения модели?
В GPT-3 использовался, в частности, "отфильтрованный" набор данных Common Crawl, он составил 60 процентов данных, использованных в обучении, остальное - книги и Википедия. Этот набор данных был создан путем индексирования общедоступных веб-сайтов. Однако нет никакой информации о том, кто и как фильтровал эти данные. А это крайне важно для оценки того, какие предубеждения и стереотипы могли быть в них отражены. Ведь они, несомненно, присутствуют в GPT-3.
Исследователи OpenAI сами признали, что "модели, обученные на данных интернета, имеют предубеждения относительно масштабов интернета".
Трудно найти информацию о том, на каких данных обучалась модель, используемая ChatGPT, но можно предположить, что для этого также использовалась коллекция Common Crawl, а значит, данные непосредственно из Интернета. Поэтому не стоит удивляться, что ChatGPT также демонстрирует предвзятость.
Однако это будет означать дополнительные расходы и меньшие шансы на публичность, на что, в конце концов, не могут согласиться акционеры Microsoft, Google или Amazon. Как видите, мы все вынуждены считаться с их мнением.
Медицинские записи
Больше известно о наборах данных, используемых для обучения моделей, работающих с изображениями. И они выглядят не очень хорошо. Публичные наборы данных для обучения включали (пока необъяснимым образом) изображения, которые были частью медицинских карт частных лиц. Разумеется, без их согласия или ведома.
Также без ведома и согласия их создателей в обучающих моделях используются их произведения искусства, опубликованные, например, на таких порталах, как DeviantArt. С точки зрения художников, использование их работ для обучения моделей, используемых в инструментах, которые могут генерировать изображения, похожие на их работы, является просто плагиатом. Неудивительно, что первые иски уже поступили в суды.
Это показывает еще один проблемный аспект массивных моделей машинного обучения: данные, используемые при их создании, часто извлекаются таким образом, что это (мягко говоря) проблематично с точки зрения авторского права. В конце концов, если что-то доступно в Интернете, это не означает, что было получено разрешение на его использование в любых целях.
Инструмент Copilot, обученный на исходном коде бесплатного и открытого программного обеспечения, размещенного на принадлежащем Microsoft портале GitHub, также сталкивается с этим.
И здесь иск уже находится в суде. Может оказаться, что написанное с помощью Copilot программное обеспечение (интегрированное в популярную среду разработки Visual Studio Code) нарушает авторские права и лицензии разработчиков кода, использованного для обучения этой модели.
