Реальная жизнь. Как коренные американцы пытаются устранить предубеждения ИИ.

Данные о местных сообществах не соответствуют уровню точности, необходимому для инструментов, управляемых ИИ. Группа пытается решить эту проблему.

В сентябре 2021 года студенты—технологи из числа коренных американцев средней школы и колледжа собрались на конференцию в Финиксе, и их попросили создать теги фотографий — по сути, словесные ассоциации - для серии изображений.

На одном снимке был изображен церемониальный шалфей в морской раковине; на другой черно-белой фотографии около 1884 года сотни детей коренных американцев выстроились в линию в форме перед индийской промышленной школой Карлайла, одной из самых известных школ-интернатов, управляемых американским правительством в 19-20 веках.

Для церемониального мудреца студенты выбрали слова “душистая трава”, “шалфей”, “священный”, “лекарство”, “защита” и “молитвы”. Они дали фотографии ярлыков школы-интерната с другим оттенком: “геноцид”, “трагедия”, “культурное уничтожение”, “устойчивость” и “Дети коренных народов”.

Упражнение было предназначено для семинара "Преподавание наследия искусственному интеллекту через рассказывание историй" на ежегодной конференции научно-технического общества американских индейцев. Студенты создавали метаданные, которые могли бы обучить алгоритм распознавания фотографий понимать культурное значение изображения.

Ведущие семинара — Чамиса Эдмо, технолог и гражданин нации навахо, который также является черноногим и шошоном-Бэннок; Трейси Монтейт, старший инженер Microsoft и член восточной группы индейцев чероки; и журналист Давар Ардалан — затем сравнили эти ответы с ответами, полученными в результате крупного распознавания изображенийприложение.

Для церемониального мудреца главным тегом приложения было “растение”, но другие теги включали “мороженое” и “десерт”. Приложение пометило школьное изображение словами “человек”, “толпа”, “аудитория” и “улыбка” — последнее особенно странное описание, учитывая, что мало кто из детей улыбается.

По словам г-на Монтейта, приложение для распознавания изображений провалило свою задачу, потому что у него не было надлежащих обучающих данных. Г-жа Эдмо объяснила, что результаты тегов часто “диковинны” и “оскорбительны”, вспомнив, как одно приложение идентифицировало индейца, носящего регалии, как птицу. И все же аналогичные приложения для распознавания изображений с легкостью идентифицировали празднование Дня Святого Патрика, отметила г-жа Ардалан в качестве примера, из-за обилия данных по этой теме.

Лица, которые оглядываются на нас, когда мы выходим, снова и снова

Как выразился мистер Монтейт, ИИ хорош настолько, насколько хороши данные, которые он получает. И данные о культурах, которые долгое время были маргинализированы, например, о коренных, просто не на том уровне, на котором они должны быть. “Очевидно, что здесь представлена предвзятость”, - сказал он.

Семинар был организован по инициативе Intelligent Voices of Wisdom, или IVOW, технологического стартапа, который г-жа Ардалан, исполнительный продюсер аудио в National Geographic, основала для сохранения культуры с помощью ИИ и противодействия этим предубеждениям.

“Интернет не является репрезентативным для всего населения, и когда люди представлены, это может быть неточно из-за стереотипов и разжигания ненависти”, - сказал Перси Лян, адъюнкт-профессор компьютерных наук в Стэнфордском университете и директор школьного центра исследований фундаментальных моделей.

Чтобы противостоять этой тенденции, г-жа Ардалан, которая является американкой иранского происхождения Бахтиари и курдского происхождения, хочет, чтобы IVOW разработала инструменты для создания “культурных двигателей” для недопредставленных групп, чтобы они могли генерировать свои данные и владеть ими. “Культурный двигатель не может быть специалистом по обработке данных в Филадельфии, пытающимся создать наборы данных для племени в Аризоне”, - сказала она.

Более репрезентативные, точные данные полезны не только для групп, которые они представляют, но и для систем ИИ в целом, сказал У. Виктор Х. Ярлотт, исследователь ИИ в Международном университете Флориды, член племени Кроу в Монтане и сотрудник IVOW.

“Отсутствие этих знаний только ухудшает вашу систему”, - сказал он. “Вы на самом деле не представляете человеческий интеллект или человеческие знания, если ваша система не может справиться с этим из широкого спектра культур”.

Участие коренного населения в проекте имело решающее значение. Г-н Монтейт, который руководил усилиями по внедрению системы письма чероки в Microsoft Windows и Office, сказал, что он десятилетиями работал над укреплением доверия к технологиям, а в последнее время ИИ, в своих местных сообществах. “Я знал, что и без меня мы окажемся в худшем положении с точки зрения грамотности и нашей культуры”, - сказал он.

Команда IVOW вместе с группой добровольных сотрудников и консультантов разрабатывает доказательства концепции для этих культурных механизмов — интеллектуальных наборов данных, которые могут использоваться для более инклюзивных инструментов ИИ, включая чат-боты и приложения для распознавания изображений.

Одним из таких инструментов является IVOW's Indigenous Knowledge Graph, или IKG, культурный движок раннего развития, который ориентирован на рассказывание историй о местных рецептах и кулинарных практиках. После встречи с командой IVOW в 2018 году г-н Ярлотт представил IKG, своего рода визуализацию набора данных, для сбора знаний коренных народов.

“Вы знаете, в драмах вы видите человека, пытающегося разгадать тайну, а у них есть пробковая доска, маленькие заметки и веревочка между ними?” - сказал г-н Ярлотт. “По сути, это и есть IKG, но для культурных знаний”.

Первым шагом был сбор данных. Команда выбрала кулинарный фокус, потому что это часть жизни, которую разделяют все люди. Они собрали рецепты и связанные с ними истории как из общественного достояния, так и из членов команды.

Мистер Монтейт решил рассказать историю рагу "Три сестры", рецепта, созданного из симбиотических культур (кукурузы, фасоли и тыквы), которые, по его словам, известны среди коренных народов везде, где растут эти ингредиенты. По его словам, история трех сестер - это не только рецепт, но и способ научить практикам устойчивого развития, таким как сохранение воды. “Это просто отличная метафора того, что нам нужно делать как обществу и как людям во всем мире”, - сказал мистер Монтейт.

Используя Neo4j, систему управления базой данных graph, рецепты были разбиты на компоненты (название, ингредиенты, инструкции и связанные истории) и помечены информацией, например, о племени происхождения или о том, был ли рецепт современным или историческим, или имел корни в фольклоре. Затем этот набор данных был введен в Dialogflow, платформу обработки естественного языка, чтобы его можно было передать чат—боту - в данном случае Sina Storyteller, разговорному агенту, похожему на Siri, разработанному IVOW. В настоящее время любой может взаимодействовать с ранней версией через Google Assistant.

Инструменты и методы для создания IKG были разработаны так, чтобы быть достаточно базовыми, чтобы их мог использовать любой, а не только те, кто имеет опыт работы в области компьютерных наук. И IKG использует только ту информацию, которая широко доступна или на использование которой команда получила разрешение от своих племен, групп и наций.

Однако есть проблемы. Процесс трудоемкий и дорогостоящий; IVOW является самофинансируемым предприятием, а работа сотрудников является добровольной.

“Это немного проблема курицы и яйца, потому что вам нужны данные, чтобы действительно построить большую систему, которая демонстрирует ценность”, - сказал г-н Ярлотт. “Но чтобы получить все данные, вам нужны деньги, которые действительно начинают поступать только тогда, когда люди понимают, что здесь есть существенная ценность”.

Г-н Лян сказал, что, хотя такого рода “кустарные” данные важны, их трудно масштабировать, и что больше внимания следует уделять совершенствованию базовых моделей знаний, которые обучаются на крупномасштабных наборах данных.

В течение многих лет ученые-компьютерщики предупреждали г-жу Ардалан, что обработка такого рода данных - утомительный процесс. Она не возражает, и именно поэтому она говорит, что время начать сейчас.

“Будущее будет за теми культурными двигателями, которые создают сообщества, имеющие отношение к их наследию”, - сказала она, добавив, что представление о том, что ИИ будет всеобъемлющим, неверно. “Машины не могут заменить людей. Они могут только быть с нами у костра и информировать нас ”.

источник-

Подробнее ➤