Вот как инструмент ИИ может пометить родителей с ограниченными возможностями!

НЕ ВОЛШЕБСТВО

Алгоритмы защиты детей включают огромное количество общедоступных данных о местных семьях в сложные статистические модели для расчета того, что они называют оценкой риска. Сгенерированное число затем используется для консультирования социальных работников, когда они решают, какие семьи следует исследовать, или какие семьи нуждаются в дополнительном внимании — серьезное решение, которое иногда может означать жизнь или смерть.

Ряд местных лидеров воспользовались технологией ИИ, находясь под давлением необходимости внесения системных изменений, например, в штате Орегон во время кризиса с приемными семьями и в округе Лос-Анджелес после серии громких детских смертей в одной из крупнейших в стране систем социального обеспечения детей.

Директор Департамента по делам детей и семьи округа Лос-Анджелес Брэндон Николс говорит, что алгоритмы могут помочь выявить семьи с высоким риском и улучшить результаты в сильно напряженной системе. Тем не менее, он не смог объяснить, как работает инструмент проверки, который использует его агентство.

“Мы вроде как занимаемся социальной работой, а не ИТ”, - сказал Николс в интервью. “То, как функционирует алгоритм, в некотором смысле, я не хочу сказать, что это волшебство для нас, но это выходит за рамки наших знаний и опыта”.

В течение двух недель, пока маленькая девочка Хакни лежала на больничной койке в Питтсбурге, ослабленная от обезвоживания, ее родители редко оставляли ее, иногда спали на раскладном диване в комнате.

Они оставались со своей дочерью круглосуточно, когда ее перевели в реабилитационный центр, чтобы восстановить силы. Наконец, 8-месячная девочка перестала отбивать бутылочки и снова начала набирать вес.

“У нее все было хорошо, и мы начали спрашивать, когда она сможет вернуться домой”, - сказала Лорен Хакни. “И с этого момента, в то время, они полностью обескуражили нас и никогда ничего не говорили”.

Пара была ошеломлена, когда появились сотрудники службы защиты детей, сказали им, что они были небрежны, и забрали их дочь.

“У них были документы на опеку, и они забрали ее прямо там и тогда”, - вспоминает Лорен Хакни. “И мы начали плакать”.

Более года спустя их дочь, которой сейчас 2 года, остается в приемной семье. Хакни, у которых есть отклонения в развитии, изо всех сил пытаются понять, как то, что их дочь отвезли в больницу, когда она отказалась есть, может рассматриваться как настолько пренебрежительное отношение, что ее нужно забрать из дома.

Они задаются вопросом, выделил ли их инструмент искусственного интеллекта, который Департамент социальных служб округа Аллегейни использует для прогнозирования того, какие дети могут подвергаться риску причинения вреда из-за их инвалидности.

Министерство юстиции США задает тот же вопрос. Агентство расследует систему социального обеспечения округа, чтобы определить, является ли использование влиятельного алгоритма дискриминацией в отношении людей с ограниченными возможностями или других защищенных групп, сообщает Associated Press. Позже в этом месяце федеральные адвокаты по гражданским правам проведут собеседование с Хакни и матерью Эндрю Хакни, Синд Хакни-Фиерро, сказала бабушка.

У Лорен Хэкни синдром дефицита внимания и гиперактивности, который влияет на ее память, а у ее мужа Эндрю расстройство понимания и повреждение нервов в результате инсульта, перенесенного в возрасте 20 лет. Их маленькой девочке было всего 7 месяцев, когда она начала отказываться пить из бутылочки. Столкнувшись с общенациональной нехваткой смеси, они отправились из Пенсильвании в Западную Вирджинию в поисках некоторых и были вынуждены сменить бренды. Похоже, ребенку это не понравилось.

По их словам, ее педиатр сначала заверил их, что дети иногда могут быть непостоянны в кормлении, и предложил идеи, которые помогут ей вернуть аппетит.

По их словам, когда через несколько дней она впала в летаргию, тот же врач сказал им отвезти ее в отделение неотложной помощи. Хакни считают, что медицинский персонал предупредил службы защиты детей после того, как они появились с ребенком, который был обезвожен и недоедал.

Именно тогда они считают, что их информация была передана в Инструмент проверки семьи Аллегейни, который, по словам чиновников округа, является стандартной процедурой для заявлений о пренебрежении. Вскоре появился социальный работник, чтобы расспросить их, и их дочь была отправлена в приемную семью.

За последние шесть лет округ Аллегейни служил реальной лабораторией для тестирования инструментов защиты детей, основанных на ИИ, которые обрабатывают массивы данных о местных семьях, чтобы попытаться предсказать, какие дети могут столкнуться с опасностью в своих домах. По данным Американского союза защиты гражданских свобод, сегодня агентства по охране детства по меньшей мере в 26 штатах и Вашингтоне, округ Колумбия, рассмотрели возможность использования алгоритмических инструментов, а юрисдикции по меньшей мере в 11 их внедрили.

История Хакни, основанная на интервью, внутренних электронных письмах и юридических документах, иллюстрирует непрозрачность этих алгоритмов. Даже когда они борются за восстановление опеки над своей дочерью, они не могут подвергать сомнению “оценку риска”, которую инструмент округа Аллегейни, возможно, присвоил ее делу, потому что чиновники не раскрывают им это. И ни округ, ни люди, создавшие инструмент, никогда не объясняли, какие переменные могли использоваться для измерения способностей Хакни как родителей.

“Это похоже на то, что у вас есть проблема с кем-то, у кого есть инвалидность”, - сказал Эндрю Хакни в интервью из их квартиры в пригороде Питтсбурга. “В этом случае... вы, вероятно, в конечном итоге будете преследовать всех, у кого есть дети и инвалиды”.

В рамках годичного расследования AP получила данные, лежащие в основе нескольких алгоритмов, внедренных агентствами по защите детей, в том числе некоторые с пометкой “КОНФИДЕНЦИАЛЬНО”, что дает редкое представление о механизмах, управляющих этими новыми технологиями. Среди факторов, которые они использовали для расчета риска семьи, будь то напрямую или по доверенности: раса, уровень бедности, статус инвалидности и размер семьи. Они включают в себя, курила ли мать до беременности и были ли в семье жалобы на жестокое обращение с детьми или пренебрежение.

Важно то, что они измеряют. Недавний анализ, проведенный исследователями ACLU, показал, что, когда алгоритм Аллегейни помечал людей, которые обращались к окружным службам охраны психического здоровья и другим программам поведенческого здоровья, это могло добавить до трех баллов к оценке риска для ребенка, что является значительным увеличением по шкале 20.

Представитель округа Аллегейни Марк Бертолет отказался рассматривать дело Хакни и не ответил на подробные вопросы о статусе федерального расследования или критике данных, используемых инструментом, в том числе со стороны ACLU.