Программу предсказания преступлений обвинили в расизме

[Unseen]

Правоохранительные органы США несколько лет используют в своей работе специальные программы, которые анализируют статистику преступлений и выдают рекомендации. Например, в Калифорнии программа рассчитывает оптимальный маршрут патрулей с учётом вероятности преступлений в каждом районе города в определённое время суток. Полиция Чикаго в 2014 году составила список наблюдения с именами 400 наиболее вероятных преступников в будущем. Алгоритм предсказания преступников и будущих жертв беспокоит правозащитников, хотя он показал удивительную точность (более 70% жертв огнестрела в Чикаго в 2016 году были в списке, заранее составленном программой).

В последнее время аналитические программы начали использовать в судах. Судья должен определить, наказать преступника по минимальной или максимальной строгости, предусмотренной законом для конкретного преступления. В этом случае программа на основе имеющихся данных вычисляет так называемый «показатель оценки риска» (risk assessment score). Этот показатель определяет вероятность повторения преступления и, соответственно, влияет на тяжесть приговора.

Так вот, тщательный анализ результатов работы программы, проведённый ProPublica, выявил странную тенденцию: по какой-то причине для афроамериканцев (негров) программа выдаёт более высокую оценку риска, чем для белых. Другими словами, алгоритм проявляет расовую дискриминацию! И это при том, что эту программу специально внедряли в судебную систему именно для того, чтобы исключить такую дискриминацию.

Показатель оценки риска очень важен. Он влияет и на тяжесть приговора, и на размер суммы, под которую подозреваемого выпускают под залог, а также на выбор меры пресечения и многое другое.

Журналисты ProPublica провели анализ более 7000 дел в округе Броуард (Флорида), где показатель оценки риска для подозреваемого вычисляет одна из самых популярных такого рода программ от компании Northpointe.

Как выяснилось, только 20% подозреваемых, по которым программа определила высокий риск совершения преступлений, действительно совершили его в течение двух лет после выставления риска. Даже если учитывать мелкие нарушения вроде выхода за периметр домашнего ареста, «точность работы программы чуть больше, чем подбрасывание монетки».

Но самое ужасное, что программа проявляет расовую дискриминацию. Показатели оценки риска для афроамериканцев гораздо выше, чем для белых преступников. Ошибочное предсказание рецидива для чернокожих вдвое выше, чем для белых.

Показатель оценки риска для афроамериканцев (1 — минимальный, 10 — максимальный)


Показатель оценки риска для белых (1 — минимальный, 10 — максимальный)


Исследователи делают вывод, что программа нарушает закон, специально учитывая фактор цвета кожи как один из параметров для определения вероятности преступления в будущем.

Компания Northpointe уверяет, что раса подозреваемого ни в коем случае не учитывается при анализе. Но учитываются другие факторы, которые сильно коррелируют с расой: уровень образования, статус занятости, криминальная история родственников, приём запрещённых наркотиков друзьями/знакомыми и т.д. Вес каждого фактора в итоговой оценке засекречен — это проприетарный алгоритм компании Northpointe.
via geektimes

[Unseen]

Вдогонку к вчерашней новости

Чикагская полиция предсказывает, кто может стрелять и быть застрелен

Несмотря на обвинения в расизме алгоритмов, предсказывающих преступления, такие программы работают. Специальная программа позволила полиции Чикаго составить список из 1400 человек, которые могут быть застрелены или сами стрелять кого-то: в 2016 году 80% стрелявших были в этом списке, как и 70% жертв.



В Чикаго, городе с населением 2,7 миллиона человек, в 2015 году жертвами стрельбы стали 3000 человек. За 2016 год — уже 240 человек. В этом виноваты банды, с которыми правоохранительные органы усиленно борются. Главное для полиции — предотвратить преступления, а не наказать преступников, и эта программа способна помочь.

Создатель алгоритма — Доктор Майлс Верник из Иллинойсского технологического института. Он объясняет, что алгоритм учитывает преступную активность человека в прошлом, но исключает из расчётов расу, пол и этническую принадлежность. «Список стратегических субъектов» содержит данные 1400 человек, которые, по мнению, алгоритма, могут стать жертвами или зачинщиками перестрелки.

Полиция использует список не для того, чтобы арестовывать каждого из подозреваемых, а для «персональных уведомлений». Социальные работники и лидеры общественного мнения, проживающие в тех же районах, встречаются с субъектами из списка, общаются с ними, пытаются отговорить их от нарушения закона в будущем. По словам Джонатана Луина (Jonathan H. Lewin), представителя Полицейского управления Чикаго, алгоритм просто делает предложения, но никоим образом не заменяет человека. Модель разработана для информирования о возможных подозреваемых.

В 2016 году более 70% людей, в которых стреляли, состояли в «Списке стратегических субъектов». Из стрелявших в списке были 80%. Во время рейда полиции по местным бандам были арестованы 140 человек, из которых в списке были 117 человек.

Несмотря на очевидно верные предсказания, общество встречает подобные алгоритмы с подозрением. Представительница Американского союза защиты гражданских свобод Иллиноиса заявляет: «Мы обеспокоены. Это база данных граждан, составленная по неизвестным факторам, и для людей нет возможности оспорить наличие своего имени в списке. Как вообще попадают в этот список? Мы думаем, опасно выделять кого-то на основе секретной информации полиции».

В калифорнийском городе Санта-Крус используют алгоритм, который составляет карту с возможными местами гангстерских разборок: каждый день патрульные получают новый маршрут с указанием 10 «горячих точек». Аналитическую программу начали использовать в судах, чтобы вычислять «показатель оценки риска» — но это этот алгоритм, судя по результатам его работы, следует улучшить.
via geektimes

Система предсказаний преступлений напоминает о сериале Person of Interest. Мне вот только интересно, что появилось раньше: сериал (значит его создатели предсказали ближайшее будущее) или подобные системы (т.е. создатели сериала вдохновились тем, что реально существуетвовало к моменту написания сценария). Уж очень реальность совпадает с вымыслом(?).

[Warlogis]

Кстати у сериала новый сезон начался таки Я решил не качать пока не запулят весь, а потом разом посмотрю.

[Unseen]

Кстати у сериала новый сезон начался таки  Я решил не качать пока не запулят весь, а потом разом посмотрю.

Кстати, этот сезон финальный. И кстати, эти идиоты (главные действующие лица), несмотря на то, что находятся в эпицентре битвы между двумя ИИ все еще пытаются продолжать спасать людей чьи номера они получили  А я то наивный рассчитывал на то, что финал сезона будет целиком посвящен противостоянию Самаритянина и Машины.