В 2014 году две 18-летние девушки из небольшого городка американского штата Флорида нашли оставленные кем-то детские велосипед и самокат. Ради забавы они решили проехаться на них несколько кварталов, посмеиваясь, насколько нелепо они выглядят со стороны. Через несколько часов обеих девушек задержали и обвинили в краже. При этом причиной задержания стал не столько сам факт «заимствования» чужого, сколько рейтинг системы COMPAS, которая определяет вероятность рецидивизма. Созданный компанией Northpointe алгоритм назначил одной девушке высокий риск рецидивизма, а второй — средний. Как сообщает некоммерческая организация ProPublica, система сочла их злостными рецидивистками, поскольку девушки были афроамериканками.
Первые системы прогнозирования преступлений появились еще в начале 2000-х. Их предназначение заключалось в снижении количества заключенных, и с тех пор в некоторых американских штатах удалось добиться неплохих результатов. Так, за 10 лет в штате Вирджиния рост числа заключенных снизился с 31% до 5%.
Однако понимания того, как работают такие алгоритмы, за 17 лет так и не появилось. Хотя в Northpointe утверждают, что число рецидивистов среди представителей разных рас примерно одинаковое, анализ 7000 судебных случаев, проведенный ProPublica, показал, что темнокожим правонарушителям алгоритм присуждает средний и высокий показатели риска в два раза чаще.
«Можно мечтать, будто мы сможем избежать предвзятости и несправедливости, если доверим принятие решений алгоритмам. Но получаемые в реальной жизни результаты показывают, что это невозможно, — утверждает Томас Микони, эксперт по компьютерной нейронауке калифорнийского Института Нейронауки. — Мы не можем передать машинам наши глубинные представления о морали».
Недавно Микони опубликовал статью о «невозможности справедливости» (“A Note On The Impossibility of Fairness”). В ней эксперт утверждает, что справедливость — это слишком субъективная человеческая черта, поэтому математически передать ее алгоритму попросту невозможно.
Впрочем, по мнению специалистов, только этим дело не ограничивается. Проблема заключается еще и в том, что научить машины быть справедливыми невозможно, пока несправедливы мы сами. Так, сегодня женщинам зачастую платят меньше просто потому, что они женщины — и если мы сами до сих пор не ушли от подобных предрассудков, как мы можем научить компьютеры быть непредвзятыми?
Еще философ Иммануил Кант писал, что человечество никогда не сможет уйти от несправедливости. В труде «Основы метафизики нравственности» он высказал мысль, что даже если бы мы все были абсолютно справедливыми, справедливости все равно бы не существовало, поскольку каждый из нас придерживается своей сугубо субъективной интерпретации того, что является справедливостью, а что — нет.
«Кант был математиком в глубине души, как и Макони, который пытается выяснить, как так вышло, что машина, предназначенная для вынесения исключительно честных вердиктов, решила посадить двух девочек в тюрьму, когда в худшем случае они заслуживали выговора», — пишут журналисты Quarts.
Таким образом, заключают они, несправедливость — это свойство нашей реальности, а потому ни нам, ни тем более машинам, которых мы же и создаем, пока что от нее никуда не деться.
«Поэтому вне зависимости от того, кто или что принимает решение, нужно всегда оставлять место для компромиссного решения, вынесенного третьей стороной», — добавляет Микони.
В целом, по мнению эксперта, существует два способа сделать машины справедливыми в будущем. Первый — это создать «идеальный алгоритм». Хотя в Northpointe утверждают, что тот же COMPAS делает удачные предсказания в 76% случаев, в ходе проведенных ProPublica проверок выяснилось, что иногда его точность не превышает 50% — подбрасывание монетки оказывается более эффективным решением. Так что алгоритмам определенно есть куда «расти».
Вместе с тем, добавляет Макони, создать совсем идеальный алгоритм объективно невозможно. Поэтому он предлагает второй способ, как более реалистичный. Но этот способ потребует, прежде всего, от людей, а не от машин, отказа от привычных предрассудков.
«Да, — соглашается эксперт, — согласно судебным документам афроамериканцы действительно чаще повторно совершают преступления. Но мы должны сделать так, чтобы алгоритмы не брали эти сведения во внимание. Нужно рассматривать каждый случай отдельно, без учета статистических данных о той группе лиц, к которой принадлежит подозреваемый».
Источники: Quarts, hightech.fm