«Судебные алгоритмы путают статистическую корреляцию с причинно-следственной связью»

Многие считают, что алгоритмы пока не оказывают существенного воздействия на нашу жизнь. Сервисы на базе машинного обучения стоят за новостными лентами в Facebook и поисковыми механизмами Google, но на наше будущее они влияют минимально. Однако это не так: в частности, в США алгоритмы уже используются в судебной системе — с их помощью судьи оценивают риск рецидива и определяют судьбу преступника, пишет колумнистка MIT Technology Review Карен Хао.

«Каждый 38-й взрослый американец числится в каком-либо исправительном учреждении, и в определенный момент судьба подсудимого зависит от решений, принятых ИИ», — утверждает Хао.

Изначально алгоритмы начали применять для того, чтобы снизить количество заключенных в стране. Предполагалось, что программы, обученные на массивах данных, будут способны сразу понять, какому преступнику можно дать условный срок, а от кого общество лучше пока оградить, и помогут судьям принимать взвешенные и непредвзятые решения.

Принцип работы судебных алгоритмов довольно прост: они анализируют персональные данные подсудимого, сверяют их со статистикой и определяют вероятность совершения повторных преступлений. Эта оценка впоследствии сопровождает человека на протяжении всех этапов судебных разбирательств. Показатель влияет на меру пресечения, срок заключения и вероятность выхода под залог.

Проблема в том, что оценка риска строится на элементарных статистических принципах и нередко упускает из виду реальное положение дел. Так, если ИИ, проанализировав собранную за последние десятилетия статистику преступлений, обнаружит, что обладатели низкого дохода склонны к рецидивизму, то начнет каждому без исключения бедняку приписывать высокую вероятность повторного совершения преступления, вне зависимости от того, о каком человеке идет речь и каковы были его мотивы.

«ИИ путает статистическую корреляцию с причинно-следственной связью. В результате группы людей, которые исторически чаще подвергались давлению со стороны полиции, вновь оказываются в уязвимом положении. В первую очередь это касается меньшинств и беднейших слоев населения», — пишет Хао.

При этом подловить ИИ на ошибке и исправить недочет не представляется возможным — исходники судебной нейросети запатентованы и к ним нет доступа у общественных организаций, констатировала эксперт.

Источники: MIT Technology Review, hightech.plus