В последнее время произошло несколько случаев, демонстрирующих всё возрастающую заботу Google о детской безопасности. И в некоторых случаях эта забота становится чрезмерной и наносит вред.
Например, обеспокоенный отец рассказал, что он сфотографировал инфекцию в паху своего ребёнка на Android-смартфон, после чего Google пометила изображения как материал сексуального насилия над детьми (CSAM – child sexual abuse material). В дальнейшем компания закрыла его учётные записи, подала отчёт в Национальный центр пропавших без вести и эксплуатируемых детей (NCMEC), а также инициировала полицейское расследование.
Инцидент произошёл в феврале 2021 года, когда многие кабинеты врачей ещё оставались закрытыми из-за пандемии COVID-19. Марк (имя отца изменено) заметил припухлость в области гениталий своего ребёнка и по просьбе медсестры прислал фотографию проблемной зоны перед видеоконсультацией с доктором. Благодаря полученному изображению врач прописал антибиотики, которые вылечили инфекцию.
Но фотография создала множество проблем для отца. Через 2 дня после съёмки он получил уведомление от Google, в нём говорилось, что его учетные записи были заблокированы из-за «вредного контента», который является «серьёзным нарушением политики Google и может быть незаконным».
В итоге отец ребёнка потерял доступ к своим электронным письмам, контактам, фотографиям и даже номеру телефона, поскольку использовал сервис Google Fi. Он сразу попытался обжаловать решение Google, но компания отклонила его запрос. Департамент полиции Сан-Франциско начал расследование в отношении Марка в декабре 2021 года и получил всю информацию, которую он хранил в Google. Следователь по делу в конечном итоге установил, что происшествие «не соответствовало признакам преступления, и преступления не было».
Эта ситуация очередной раз подчеркнула сложности разграничения потенциального насилия над детьми и невинной фотографии в цифровой библиотеке пользователя, будь то локальное хранилище на устройстве или облачное хранилище.
Как и многие интернет-компании, включая Facebook, Twitter и Reddit, Google использует сопоставление хэшей с базой Microsoft PhotoDNA для сканирования загруженных изображений, чтобы обнаружить совпадения с известными случаями CSAM. В 2018 году Google объявила о запуске собственного набора инструментов Content Safety API AI, который может «упреждающе идентифицировать никогда ранее не виденные изображения CSAM, чтобы их можно было просмотреть и, если они будут подтверждены как CSAM, удалить и сообщить как можно быстрее». Этот инструментарий используется в собственных сервисах Google наряду с решением для сопоставления хэшей CSAI Match для видео, разработанным инженерами YouTube. Эти инструменты также доступны другим компаниям.
Представитель Google сообщил, что Google сканирует личные изображения пользователей только тогда, когда пользователь предпринимает «позитивные действия», которые, по-видимому, могут включать резервное копирование своих изображений в Google Photos. Когда Google помечает потенциально эксплуататорские изображения, то в соответствии с федеральным законом компания обязана сообщить о потенциальном преступнике в CyberTipLine в NCMEC. В 2021 году Google сообщил о 621583 случаях потенциальных CSAM в CyberTipLine NCMEC, в то время как NCMEC предупредил власти о 4260 потенциальных жертвах, список которых включает сына Марка.
Ещё в прошлом году начали возникать опасения по поводу стирания границ между тем, что следует считать приватным. Это стало результатом оглашения компанией Apple своего плана Child Safety, который подразумевал локальное сканирование изображения на устройствах Apple с последующим сопоставлением с хэшированной базой данных NCMEC известных случаев CSAM. После критики этого решения Apple приостановила внедрение этого плана, но в iOS 15.2 начала внедрять некоторые из его элементов.
Хотя защита детей от жестокого обращения, несомненно, важна, критики утверждают, что практика сканирования фотографий пользователей необоснованно посягает на их частную жизнь. Директор технологических проектов Electronic Frontier Foundation (некоммерческая группа по защите цифровых прав) Джон Каллас назвал практику Google «навязчивой». Также ранее организация критиковала инициативу Apple.
Это не единственный случай пристального внимания Google к правам и интересам детей на её платформах. Сервис YouTube удалил видео, в котором водители Tesla проводят собственные тесты на безопасность, чтобы определить, будут ли функции Full Self-Driving (FSD) автоматически останавливать автомобиль, когда на дороге окажутся дети. В ролике есть несколько эпизодов тестирования систем. В одном из них Тэд Парк едет на Tesla Model 3 в направлении одного из своих детей, стоящих на дороге. В другом фрагменте он снова пытается ехать по дороге, которую переходит другой его ребёнок. В обоих случаях автомобиль автоматически останавливался, не доезжая до детей.
Does Tesla Full Self-Driving Beta really run over kids?
Thanks to @MinimalDuck and @_tadpark for your help on this! @elonmusk @RealDanODowdhttps://t.co/A1Pq1LkDyQ pic.twitter.com/bR19cVkWcL
— Whole Mars Catalog (@WholeMarsBlog) August 14, 2022
Видео было удалено из-за нарушения правил платформы. На странице поддержки YouTube есть особые правила в отношении контента, который «угрожает эмоциональному и физическому благополучию несовершеннолетних», включая «опасные трюки, вызовы или розыгрыши». Представитель YouTube Айви Чой заявила, что видео нарушает политику сервиса в отношении вредоносного и опасного контента, платформа «не разрешает контент, показывающий, как несовершеннолетние участвуют в опасных действиях, или побуждает несовершеннолетних к опасным действиям».
В своём видео Парк говорил, что он контролировал управление автомобилем во время тестирования и мог самостоятельно затормозить в любое время. При этом автомобиль не ехал быстрее 8 миль в час (около 13 км/ч). Видео было опубликовано в сервисах YouTube и Twitter. При этом в YouTube оно было удалено (к 18 августа ролик успел собрать более 60 тыс. просмотров), а в Twitter оно и далее доступно. Администрация Twitter пока не прокомментировала запрос о том, нарушает ли ролик какие-либо правила платформы.
В ответ на видео Национальная администрация безопасности дорожного движения (NHTSA) выступила с заявлением, в котором предостерегает от использования детей для тестирования технологии автоматизированного вождения.
Идея протестировать систему FSD с реальными детьми возникла у автора видео после того, как в Twitter демонстрировалась реклама и видео, на которых электромобили Tesla не могли определить манекены, имеющие размеры детей, и сталкивались с ними.
Отметим, ПО Tesla FSD не делает автомобиль полностью автономным. При использовании этой функции водители должны по-прежнему держать руки на руле и быть готовыми взять на себя управление в любой момент.