Останнім часом сталося кілька випадків, які демонструють дедалі більшу турботу Google про дитячу безпеку. І в деяких випадках ця турбота стає надмірною і завдає шкоди.
Наприклад, стурбований батько розповів, що він сфотографував інфекцію в паху своєї дитини на Android-смартфоні, після чого Google помітила зображення як матеріал сексуального насильства над дітьми (CSAM – child sexual abuse material). Надалі компанія закрила його облікові записи, подала звіт до Національного центру зниклих безвісти та експлуатованих дітей (NCMEC), а також ініціювала розслідування в поліції.
Інцидент стався в лютому 2021 року, коли багато кабінетів лікарів залишалися закритими через пандемію COVID-19. Марк (ім’я батька змінено) помітив припухлість в області геніталій своєї дитини й на прохання медсестри надіслав фотографію проблемної зони перед відеоконсультацією з лікарем. Завдяки отриманому зображенню лікар прописав антибіотики, які вилікували інфекцію.
Але фотографія створила багато проблем для батька. Через 2 дні після знімання він отримав повідомлення від Google, в якому йшлося про те, що його облікові записи були заблоковані через «шкідливий контент», який є «серйозним порушенням політики Google і може бути незаконним».
У результаті батько дитини втратив доступ до своїх електронних листів, контактів, фотографій і навіть номера телефону, оскільки використовував сервіс Google Fi. Він відразу спробував оскаржити рішення Google, але компанія відхилила його запит. Департамент поліції Сан-Франциско розпочав розслідування щодо Марка у грудні 2021 року та отримав всю інформацію, яку він зберігав у Google. Слідчий у справі зрештою встановив, що подія «не відповідала ознакам злочину, і злочину не було».
Ця ситуація вкотре наголосила на складності розмежування потенційного насильства над дітьми та безневинної фотографії в цифровій бібліотеці користувача, чи це локальне сховище на пристрої, чи хмарне сховище.
Як і багато інтернет-компаній, включаючи Facebook, Twitter і Reddit, Google використовує зіставлення хешів з базою Microsoft PhotoDNA для сканування завантажених зображень, щоб виявити збіги з відомими випадками CSAM. У 2018 році Google оголосила про запуск власного набору інструментів Content Safety API AI, який може «випереджувально ідентифікувати раніше не бачені зображення CSAM, щоб їх можна було переглянути і, якщо вони будуть підтверджені як CSAM, видалити й повідомити якнайшвидше». Цей інструментарій використовується у власних сервісах Google поряд з рішенням для порівняння хешів CSAI Match для відео, розробленим інженерами YouTube. Ці інструменти також доступні для інших компаній.
Представник Google повідомив, що Google сканує особисті зображення користувачів лише тоді, коли користувач вживає «позитивних дій», які, мабуть, можуть включати резервне копіювання своїх зображень у Google Photos. Коли Google позначає потенційно експлуататорські зображення, відповідно до федерального закону компанія зобов’язана повідомити про потенційного злочинця в CyberTipLine в NCMEC. У 2021 році Google повідомив про 621583 випадки потенційних CSAM в CyberTipLine NCMEC, в той час, як NCMEC попередив владу про 4260 потенційних жертв, список яких включає сина Марка.
Ще минулого року почали виникати побоювання щодо стирання кордонів між тим, що слід вважати приватним. Це стало результатом оголошення компанією Apple свого плану Child Safety, який мав на увазі локальне сканування зображення на пристроях Apple з подальшим зіставленням із хешованою базою даних NCMEC відомих випадків CSAM. Після критики цього рішення Apple призупинила впровадження цього плану, але в iOS 15.2 почала впроваджувати деякі його елементи.
Хоча захист дітей від жорстокого поводження, безперечно, важливий, критики стверджують, що практика сканування фотографій користувачів необґрунтовано зазіхає на їхнє приватне життя. Директор технологічних проєктів Electronic Frontier Foundation (некомерційна група із захисту цифрових прав) Джон Каллас назвав практику Google «нав’язливою». Також раніше організація критикувала ініціативу Apple.
Це не єдиний випадок пильної уваги Google до прав та інтересів дітей на її платформах. Сервіс YouTube видалив відео, в якому водії Tesla проводять власні тести на безпеку, щоб визначити, чи функції Full Self-Driving (FSD) автоматично зупинятимуть автомобіль, коли на дорозі опиняться діти. У ролику є кілька епізодів тестування систем. В одному з них Тед Парк їде Tesla Model 3 у напрямку одного зі своїх дітей, що стоїть на дорозі. В іншому фрагменті він знову намагається їхати дорогою, яку переходить інша його дитина. В обох випадках автомобіль автоматично зупинявся, не доїжджаючи до дітей.
Does Tesla Full Self-Driving Beta really run over kids?
Thanks to @MinimalDuck and @_tadpark for your help on this! @elonmusk @RealDanODowdhttps://t.co/A1Pq1LkDyQ pic.twitter.com/bR19cVkWcL
— Whole Mars Catalog (@WholeMarsBlog) August 14, 2022
Відео було видалено через порушення правил платформи. На сторінці підтримки YouTube є особливі правила щодо контенту, який «загрожує емоційному та фізичному добробуту неповнолітніх», включаючи «небезпечні трюки, виклики або розіграші». Представник YouTube Айві Чой заявила, що відео порушує політику сервісу щодо шкідливого та небезпечного контенту, платформа «не дозволяє контент, що показує, як неповнолітні беруть участь у небезпечних діях, або спонукає неповнолітніх до небезпечних дій».
У своєму відео Парк говорив, що він контролював керування автомобілем під час тестування та міг самостійно загальмувати у будь-який час. При цьому автомобіль не їхав швидше за 8 миль на годину (близько 13 км/год). Відео було опубліковано у сервісах YouTube та Twitter. При цьому в YouTube воно було видалено (до 18 серпня ролик встиг зібрати понад 60 тис. переглядів), а в Twitter воно й надалі доступне. Адміністрація Twitter поки не прокоментувала запит про те, чи порушує ролик будь-які правила платформи.
У відповідь на відео Національна адміністрація безпеки дорожнього руху (NHTSA) виступила із заявою, в якій застерігає від використання дітей для тестування технології автоматизованого водіння.
Ідея протестувати систему FSD з реальними дітьми виникла в автора відео після того, як у Twitter демонструвалася реклама та відео, на яких електромобілі Tesla не могли визначити манекени, які мають розміри дітей, і стикалися з ними.
Зазначимо, програмне забезпечення Tesla FSD не робить автомобіль повністю автономним. При використанні цієї функції водії повинні тримати руки на кермі й бути готовими взяти на себе керування в будь-який момент.