Мужчина сфотографировал своего сына для врача и чуть не угодил в тюрьму: как Google может испортить вам жизнь
У Google есть автоматизированный инструмент для обнаружения оскорбительных изображений детей. Но система может ошибиться, и последствия будут серьезными, сообщает NYTimes.
Фото: IStock
Марк заметил, что с его малышом что-то не так. Пенис его сына выглядел опухшим и болел. Марк, отец из Сан-Франциско, взял свой Android-смартфон и сделал фотографии, чтобы задокументировать проблему и отслеживать ее развитие.
Это было в пятницу вечером в феврале 2021 года. Его жена позвонила медсестре-консультанту в их медицинском учреждении, чтобы назначить экстренную консультацию на следующее утро по видеосвязи, потому что это была суббота и шла пандемия. Медсестра сказала прислать фотографии, чтобы врач мог их просмотреть заранее.
Жена Марка схватила телефон своего мужа и отправила несколько высококачественных крупных планов области паха их сына на свой iPhone, чтобы она могла загрузить их в систему обмена сообщениями поставщика медицинских услуг. На одном была видна рука Марка, что помогло лучше показать опухоль. Марк и его жена не думали о технологических гигантах, которые сделали возможным этот быстрый захват и обмен цифровыми данными, или о том, что эти гиганты могут подумать об изображениях.
По теме: В Мексике нашли разлагающееся тело туриста: его 5-летний сын все время был рядом
С помощью фотографий врач поставил диагноз и прописал антибиотики, которые быстро помогли. Но после этого эпизода у Марка возникла гораздо более серьезная проблема, которая стоила ему более десяти лет контактов, электронных писем и фотографий и сделала его объектом полицейского расследования. Марк, который попросил называть его только по имени, опасаясь потенциального ущерба для репутации, попал в алгоритмическую сеть, предназначенную для поимки людей, обменивающихся материалами о сексуальном насилии над детьми.
Поскольку технологические компании регулярно собирают так много данных, они были вынуждены действовать в качестве часовых, проверяя, что проходит через их серверы, чтобы обнаруживать и предотвращать преступное поведение. Защитники детей говорят, что сотрудничество компаний необходимо для борьбы с высоким распространением изображений сексуального насилия в Интернете. Но это может повлечь за собой заглядывание в частные архивы, такие как цифровые фотоальбомы — вторжение, которого пользователи могут не ожидать, — которое выставило невинное поведение в зловещем свете по крайней мере в двух случаях, которые обнаружила The Times.
«Их могут быть десятки, сотни, тысячи», — сказал Джон Каллас, технолог из Electronic Frontier Foundation, организации, занимающейся цифровыми гражданскими свободами.
Учитывая ужасный характер обвинений, Каллас предположил, что большинство людей, неправомерно помеченных, не будут предавать гласности то, что произошло.
«Я знал, что эти компании следят за нами, и что конфиденциальность — это не то, на что мы можем надеяться, — сказал Марк. — Но я не сделал ничего плохого».
Полиция согласилась. Гугл нет.
«Серьезное нарушение»
После настройки учетной записи Gmail в середине нулевых Марк, которому за 40, стал сильно полагаться на Google. Он синхронизировал встречи со своей женой в календаре Google. Камера его Android-смартфона создавала резервные копии фотографий и видео в облаке Google. У него даже был телефонный план с Google Fi.
Через два дня после того, как он сфотографировал своего сына, телефон Марка издал прерывистый звук уведомления: его учетная запись была отключена из-за «вредного контента», который является «серьезным нарушением политики Google и может быть незаконным». Ссылка «узнать больше» привела к списку возможных причин, включая «сексуальное насилие и эксплуатация детей».
Марк сначала растерялся, но потом вспомнил о болезни сына. «О Боже, Google, наверное, думает, что это детское порно», — подумал он.
Как ни странно, Марк работал инженером-программистом над автоматизированным инструментом крупной технологической компании для удаления видеоконтента, отмеченного пользователями как проблемный. Он знал, что в таких системах часто присутствует человек, который следит за тем, чтобы компьютеры не ошиблись, и предполагал, что его дело будет раскрыто, как только оно дойдет до этого человека.
Он заполнил форму с просьбой пересмотреть решение Google, объяснив болезнь своего сына. В то же время он обнаружил эффект домино от отказа Google. Мало того, что он потерял электронные письма, контактную информацию друзей и бывших коллег, а также документацию о первых годах жизни своего сына, его учетная запись Google Fi была закрыта, а это означало, что ему пришлось получить новый номер телефона у другого оператора. Без доступа к своему старому номеру телефона и адресу электронной почты он не мог получить коды безопасности, необходимые для входа в другие учетные записи в Интернете, что блокировало его большую часть его цифровой жизни.
«Чем больше яиц в одной корзине, тем больше вероятность того, что они разобьются», — сказал он.
В заявлении Google говорится: «Материалы о сексуальном насилии над детьми отвратительны, и мы стремимся предотвратить их распространение на наших платформах».
Через несколько дней после того, как Марк подал апелляцию, Google ответил, что не будет восстанавливать учетную запись, без каких-либо дополнительных объяснений.
Марк этого не знал, но группа проверки Google также пометила снятое им видео, и полицейское управление Сан-Франциско уже начало расследование в отношении него.
Как Google помечает изображения
На следующий день после того, как начались проблемы Марка, в Техасе разыгрывался тот же сценарий. У малыша в Хьюстоне была инфекция в его «интимных частях», — написал его отец в онлайн-посте, на который наткнулся журналист, рассказывая историю Марка. По просьбе педиатра Кассио, который также попросил, чтобы его называли только по имени, отец использовал Android для съемки фотографий, которые автоматически сохранялись в Google Фото. Затем он отправил их своей жене через чат Google.
Кассио был в процессе покупки дома и подписания бесчисленных цифровых документов, когда его учетная запись Gmail была отключена. Он попросил своего ипотечного брокера сменить адрес электронной почты, что вызвало у брокера подозрения, пока за него не поручился агент Кассио по недвижимости.
«Это была огромная головная боль», — сказал Кассио.
Изображения детей, подвергающихся эксплуатации или сексуальному насилию, помечаются технологическими гигантами миллионы раз в год. В 2021 году только Google подал более 600 000 сообщений о материалах, связанных с жестоким обращением с детьми, и в результате заблокировал учетные записи более 270 000 пользователей. Опыт Марка и Кассио был каплями в большом море.
Первым инструментом индустрии высоких технологий, который серьезно подорвал обширный онлайн-обмен так называемой детской порнографией, стала PhotoDNA, база данных известных изображений жестокого обращения, преобразованных в уникальные цифровые коды или хэши; его можно использовать для быстрого просмотра большого количества изображений для обнаружения совпадений, даже если фотография была изменена незначительно. После того, как Microsoft выпустила PhotoDNA в 2009 году, Facebook и другие технологические компании использовали его для искоренения пользователей, распространяющих незаконные и вредоносные изображения.
«Это потрясающий инструмент», — сказал тогда президент Национального центра пропавших без вести и эксплуатируемых детей.
Более крупный прорыв произошел почти десятилетие спустя, в 2018 году, когда Google разработала инструмент с искусственным интеллектом, который мог распознавать невиданные ранее изображения эксплуатации детей. Это означало поиск не только известных изображений детей, подвергшихся насилию, но и изображений неизвестных жертв, которых власти потенциально могли бы спасти. Google сделал свою технологию доступной для других компаний, включая Facebook.
Когда фотографии Марка и Кассио автоматически загружались с их телефонов на серверы Google, эта технология их помечала. Джон Каллас из E.F.F. назвал сканирование навязчивым, заявив, что семейный фотоальбом на чьем-то личном устройстве должен быть «частной сферой». Представитель Google сказал, что компания сканирует только тогда, когда пользователь предпринимает «позитивное действие», в том числе когда телефон пользователя создает резервную копию фотографий в облаке компании.
«Это именно тот кошмар, который нас всех беспокоит, — сказал Каллас. – Они собираются отсканировать мой семейный альбом, и тогда у меня будут проблемы».
Модератор человеческого контента для Google просмотрел фотографии после того, как искусственный интеллект пометил их, чтобы подтвердить, что они соответствуют федеральному определению материалов о сексуальном насилии над детьми. Когда Google делает такое открытие, он блокирует учетную запись пользователя, ищет другие материалы эксплуатации и, как того требует федеральный закон, отправляет отчет на CyberTipline в Национальный центр пропавших без вести и эксплуатируемых детей.
Некоммерческая организация стала центром сбора материалов о злоупотреблениях; в прошлом году он получил 29,3 миллиона отчетов, или около 80 000 отчетов в день. Фэллон МакНалти, управляющая CyberTipline, сказала, что большинство из этих изображений — это изображения, о которых сообщалось ранее, и которые по-прежнему постоянно циркулируют в Интернете. Поэтому ее штат из 40 аналитиков фокусируется на потенциальных новых жертвах, чтобы они могли расставить приоритеты по этим делам для правоохранительных органов.
«Как правило, если сотрудники NCMEC просматривают отчет CyberTipline и включают в себя эксплуататорские материалы, которых раньше не видели, они перейдут на эскалацию, — сказала Макналти. – Это может быть ребенок, которого еще не идентифицировали или не защитили, и он не в безопасности».
Макналти сказала, что удивительная способность Google обнаруживать эти изображения, чтобы ее организация могла сообщить о них в полицию для дальнейшего расследования, была «примером того, что система работает должным образом».
Сотрудники CyberTipline добавляют любые новые оскорбительные изображения в хешированную базу данных, которая используется технологическими компаниями для целей сканирования. Когда жена Марка узнала об этом, она удалила фотографии их сына, сделанные Марком, со своего iPhone, опасаясь, что Apple может пометить ее аккаунт. В прошлом году Apple объявила о планах сканировать фотографии iCloud на наличие известных изображений сексуального насилия над детьми, но развертывание было отложено на неопределенный срок из-за сопротивления со стороны групп конфиденциальности.
В 2021 году CyberTipline сообщила, что предупредила власти о «более 4260 потенциальных новых жертвах-детях». Среди них были сыновья Марка и Кассио.
«Преступления не было»
В декабре 2021 года Марк получил по почте конверт из полицейского управления Сан-Франциско. В нем было письмо, в котором ему сообщалось, что в отношении него ведется расследование, а также копии ордеров на обыск, выданных Google и его интернет-провайдеру. Следователь, чья контактная информация была предоставлена, запросил все в аккаунте Марка в Google: его поисковые запросы в Интернете, историю его местоположений, его сообщения и любые документы, фото и видео, которые он хранил в компании.
Обыск, связанный с «видео эксплуатации детей», был проведен в феврале, в течение недели после того, как он сделал фотографии своего сына.
Марк позвонил следователю Николасу Хилларду, который сказал, что дело закрыто. Мистер Хиллард пытался связаться с Марком, но его номер телефона и адрес электронной почты не работали.
«Я установил, что инцидент не соответствовал признакам преступления и что никакого преступления не было», — написал Хиллард в своем отчете. Полиция имела доступ ко всей информации Google о Марке и решила, что это не является жестоким обращением с детьми или их эксплуатацией.
Марк спросил, может ли Хиллард сообщить Google, что он невиновен, чтобы вернуть свою учетную запись.
«Вы должны поговорить с Google, — сказал Хиллард, по словам Марка. — Я ничего не могу сделать».
Марк снова подал апелляцию в Google, предоставив полицейский отчет, но безрезультатно. Получив два месяца назад уведомление о том, что его учетная запись удаляется навсегда, Марк поговорил с юристом о том, чтобы подать в суд на Google и сколько это может стоить.
«Я решил, что это, вероятно, не стоит $7000», — сказал он.
Кейт Клоник, профессор права в Университете Св. Иоанна, написавшая о модерации онлайн-контента, сказала, что может быть сложно «учитывать то, что невидимо на фотографии, например, поведение людей, которые делятся изображением, или намерения человек, принимающий этот контент». Ложные срабатывания, когда люди ошибочно отмечаются, неизбежны, учитывая миллиарды сканируемых изображений. Хотя большинство людей, вероятно, сочли бы этот компромисс оправданным, учитывая преимущество выявления детей, подвергшихся насилию, Клоник сказала, что компаниям нужен «надежный процесс» для очистки и восстановления невиновных людей, которые были ошибочно отмечены.
«Это было бы проблематично, если бы речь шла только о модерации контента и цензуре, — сказала Клоник. – Но это вдвойне опасно, потому что это также приводит к тому, что кто-то становится доносом в правоохранительные органы».
По ее словам, могло быть и хуже, родитель может потерять опеку над ребенком. «Вы можете себе представить, как это может обостриться», — сказала Клоник.
Случай Кассио также рассследовался полицией. Осенью 2021 года ему позвонил детектив из полицейского управления Хьюстона и попросил приехать в участок.
После того, как Кассио показал детективу свое общение с педиатром, его быстро оправдали. Но он тоже не смог вернуть свою десятилетнюю учетную запись Google, несмотря на то, что был платным пользователем веб-сервисов Google. Теперь он использует адрес Hotmail для электронной почты, за что люди насмехаются над ним. Он делает несколько резервных копий своих данных.
Все неоднозначно
Не все фотографии обнаженных детей являются порнографическими, эксплуататорскими или оскорбительными. Карисса Бирн Хессик, профессор права Университета Северной Каролины, которая пишет о преступлениях, связанных с детской порнографией, говорит, что юридическое определение того, что представляет собой изображения сексуального насилия, может быть сложным.
Но Хессик сказала, что согласна с полицией в том, что медицинские снимки не подходят под это определение. «Никакого жестокого обращения с ребенком нет», — сказала она.
В машинном обучении компьютерная программа обучается, получая «правильную» и «неправильную» информацию до тех пор, пока она не сможет различать их. Чтобы не помечать фотографии младенцев в ванне или детей, бегающих раздетыми по разбрызгивателям, Google A.I. для распознавания злоупотреблений обучался как на изображениях потенциально незаконных материалов, обнаруженных Google в учетных записях пользователей в прошлом, так и на изображениях, которые не указывали на злоупотребления, чтобы дать ему более точное представление о том, что следует помечать.
Решение пометить фотографии, которые сделал Марк, было понятно: это откровенные фотографии гениталий ребенка. Но контекст имеет значение: их снял родитель, обеспокоенный больным ребенком.
«Мы понимаем, что в эпоху телемедицины и особенно Covid родителям было необходимо фотографировать своих детей, чтобы поставить диагноз», — сказала Клэр Лилли, глава отдела безопасности детей Google. По ее словам, компания проконсультировалась с педиатрами, чтобы ее рецензенты понимали возможные состояния, которые могут появиться на фотографиях, сделанных по медицинским показаниям.
Доктор Сюзанна Хейни, председатель Совета Американской академии педиатрии по жестокому обращению с детьми и безнадзорности, посоветовала родителям не фотографировать гениталии своих детей, даже по указанию врача.
«Последнее, что вам нужно, — это чтобы ребенок привыкал к тому, что кто-то фотографирует его гениталии, — сказала доктор Хейни. – Если вам абсолютно необходимо, избегайте загрузки в облако и немедленно удаляйте их».
Она сказала, что большинство врачей, вероятно, не знали о риске, связанном с просьбой сделать такие фотографии.
«Я аплодирую Google за то, что они делают, — сказала доктор Хейни об усилиях компании по борьбе со злоупотреблениями. – Но у нас имеется действительно ужасная проблема. К сожалению, это было связано с тем, что родители пытались поступать правильно со своими детьми».
Ранее в этом году представитель службы поддержки сообщил Кассио, что отправка фотографий его жене с помощью Google Hangouts нарушает условия обслуживания чата. «Не используйте Hangouts каким-либо образом, который может навредить детям, — гласили условия. – У Google политика абсолютной нетерпимости к этому контенту».
Что касается Марка, Лилли из Google сказала, что рецензенты не обнаружили сыпи или покраснения на фотографиях, которые он сделал, и что последующая проверка его аккаунта обнаружила видео шестимесячной давности, которое Google также сочла проблематичным, маленький ребенок лежит в постели с раздетой женщиной.
Марк не помнил это видео и больше не имел к нему доступа, но он сказал, что это звучало как личный момент, который он хотел бы запечатлеть, не осознавая, что кто-то когда-либо увидит или оценит его.
«Я помню этот момент. Мы проснулись однажды утром. Это был прекрасный день с моей женой и сыном, и я хотел запечатлеть этот момент, — сказал Марк. – Если бы мы только спали в пижамах, всего этого можно было бы избежать».
Представитель Google заявила, что компания придерживается своих решений, хотя правоохранительные органы оправдали двух мужчин.
Виноват по умолчанию
Хессик, профессор права, сказала, что сотрудничество технологических компаний с правоохранительными органами для решения и искоренения сексуального насилия над детьми «невероятно важно», но, по ее мнению, оно должно позволять вносить исправления.
Вам может быть интересно: главные новости Нью-Йорка, истории наших иммигрантов и полезные советы о жизни в Большом Яблоке – читайте все это на ForumDaily New York.
«С точки зрения Google проще просто запретить этим людям пользоваться их услугами», — предположила она. В противном случае компании пришлось бы решать более сложные вопросы о том, «какое поведение уместно с детьми и что уместно фотографировать, а что нет».
У Марка все еще есть надежда, что он сможет вернуть свою информацию. Полиция Сан-Франциско хранит содержимое его учетной записи Google на флэш-накопителе. Сейчас Марк пытается получить копию. Представитель полиции сказал, что департамент готов помочь ему.
Сообщение Мужчина сфотографировал своего сына для врача и чуть не угодил в тюрьму: как Google может испортить вам жизнь появились сначала на ForumDaily.