Facebook рассказал о работе модераторов в отделе по борьбе с порноместью

    Несколько дней назад стало известно, что Facebook в Австралии запустил программу по самозащите от порномести (revenge porn). Если девушка (или парень) хочет заранее заблокировать для распространения свои интимные фотографии, то должна пропустить их через серверы Facebook. Процедура якобы конфиденциальная: нужно прислать фотографию самому себе в Messenger и пометить её как «порноместь». Тогда вычисляется хэш файла — и он помещается в базу данных для блокировки. Фотография будет заблокирована для дальнейшего распространения во всех системах Facebook, включая приватные чаты.

    Конечно, процедура конфиденциальная, но комментаторы сделали логичный вывод, что Facebook не позволит помещать в базу блокировки любые изображения. Например, кто-нибудь захэширует логотип Facebook — и что тогда, блокировать его во всей сети? То есть в такой системе по-любому должна работать модерация.

    Сейчас Facebook официально подтвердил, что модерация есть. И рассказал о работе модераторов.

    Новость об отправке своих интимных фотографий в Facebook вызвала некоторый резонанс в социальных сетях. Руководство Facebook официально не анонсировало запуск эксперимента (журналисты австралийских СМИ случайно узнали о ней в ходе расследования другого дела). Но сейчас, когда новость получила такой резонанс, пришлось спешно делать официальное заявление. «Хотя это небольшая пилотная программа, мы хотим чётко прояснить, как она работает», — пишет Facebook.

    Facebook напоминает, что база хэшей интимных фотографий для блокировки работает с апреля 2017 года во всём мире. Каждый пользователь может в любой момент сообщить, если его интимные фотографии распространяются в сети без его разрешения. Исследования показали, что 93% пользователей в этом случае испытывают сильный эмоциональный стресс, а 82% сообщают о «значительном ухудшении социальных, профессиональных или других важных аспектов жизни». Facebook добавит хэш в базу и заблокирует файл.

    Нынешняя программа в Австралии — небольшой эксперимент, который немножко расширяет действующую систему и позволяет проактивно помечать фотографии. Она запущена совместно с канцелярией Комиссара по электронной безопасности (eSafety Commissioner’s Office) при правительстве Австралии.

    Система работает следующим образом:

    • Гражданин заполняет онлайновую форму на официальном веб-сайте Комиссара по электронной безопасности.
    • Чтобы указать конкретные фотографии для блокировки, гражданина просят отправить фотографии самому себе в Messenger.
    • Канцелярия Комиссара по электронной безопасности сообщает в компанию Facebook о необходимости добавить в базу новые интимные фотографии (через форму). При этом сотрудники самой канцелярии не имеют доступа к фотографии.
    • Как только получено уведомление, специально обученный сотрудник группы Community Operations рассматривает и хэширует изображение, в результате чего создаётся машиночитаемый цифровой отпечаток (хэш).
    • В базе Facebook хранится только хэш, но не сами фотографии. Как только кто-нибудь попытается загрузить фотографию на платформу Facebook, она, как и все остальные фотографии, прогоняется через эту базу данных с хэшами. Если найдено совпадение, то фотография блокируется для отправки или публикации.
    • После хэширования фотографии Facebook уведомляет об этом факте человека, который сообщил об интимном фото, по безопасной почте, которую он предоставил в канцелярии Комиссара по электронной безопасности. Его просят удалить фотографию из соответствующего чата Messenger на своём устройстве. Как только фотография удалена из чата, она удаляется с серверов Facebook.

    Из этого описания проясняется несколько моментов. Во-первых, теперь официально заявлено, что интимные фотографии действительно рассматривают модераторы из отдела Community Operations. Во-вторых Facebook всё-таки некоторое время хранит интимные фотографии на своих серверах.

    После такого объяснения у некоторых пользователей появилось ещё больше страхов: «Кто смотрит на фотографии? Что если они сделают скриншот и сами что-то сделают с фотографиями?» — такие вопросы они задают.

    Специалисты по информационной безопасности также обращают внимание на то, что небольшая модификация фотографии изменит её хэш — и интимные фотографии практически в неизменном виде всё-таки смогут обойти блокировку Facebook.

    Facebook как может пытается успокоить публику. В интервью Motherboard представитель компании заверил, что модераторы рассматривают размытые (заблюреные) фотографии. Сложно поверить, что Facebook в самом деле внедрил такую систему, скорее это звучит как неуклюжая попытка выйти из ситуации. По крайней мере, на просьбу уточнить, на каком этапе происходит размытие фотографий, представитель Facebook что-то промямлил про хэширование и сослался на статью, в которой ни слова про размытие.

    Несмотря на все эти заверения, почему-то вспоминаются слова Марка Цукерберга из переписки в чате в 2004 году, на заре основания Facebook:

    Цук: Да, так что если когда-нибудь понадобится инфа о ком-нибудь в Гарварде
    Цук: Обращайся
    Цук: У меня 4000 адресов электронной почты, фотографии, адреса, номера социального страхования
    [Отредактировано имя друга]: Что? А их ты как достал?
    Цук: Люди сами вносят.
    Цук: Не знаю почему.
    Цук: Они «верят мне»
    Цук: Тупые придурки
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама
    Комментарии 49
    • +1
      Достаточно было сделать следующее.
      1. Скачиваешь программу для расчета хешей.
      2. Считаешь хеш своей фотки, загружаешь хеш на фейсбук.
      3. Фейсбук блокирует загрузку фото с этим хешом другими пользователями.
      4. Блокировку можно обойти с помощью модератора.
      • +5

        2 считаешь хеши произвольных фоток непонравившихся тебе людей.
        3 их блокируют
        4 получаешь нездоровое удовлетворение влажных мечт
        А какие могут получиться эпические битвы между фирмами-конкурентами!.. Хорошая идея, думаю, вам нужно предложить её Цукербергу и ещё немножко приплатить, чтобы просто посмотреть на то, что в результате получится :)

        • 0
          Если фотка уже размещена на ФБ другим пользователем, то ее нельзя блокировать, только через другие механизмы. А если нет — какова вероятность угадать хеш чужой фотки, которой ещё нет на ФБ? Кроме того, можно блокировать эту возможность пользователям, которые ей злоупотребляют. Все довольно быстро устаканится.
          • +1
            Если фотка уже размещена на ФБ другим пользователем, то ее нельзя блокировать, только через другие механизмы

            Таким образом, система становится бесполезной.


            . А если нет — какова вероятность угадать хеш чужой фотки, которой ещё нет на ФБ?

            А не надо угадывать. Надо брать из других источников. Я ж не просто так написал про потенциальные войнушки компаний.


            Кроме того, можно блокировать эту возможность пользователям, которые ей злоупотребляют

            То есть опять появляются модераторы. Ну, и чем это лучше обсуждаемого случая?


            Все довольно быстро устаканится

            Наоборот! :) Довольно быстро это перейдёт в войну, мы, сторонние наблюдатели, конечно, получим удовольствие (и ожирение от чрезмерного количества съеденного попкорна), наблюдая за сражениями, а вот фейсбук огребёт десятки тысяч исков от участников перестрелок. Так, что — вряд ли. Уж деньги-то они считать умеют.

            • 0
              Таким образом, система становится бесполезной.

              Конкретно эта система сделана для превентивной блокировки, удаление постфактум, видимо, совершается другими людьми.
              • 0
                > То есть опять появляются модераторы. Ну, и чем это лучше обсуждаемого случая?

                Тем, что
                1) модераторам не нужно смотреть все фото, а только конфликтные,
                2) модераторам не нужно смотреть порно,
                3) нет необходимости загружать в ФБ компрометирующие себя фото.
            • 0
              Официальное фото продукта при должной сноровке можно хоть с официального сайта взять. (Кажется, чуть-чуть ошибся уровнем, ответ для askv.)
              • 0
                Когда (и если) они захотят разместить их на ФБ они легко обойдут блокировку с помощью модераторов, а заблокировавший получит минус себе в карму.
              • 0
                Если фото с таким хэшем уже загружена кем-то другим, то вот тут модератор может посмотреть, убедится, что на ней владелец аккаунта и уже заблокировать.
                Поэтому придется заливать в гуглофото, яндексфотки, imgur, вконтакт, майспей, жж… а если и там заблокируют, то рассылать через сотню мессенджеров.
                • +1

                  И модератор будет требовать "одеться" как на фото и принять ту же позу, чисто для проверки ...

                • 0
                  Человек загружает фото, фейсбук говорит это фото заблокировано и ссылку на контакт с модератором. Модератор смотрит загруженное фото, убеждается что это не порно и стирает этот хеш. Всё просто и без проверки первоначальных фотографий. А проблема типа это мое порно на фейсбуке не актуальна так как там порно вообще запрещено любое.
                  • +1
                    Ожидание ответа от перегруженных модераторов может дорого стоить.
                    • 0
                      То есть проверить ВСЕ фотографии, в отличии от проверки только НЕКОТОРЫХ по запросу это дольше? А вот насколько дорого обойдется фейсбуку слитые голые фотки это трудно представить.
                      • 0
                        То есть проверить ВСЕ фотографии, в отличии от проверки только НЕКОТОРЫХ по запросу это дольше?

                        В случае ддоса этой системы на проверку будут отосланы сотни тысяч фотографий, и любой отдел модерации захлебнётся.
                        • 0
                          Разумное ограничение на количество загружаемых хешей + отключение возможности загружать хеши и инвалидация ранее загруженных хешей тем кто злоупотребляет.
                          • 0
                            Будто бы они будут грузить с одного аккаунта/ПК/IP/.
                          • 0
                            Ммм а теперь процесс опиши если не трудно? Во первых DDoS это отказ программно-аппаратного комплекса, а не модераторов. Во вторых для того что бы заставить модераторов проверить очень много фотографий, в моем варианте надо сначала захешировать очень много фотографий, а потом начать их загружать и отправлять на модерацию когда сервис откажет тебе в их публикации. В текущем варианте надо просто отправить фотографию что бы модератор проверил ее, как минимум в два раза сложность повышается. Модераторы смотрят сейчас ВСЕ фотографии, а в предложенном мной варианте только те которые попали под блокировку и запрошены на удаление из блокировки.
                            • 0
                              Во первых DDoS это отказ программно-аппаратного комплекса, а не модераторов.

                              Ну, DDoS буквально это отказ в обслуживании, и тут даже толпа людей с 5000 купюрами в маршрутке будет DDoSом.
                              Модераторы смотрят сейчас ВСЕ фотографии

                              А пруф этого можно? Считаю это в принципе невозможным, а при исключении этого факта из ваших рассуждений остальные легко опровергаются.
                              • 0
                                А статью вы читали вообще? Ну и вы правда думаете что у них работы невпроворот и модераторы завалены фотками голых людей желающих внести их в список?
                                • 0
                                  Статью читал, и не вижу там того, чтобы модераторы сейчас проверяли все фотографии в фейсбуке.
                                  • 0
                                    Как только получено уведомление, специально обученный сотрудник группы Community Operations рассматривает и хэширует изображение, в результате чего создаётся машиночитаемый цифровой отпечаток (хэш).

                                    В тексте это даже специально жирным шрифтом выделено. Как вы читаете вообще?
                                    • 0
                                      Ещё раз- где проверка ВСЕХ фотографий? Тут описана проверка только фотографий, которые специально отослали, и то это появилось недавно.
                                      Все это все, я возмутился именно на эту фразу.
                                      • 0
                                        И? Вообще то тут обсуждают именно их. Ты даже не понимаешь что написано и несешь чушь. Я сказал что текущий способ когда проверяют ВСЕ фотографии (естественно те которые посылают на хеширование потому что статья именно о них, а не о вообще всех фотках) хуже способа когда хеш делают сразу не проверяя фотографии, а проверяют только те фотографии которые система не пропустила из за совпадения хеша и в случае если это нормальная фотография то она разрешается к опубликованию и хеш стирается с базы. Так как очевидно не все посланные на хеширования фотографии будут опротестованы таким образом то именно нагрузка на модераторов снизится, а пользователи будут уверены что их голые фотки не увидит никто включая модераторов. Если ты этого не можешь понять, то даже не знаю как проще объяснить и стоит ли вообще это делать.
                                        И начал ты нести свою ахинею со слов «Ожидание ответа от перегруженных модераторов может дорого стоить.», а вовсе не с возмущения словом ВСЕ. Притом что мой способ уменьшает нагрузку на модераторов, а не увеличивает.
                  • 0
                    Достаточно сделать следующее:
                    1. Не загружать свои ню-фото в Интернет.
                    Для тех, кто так не делает, само понятие «хеш» означает в лучшем случае лёгкий наркотик.
                  • +2
                    Мммм… Мир сходит с ума.
                    Разве бытовое голое фото, залитое в соцсеть, не «изготовление и распространение порнографии» в большинстве стран? Когда фотографируют моделей, это другое, там искусство и всё такое. Бытовуха — именно порно. Что-то странно всё это.
                    Сфоткалась голой — скинь товарищу майору, он ждет!
                    • +5
                      Однако в большинстве развитых стран (отмеченных зелёным) порнография легальна.

                      image
                      • +2
                        В «большинстве стран» порнография не запрещена. И, еще хуже, в большем «большинстве стран», даже там, где ее производство запрещено, голая фотка не является порнографией. Вообще это называется как-то типа «вмешательство в личную жизнь». Хотя и не так сильно наказывается.
                        PS Мне вот в странах с запретом производства порнографии жить не нравится. Наверное еще хуже там где она запрещена (мы сейчас в таком полуофициальном переходе, видимо в сторону уголовного кодекса).
                      • –1
                        А что будет, если негритянка отправит туда «Чёрный квадрат» Малевича? Заблокирую или нет?
                        • +1
                          Если чат конфедициальный, как внутри него можно отследить что там посылается?
                          • +8
                            Конфиденциальный. Чат. На фейсбуке.
                            • –1
                              Конечно, Facebook или Google не технологические компании, а обычные рекламные шаражки, вроде тех, что распространяют бесплатные рекламные газеты.
                          • +2
                            Видел шутку про это на pikabu.
                            Так себе шутка, подумал.
                            А это не шутка.
                            • +5
                              Они модераторов, хоть, снабжают салфетками? А то им иногда могут попадаться довольно горячие хеши.
                              • 0
                                Меня вот что заинтересовало: если уменьшить ширину и/или высоту фотографии всего на один пиксель, то хеши гарантированно не совпадут. В таком случае, должна ещё быть система поиска по похожим изображениям. В любом случае, имхо, найти способы обхода блокировок можно массу.
                                • 0
                                  В такой системе никто не будет использовать хэш файла, будут делать перцептивный хэш или что-то подобное.
                                • –4
                                  Напомните, для чего вообще в рекламных сетях (Facebook, vk, Google products, Twitter, Yandex, Mail.ru etc.) регистрироваться? Там кроме продажи всяких глупых товаров и идей ничего нет, это если мы ведем активную жизнь в рекламных сетях, каждый человек, кого читает больше тысячи человек что-то рекламирует или попрошайничает, или и то, и другое. А если их использовать для общения с друзьями и родственниками — так есть куда более простые и удобные способы вроде звонка или письма. Похоже, просто этим рекламщикам из Facebook хочется «улучшить» целевую рекламу увеличения члена или груди, пластических операций, удалений шрамов, в общем всего того, о чем человек может задуматься если в рекламе укажут именно на его изъян, о котором он в принципе знал, но забыл или не предавал большого внимания, а покажи человеку 10 раз рекламу и он крепко об этом изъяне задумается, через 20 показов у него на этой почве случиться психоз, через 30 он обратиться за покупкой рекламируемого товара или услуги.
                                  • –2

                                    К сожалению есть ряд инвалидов тех с кем можно связаться только через соц сети, и эти люди почему-то оказываются чем-то ценны, или любимы.


                                    сперва бесило, потом понял что против ветра не выгребешь
                                    сейчас в соц сети транслирую анонсы из своего standalone блога… за что добренькая мордокнига иногда меня банит.

                                    • 0
                                      А для чего вы тут зарегистрировались? Тут тоже реклама, корпоративные блоги и прочие кровавые маркетологи.
                                      • 0
                                        У меня uBlock и во-вторых тут не требуется ни подтверждения по номеру телефона, не требуется ID для установки личности, ни набора друзей тут нет. У меня как-то на Facebook попросили мое ID для идентификации, когда я в ответ спросил ID Цукерберга мне отказали. Я не люблю тоталитарные системы, следящие за пользователем, не люблю рекламу, не люблю паспорта и другие удостоверения личности. Веду кое-какую деятельность и знаю, что 95% трудозатрат в бизнесе нужны для составления отчетности государству, что бы ему было удобнее отнимать у меня деньги, что бы ему было удобно винтить людей надо, например, гостиницам отправлять ментухаям данные и т.д. Пользуюсь этим не по любви к бюрократии, а потому что навязано, искренне не понимаю зачем нужны паспорта и визы, ведь если отменить границы, не нужно будет тратить деньги на пограничников, посольства и прочую ерунду. Еще раз повторю, это навязанное и это следует всякими способами саботировать.
                                        • 0
                                          uBlock не спасет от рекламных статей в корпоративных блогах. Да и почту Вашу сервису Вы засветили. А еще провайдер сколько о Вас знает — ужас. Отключайте интернет.
                                          • +1
                                            Да и почту Вашу сервису Вы засветили.

                                            Замечу, что способов анонимизировать почту вагон и маленькая тележка, в отличии от номера телефона.
                                            • 0
                                              Замечу, что способов «арендовать» номер телефона — вагон и ещё один состав вогонов
                                              • 0
                                                Про состав вогонов я бы с удовольствием почитал, так как сам знаю немного сервисов для этого, большинство из которых платные, а бесплатные просто напросто везде заблокированы. Тогда как анонимную почту можно получить даже на мейлру.
                                    • +1
                                      Государства — это большие тоталитарные секты, социальные сети это тоталитарные секты поменьше, идеологии — болезнь головного мозга.
                                      • 0
                                        Уже становится неочевидно, кто именно меньше – государства или социальные сети.
                                      • 0

                                        А что с видео-порно-местью?

                                        • 0
                                          "@Цук: Тупые придурки"
                                          Извините, ну а что они хотели?
                                          Сами выложили в инет свои фотки. Не хотите распространять — держите их дома.
                                          • 0
                                            данный метод решения не айтишный, а по сути организационный — просто ответственность перекладывается на сотрудника ФБ.
                                            Единственный ИТ-вариант — это делать биометрический «хэш» лица владельца профиля и блокировать любые фото на которых проходит его лицо без его согласия. А-ля система копирайтинга на Ютубе или Face Id от Apple. Конечно проблемы будут со смазанными лицами, но такие фотки и сложно притянуть к реальной личности.
                                            • 0
                                              — Маша?
                                              — Папа?
                                              когда твой батя работает модератором в Facebook

                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.