Отчет о прозрачности в Discord: январь - июнь 2020 г.

Примечание. График «Профилактическое удаление» был обновлен в апреле 2021 года. Изначально данные об упреждающем удалении серверов были завышены. Исправленные итоги представлены на новом графике.

Привет еще раз!

Со времени нашего последнего отчета о прозрачности в Discord произошло многое. Мы хотели бы потратить некоторое время, чтобы узнать о самых важных изменениях и о том, как мы на них отреагировали.

В мае мы обновили Принципы сообщества. В этом новом документе разъясняется, какие действия и контент разрешены - и не разрешены - в Discord. Он разъясняет некоторые из наших существующих политик, чтобы они более четко отражали то, что мы отстаиваем. Мы хотели, чтобы он суммировал все ценности, которые нам дороги: относиться друг к другу с уважением, относиться с уважением к своим сообществам и сделать Discord безопасным и дружелюбным местом для всех.

Позже в июне мы открыли наш новый Центр безопасности. Это отличный ресурс для всех, с советами о том, как обеспечить безопасность вашей учетной записи, статьями, объясняющими Discord для родителей и преподавателей, и четким описанием того, как мы обеспечиваем соблюдение наших политик. В будущем мы планируем добавить больше статей с практическими рекомендациями для решения распространенных проблем и их решения. Мы также хотим добавить больше тематических исследований, политическую документацию и ресурсы по модерации сообщества.

Наконец, самым большим изменением со времени нашего последнего отчета о прозрачности стал COVID-19 и тот рост, который он вызвал для нашей службы. Поскольку все больше людей остаются дома, многие новые люди присоединяются к Discord, чтобы поговорить со своими друзьями и найти сообщества. В июне мы объявили, что Discord вырос до более чем 100 миллионов активных пользователей в месяц. Как и следовало ожидать, по мере того, как мы приветствовали все больше и больше людей в Discord, росло количество создаваемых отчетов.

Этот график показывает рост количества отчетов, полученных Trust & Safety в первой половине 2020 года, по сравнению с предыдущим месяцем. За последние несколько месяцев количество полученных нами отчетов увеличилось почти вдвое.

По мере роста Discord один из наших главных приоритетов - помочь всем оставаться в безопасности. По этой причине количество сотрудников в нашей команде Trust & Safety почти удвоилось за последние шесть месяцев, оставаясь одной из крупнейших команд в компании. Мы упорно работаем над тем, чтобы любой человек в любое время мог написать, рассмотреть его проблему и получить необходимую помощь.

Все числа (и объявление новой категории)

В соответствии с нашими предыдущими отчетами мы детализируем разбивку отчетов по категориям, скорость, с которой мы нарушаем наши Условия или Рекомендации, общее количество действий, предпринятых Trust & Safety, и скорость, с которой мы восстанавливаем учетные записи. .

Одна из новых вещей, на которую мы хотим потратить некоторое время в этом отчете, - это предупреждения пользователей и их эффективность. Предупреждения полезны в ситуациях, не связанных с серьезной угрозой причинения вреда, поскольку они предоставляют возможность для обучения пользователей без каких-либо постоянных действий в отношении учетной записи. Это хороший шаг к увеличению разнообразия инструментов в нашем наборе инструментов, и по мере роста Discord мы продолжим изучать новые способы борьбы со злоупотреблениями.

Мы хотим сделать каждый новый отчет о прозрачности более полезным и доступным, чем предыдущий, поэтому на этот раз мы обновили то, как мы представляем информацию. Первый - это разбивка по категориям: мы стандартизировали способ категоризации нарушений. На каждом графике вы можете увидеть одни и те же 11 категорий. В общих чертах, они являются репрезентативными для всех видов отчетов, которые поступают в Trust & Safety, и мы считаем, что они рисуют четкую картину поведения и контента, над тем чтобы не допустить их использования в Discord.

С этой целью мы можем обновлять наши категории в будущих отчетах, чтобы лучше отражать то, что мы видим и о чем нам сообщают пользователи. В этом отчете мы ввели новую категорию: киберпреступность. Киберпреступность охватывает социальную инженерию, мошенничество, мошенничество и такие вещи, как распределенный отказ в обслуживании (DDoS). Наша предыдущая категория взломов и читов теперь предназначена исключительно для злонамеренного поведения в онлайн-играх, таких как взлом аккаунтов и распространение читов.

Отчеты, полученные от пользователей

Оглядываясь на вторую половину 2019 года, Trust & Safety получила около 128000 пользовательских отчетов. За первые шесть месяцев 2020 года мы значительно превзошли это число, составив примерно 235000 отчетов, что обусловлено количеством людей на платформе и увеличением времени, которое люди проводят в Discord во время пандемии. Вот разбивка нарушений по категориям:

Это входящий. Это не подтвержденные случаи плохого поведения или нежелательного контента на Discord, а скорее все отчеты, которые мы получили и исследовали.

Далее представлен график, показывающий процент действий отчетов по категориям:

Как видите, существует взаимосвязь между простотой проверки и возможностью принятия мер в отношении злоупотреблений. Спам в Discord чаще всего выглядит как незапрошенные прямые сообщения, в которых пользователю предлагается присоединиться к серверу или с просьбой добавить бота к серверу - бесплатные боты Nitro и мошенничество с криптовалютой были наиболее распространены в последние шесть месяцев - и имеют высокую степень действенности . Также есть отчеты об использовании контента и доксинге. С помощью этих категорий часто сразу становится очевидным, когда произошло нарушение, и определить мотивы относительно несложно.

На другой стороне шкалы действий - преследование. Оскорбления - это самая большая категория полученных сообщений, но на самом деле они оказываются наименее действенной категорией. Это также должно иметь смысл, поскольку, например, в отличие от доксинга, есть различия в том, что люди считают агрессивным поведением.

Мы получаем несколько сообщений об уклонении от злонамеренного бана и об огромном количестве запросов на добавление в друзья, которые, как правило, требуют действий, но гораздо больше случаев, когда кто-то называет кого-то другим именем или даже подает сообщение о преследовании и просто заявляет, что ему не нравится другой человек или то, что они говорят, что не подлежит действию со стороны Trust & Safety и более уместно рассматривается заявителем, блокирующим пользователя, который ему не нравится.

Действия с пользователями и серверами

Пользователи забанены

Помимо того, что мы получаем больше отчетов, чем когда-либо прежде, мы также предпринимаем больше действий, чем раньше. Давайте посмотрим на учетные записи, удаленные за нарушение наших Условий или Принципов:

На этой диаграмме представлено общее количество банов пользователей в первой половине 2020 года. Эта диаграмма не очень полезна для понимания чего-либо, кроме того, что там много спама: в первой половине 2020 года мы заблокировали 4 083 444 аккаунта за спам. Вот более полезная таблица, исключающая спам:

Рейдерство может показаться довольно высоким, но для этого есть причина. В то время как большинство других отчетов касается индивидуальной активности, рейдерство, как правило, является скоординированной деятельностью группы. Когда пользователи решают совершить рейд, они сразу же присоединяются к другому серверу и спамят негативными комментариями, как правило, противоречащими Принципам сообщества. Когда мы подтвердим факт рейда, мы примем меры против всех участников группы, которые участвовали. Только 17% отчетов, которые мы получаем, касаются рейдерства, но, как вы можете видеть, это приводит к большему количеству банов, потому что мы будем принимать меры в отношении всех пользователей, ответственных за действия.

И вы увидите, что эксплуататорский контент является причиной наибольшего количества банов, хотя эта категория составляет лишь около восьми процентов полученных сообщений. Это связано с тем, что большая часть эксплуатируемого контента, размещенного в Discord, удаляется заранее, без необходимости пользователям сообщать о контенте (мы рассмотрим это позже в отчете). С другой стороны, оскорбления составляют около трети полученных сообщений, но составляют меньшую часть пользователей, в отношении которых были предприняты действия.

Предупрежденные пользователи (и эффективность предупреждения)

Иногда мы видим в отчете поведение, которое нарушает наши Условия и принципы, но недостаточно серьезно, чтобы гарантировать безвозвратное удаление учетной записи. В этих случаях Trust & Safety может выдать предупреждение, которое отправит сообщение, информирующее пользователя о том, что он был предупрежден и какое правило он нарушил. Предупреждения также могут сопровождаться временным запретом на срок от одного часа до двух недель в зависимости от серьезности нарушения наших Принципов сообщества.

Впервые мы публикуем общее количество выданных предупреждений.

Если вы посмотрите на этот график рядом с удалениями пользователей, станет ясно, что предупреждений меньше, чем удалений. Логика этого заключается в том, что в большинстве случаев есть явная и преднамеренная попытка нарушить наши правила. Например, если пользователь говорит «Получить doxxed» и публикует личную информацию, которая требует удаления, а не предупреждения. Но мы часто даем пользователям возможность сомневаться в тех случаях, когда намерения неясны.

Одна из категорий, о которых мы предупреждаем чаще всего, - это контент NSFW за пределами шлюза NSFW. Пользователь с изображением профиля с содержанием для взрослых нарушает наши Принципы сообщества, потому что изображение не может быть привязано к возрасту и, следовательно, доступно для просмотра всем, кто общается с пользователем. Однако вместо удаления учетной записи Trust & Safety выдаст предупреждение, очистит аватар и позволит пользователю загрузить более подходящее изображение.

Наши цифры показывают, что эти действия эффективны как средство корректировки курса пользователей. На приведенной ниже диаграмме рассчитывается процент предупрежденных пользователей, которые будут удалены по той же причине: менее трех процентов этих пользователей продолжают блокировать свои учетные записи по той же причине.Поскольку наша платформа продолжает расти, мы верим в использование множества инструментов для борьбы со злоупотреблениями, включая обучение пользователей и другие действия.

Мы также понимаем, что не все инструменты подходят для каждой ситуации. В таких категориях, как киберпреступность и контент, связанный с эксплуатацией, Trust & Safety редко выдает предупреждения. Что касается последнего, особенно, что включает в себя эксплуатацию детей, мы занимаем особенно жесткую позицию по отношению к тем, кто публикует контент. В следующем разделе мы немного подробнее расскажем о наших усилиях по упреждающему обнаружению и удалению пользователей, публикующих эксплуататорский контент.

Серверы забанены

Иногда действий в отношении отдельного человека недостаточно: когда единственная цель сервера связана с поведением или контентом, нарушающим наши Условия или Принципы, мы будем действовать в отношении всего сообщества. Как правило, это влияет только на сам сервер, а также на владельца и модераторов сервера, но в редких случаях это может касаться всех участников. На диаграмме ниже показано количество серверов, удаленных за первые шесть месяцев 2020 года.

Часть нашей цели при демонстрации действий на серверах - проиллюстрировать более широкую картину. Внимательный взгляд может заметить разницу в диаграммах между пользователями и задействованными серверами, и что самые высокие числа на одном, как правило, не самые высокие на другом. Это связано с тем, что злоупотребления в Discord происходят на разных уровнях, и мы решаем их как на уровне сервера, так и на уровне пользователя.

Например, хотя количество людей, которых мы удаляем за взлом, читы или киберпреступления, как правило, невелико, количество серверов, которые мы удаляем по той же причине, сравнительно велико. Мы баним по этим причинам гораздо чаще на уровне сервера, потому что эти действия легче координируются на серверах, и ущерб исходит от сервера, существующего в целом. А в других ситуациях, таких как доксинг, менее вероятно, что доксинг является результатом выделенного для него сервера и, скорее всего, просто пользователем, поэтому соотношение ближе.

И, наконец, в случаях использования контента - опять же, это порнография без согласия и эксплуатация детей - мы задействуем все учетные записи на сервере, поэтому соотношение будет обратным.

Упреждающее удаление: делать больше для обеспечения безопасности Discord

Как отмечалось в предыдущем сообщении в блоге наших соучредителей, мы глубоко привержены расовому равенству. Частично для нас это означает, что расистские и экстремистские группы держатся подальше от Discord. По мере того как протесты Black Lives Matter прокатывались по стране, Trust & Safety активизировала усилия по запрету групп, пытающихся помешать мирным протестам. Мы очень гордимся тем, что закрыли некоторые из худших из худших организационных групп, прежде чем они могли причинить вред. Что касается точных цифр, то к началу первой половины 2020 года соотношение активных и реактивных экстремистских удаленных серверов выросло до 5: 1.

Наряду с этими усилиями мы продолжали удалять весь эксплуататорский контент. В эту категорию входят материалы о сексуальном насилии над детьми и порнография без согласия. Как отмечалось в нашем последнем отчете о прозрачности, когда материалы, причиняющие вред детям, загружаются в Discord, мы быстро сообщаем об этом в Национальный центр пропавших без вести и эксплуатируемых детей и принимаем меры в отношении учетной записи, которой они предоставлены. У нас такое же нетерпимое отношение к изображениям без согласия на Discord: эти серверы удаляются, и в большинстве случаев пользователям не приходится сталкиваться с ними.

На приведенном ниже графике мы подсчитали количество экстремистских и эксплуататорских удалений серверов за первые шесть месяцев 2020 года. Эти объемы показывают небольшой рост по сравнению с нашими упреждающими удалениями в 2019 году. По мере того, как мы переходим во вторую половину 2020 года, мы будем продолжать отслеживать и деплатформировать экстремистские группы, организуемые в Discord, а также любых пользователей, распространяющих эксплуататорский контент.

Большим успехом, достигнутым в первой половине 2020 года, стал полный демонтаж сети серверов, которые делятся порнографией без согласия. Наша проактивная команда определила целую сеть из 700 серверов и систематически удаляла контент и вовлеченные сообщества. Когда эти пользователи попытались вернуться в Discord, они снова были идентифицированы и удалены. На нашей платформе нет места порнографии без согласия, и мы продолжим принимать быстрые меры против этих сообществ и их членов.

И последнее замечание о наших недавних событиях: по мере того, как пандемия COVID-19 распространилась по всему миру, команда Trust & Safety создала рабочую группу для расследования потенциальных серверов, распространяющих опасную дезинформацию о здоровье и болезнях. В ходе наших усилий мы обнаружили, что в Discord не было значительной степени дезинформации, и вместо этого Discord использовался, как и предполагалось, - для создания сообществ, которые поддерживают и поощряют других, пока мы сталкиваемся с этой беспрецедентной глобальной проблемой. В будущем мы продолжим развертывание ударных групп для нацеливания на другие районы, где мы видим возможность дезинформации, которая с высокой вероятностью может нанести реальный ущерб.

Апелляции и восстановление аккаунта

Последняя часть, которую мы рассмотрим, - это восстановление учетной записи. Любой, кто был навсегда заблокирован за нарушение наших Условий или Принципов, может написать в Trust & Safety, и их запрет будет рассмотрен. На диаграмме ниже показана скорость, с которой мы разблокируем аккаунты по категориям.

Для контекста, с точки зрения совокупных цифр, в 2020 году (не считая спама):

  • Мы забанили 252 768 аккаунтов.
  • На эти счета поступило 70 349 обращений.
  • По этим апелляциям мы отменили наши действия и разблокировали 3035 аккаунтов.
  • В целом скорость разворота составила около 1,2%.

Что касается спама, мы приняли меры в отношении чуть более 4 миллионов учетных записей, получили 45 046 апелляций и разблокировали около 18 000 учетных записей, в результате чего коэффициент отмены составил 0,44%.

Категория «Другое» может выделяться как довольно высокая, но она представляет собой один из наименьших объемов разблокирования: всего 289 восстановлений пользователей за всю первую половину 2020 года.

Мы рассмотрим возможность снятия блокировки учетной записи при нескольких обстоятельствах:

  • Во-первых, если при первоначальном использовании аккаунта была допущена ошибка. Хотя мы тщательно расследуем каждую ситуацию, мы люди, есть десятки тысяч отчетов, и многие из них требуют срочного внимания, поэтому могут случиться ошибки.
  • Во-вторых, если в обращении раскрывается информация или контекст, которые существенно меняют наше понимание ситуации.
  • В-третьих, если деятельность, которая привела к блокировке, невелика, вероятность повторного нарушения кажется низкой, и пользователь берет на себя ответственность за свои действия.

Третья ситуация наиболее вероятна и приводит к подавляющему большинству наших разблокировок. Обычно мы считаем, что большинство людей заслуживают второго шанса за свои действия, и если они понимают свои действия и обещают добиться большего, мы считаем, что у них должен быть еще один шанс.

Что ждет доверие и безопасность дальше

Последние шесть месяцев были вихрем как для компании, так и для Trust & Safety. Нашим главным приоритетом было обеспечение того, чтобы доверие и безопасность соответствовали потребностям пользователей и могли и дальше обеспечивать безопасность всех на Discord. В июне мы получили почти вдвое больше отчетов, чем в январе, и мы работали по всем направлениям над внутренними инструментами, машинным обучением, а также с наймом и привлечением новых сотрудников Trust & Safety, чтобы гарантировать, что мы сможем сохранить вместе со всеми новыми пользователями Discord. Мы гордимся тем, где мы находимся сегодня, но мы также знаем, что впереди еще много работы.

Мы погружаемся во вторую половину года с рядом проектов, которые сделают Discord еще безопаснее. Некоторые из них будут работать за кулисами и уменьшать спам, некоторые из них упростят пользователям отчетность, а другие нацелены на помощь нашим модераторам. Мы с нетерпением ждем возможности поделиться с вами другими материалами в блогах в течение следующих нескольких месяцев.

Наконец, мы планируем публиковать эти отчеты каждые шесть месяцев. Остальная часть этого года будет освещена в нашем следующем отчете в январе 2021 года. В каждом отчете о прозрачности мы стремимся предоставлять больше информации (например, о наших предупреждениях, которые мы представили на этот раз) и продолжаем делать их доступными и интересными.

Спасибо, что сделали Discord своим местом для общения -мы рады продолжить с вами разговор.