Как оценить

эффективность труда

интернет-тролля

Главный герой нашего повествования, как обычно, заказчик, а именно новостной портал. Самый что ни на есть типичный: журналисты пишут репортажи, посетители заходят на сайт их почитать, рекламодатели смотрят на количество посетителей и спешат разместить свои баннеры на страничках этого сайта. Да, как вы уже поняли, наш портал зарабатывал именно продажей рекламы. Такая система работы характерна для новостных сайтов и на сегодняшний день. Они ориентированы на максимальное количество просмотров страниц, так как деньги получают за размещение материалов на них, а именно — за каждый просмотр рекламы. Поэтому владельцы нашего сайта были крайне заинтересованы в том, чтобы посетители заходили как можно чаще.

Один из приемов для привлечения траффика на сайт – дать читателям возможность комментировать новости. Поверьте, у нас в Сибири они такие, что удержаться от комментариев довольно сложно. Вот, например, всего несколько реальных заголовков 2018 года:

Часто комментарии к таким новостям читать интереснее, чем сами тексты. Поэтому посетители регулярно заходят на странички портала, чтобы проследить за обсуждением, высказаться, поддержать диалог и т. д. А для сайта ведь важны только просмотры, значит совершенно не важно по какой причине люди пришли. Раз это работает, то отлично: просмотры растут, «денежки» капают. Руководители данного новостного портала решили, что нужно нанять специального человека, который будет общаться с пользователями в комментариях, провоцируя их продолжать обсуждение и писать новые сообщения. Причем, провоцировать в самом прямом смысле этого слова — «троллить». На должность «тролля», которая в трудовой книжке была обозначена как «журналист», взяли человека с филологическим образованием, который мог поддерживать беседы на разные темы и, так сказать, подстраиваться под лексику читателей с разным культурным багажом. То есть, мог писать высоким штилем, а мог и матом.

Вышел наш тролль на работу и целый месяц исправно доводил до цугундера читателей портала, которые в карман за словом не лезли — и как давай с ним в комментариях дискутировать. По прошествии месяца бережливое да скаредное руководство портала заметило, что пришла пора троллю зарплату выдавать. И призадумалось: «А не зря ли мы нашего тролля кормим? Не даром ли он у нас деньги получает? А вдруг мы ему сейчас просто так зарплату дадим, а он на самом деле ее вовсе и не отработал». В общем, нужно было замерить эффективность тролля. А для этого надо было понять, как можно ее вообще посчитать и оценить.

Тут в истории и появляемся мы. Этот новостной портал был нашим давним клиентом, а потому без лишних слов доверил нам такую специфическую задачу, как исследование жизнедеятельности тролля на сибирских интернет-просторах. Целью тролля был рост количества комментариев, а не просмотров. А потому мы и стали оценивать его работу именно по количеству комментариев за каждый день. Ожидаемо, общее количество высказавшихся с появлением тролля возросло. Но нужно было доказать, что именно праведные труды мифического провокатора являются причиной роста. Ведь могло так получиться, что именно в это время произошло какое-то знаковое событие. Или всплеск комментариев мог быть сезонным явлением. Все эти «может быть» мы должны были исключить.

Для исследования роста количества комментариев была построена контрольная карта Шухарта. Тут мы немного отвлечемся от основного повествования и выясним, что такое карты Шухарта. Скоро мы опубликуем большую статью о них, где подробно расскажем в чем суть данного метода, а пока почитайте очень краткое изложение.

Любое производство — будь то, к примеру, изделия, продукты, тексты или рекламные материалы, а также услуги, требуют обязательного контроля качества. Грамотный процесс контроля качества предполагает тщательный сбор информации о самих процессах, анализ этой информации и принятие решений с опорой на полученные сведения. Один из методов такого анализа называется «контрольные карты Шухарта». Контрольные карты были впервые введены в 1924 году американским ученым и консультантом по теории управления качеством Уолтером Шухартом. Цель контрольных карт Шухарта — обнаружить неестественные изменения в данных и помочь разобраться в причинах.

Суть в том, что в рамках любого рабочего процесса невозможно получить два идентичных результата какой-то деятельности. Они могут заметно отличаться, а могут — незначительно. И отличие одного результата от другого в рамках одного и того же процесса называется «вариабельностью процесса». Вариабельность бывает системная, когда отличие одного результата от другого заложено в самом процессе. И в этом случае то, что они отличаются не значит, что на работу повлиял какой-то внешний фактор. Просто сам процесс это допускает. К примеру, если обычный человек кидет дротики, он выбьет одно количество очков, а профессиональный игрок дартс — совершенно другое. При этом разброс в выбитых очках при каждом броске у него будет меньше, чем у любителя. Но это не значит, что у первого дротики хуже или их ветер сдувает. Просто нетренированный человек обеспечивает только такой разброс, а у профи разброс меньше, потому что он много практиковался. Здесь «вариабельность» — это разница между выбитыми очками в каждом броске. Она у всех разная, но, поскольку, не обусловлена внешними факторами, называется «системной вариабельностью».

По сути дела, контрольная карта — это график. Предположим, у нас есть некие данные о нашей работе, которые можно представить в числовом выражении, и мы хотим их проанализировать. Каждый результат отражаем на графике — карте Шухарта. Там же мы строим три очень важные линии:  — центральная линия (CL), которая соответствует эталонному значению рассматриваемой характеристики. Обычно это среднее арифметическое наших данных;  — верхняя контрольная граница (UCL);  — нижняя контрольная граница (LCL). Всего на графике у нас 8 разных линий, которые дают нам информацию, но основными можно назвать эти три. В промежуток между верхней и нижней границей попадут около 99,7% наших данных. Колебания показателей внутри этого «коридора» называются «системными колебаниями», они не требуют управленческих решений. Как правильно рассчитать эти границы для своей карты Шухарта можно прочитать в соответствующем ГОСТе.

Но бывает и так, что различие в результатах обусловлено влиянием какого-либо внешнего фактора. Данная вариабельность называется «обусловленной внешними причинами». Например, у бросающего один дротик улетел «в молоко» из-за того, что в момент броска кто-то хлопнул его по плечу: налицо внешний фактор, который повлиял на результат. Суть в том, что с помощью карт Шухарта как раз можно обнаружить те ситуации, когда на разницу в результатах повлияла особая причина, внешний фактор.

Бывает так, что руководители, рассчитывая KPI (ключевые показатели эффективности) просто не могут грамотно оценить рабочий процесс и неправильно трактуют показатели. Например, когда сравнивают KPI двух сотрудников и видят, что у одного они выше, у другого ниже — и делают вывод, что один из них работает хуже. Такую оценку сходу давать нельзя. Вполне возможно, что это два показателя, которые с точки зрения той системы, в которую погружены люди, абсолютно идентичны. Карты Шухарта как раз помогают избежать этих ошибок. Подробнее об этом мы поговорим в другом кейсе, где расскажем, как руководство компаний обманывает менеджеров по продажам.

Все эти колебания активности были отражены на нашей карте Шухарта. Как мы поняли, что тролль имеет самое прямое отношение к росту комментариев? Во-первых, до появления тролля наша система комментариев была статистически стабильна — никогда не было особых всплесков активности. Когда на работу приняли тролля, количество комментариев начало расти и «пробило» верхнюю границу. Как мы уже поняли, в картах Шухарта выход за пределы (если до этого процесс считался стабильным) — это признак того, что свою роль сыграла какая-то особая причина. Как же мы смогли доказать, что дело все-таки в тролле? На карте обнаружилось два будних дня, четверг и пятница, когда количество обсуждений резко ушло вниз. Оказалось, что для этого была причина, связанная именно с троллем — на эти дни он попросил отгул. Это также стало косвенным подтверждением того, что особая причина выхода количества комментариев за верхнюю контрольную границу связана именно с «тролльей» работой. Эти факторы стали достаточным основанием для доказательства того, что тролль свою зарплату за первый месяц работы получит совершенно заслуженно. Настало время вернуться к нашей истории. Важно упомянуть, что основную аудиторию новостного сайта заказчика составляли менеджеры среднего звена, так называемые «белые воротнички», которые стабильно находятся в офисе с 9 до 18 и в рабочее время у них есть возможность читать новости и «чатиться» в комментариях. Соответственно, основной период, когда идет активное общение на сайте — это рабочий день, затем с 18 до 22 идет резкий спад — люди едут домой, ужинают, занимаются делами, общаются с семьей. Потом после 22 часов и до полуночи активность опять повышается: читатели сделали дела, уложили детей спать и вернулись в Интернет. Также комментаторы с сайта «пропадают» в выходные — это время люди, в основном, проводят с семьей, им не до общения.

Мифологический провокатор был спасен от безденежья, а мы получили новый опыт, которым готовы делиться с вами. А сказке и правда не конец: если вас заинтересовал принцип работы карт Шухарта и вы хотите провести подобный анализ у себя в компании — пишите нам. Мы поможем и расскажем как! Или сделаем его за вас. Легко!