mike.nov.ru: В друзьях у ботов

11 ноября 2012 года
00
В закладки!

Тут капитан очевидность Евгений Чупрунов сделал наброс про ботов в блоге губернатора. Печально, но наброс основан на голословных утверждениях и мутных примерах. Это ведь не радио и не телевидение, где размер и активность аудитории зависят от фантазии считающего. Это интернет — тут все штуках. Вот и боты тут в штуках, и по моим оценочным оценкам :), как минимум — 962 из 1602.
[INDENT]Для того чтобы быстро вникнуть в первопричины, рекомендую почитать этот короткий пост.

[/INDENT]Анализ пользователей livejournal добавивших в «друзья» губернатора.


Мы давно работаем с интернет статистикой и для нас не представляет никакого труда написать пару роботов-парсеров, которые соберут информацию с интернет-страниц. 20 минут программирования и простенький робот генерирует файл со списком френдов(*) губернатора. В файле 1602 записи, для каждой записи собрана следующая информация…

  • ID;
  • Никнэйм;
  • Дата создания;
  • Дата обновления;
  • Постов;
  • Друзей;
  • В друзьях;
  • Взаимных друзей;
  • Комментариев получено;
  • Комментариев отправлено;
  • Тегов;
  • Имя;
  • Место;
  • Сайт;
  • Рейтинг;
  • Соцкапитал.
Вы можете скачать этот файл и сами поиграться. Фильтры, сортировки, графики и т.п. Может ваши выводы не совпадут с моими.

Уже при беглом просмотре сводной таблицы мне бросился в глаза следующей факт — у френдов губернатора есть несколько волшебных дат. Именно в эти даты они написали свой последний пост:

  • 06.05.2012 — 513;
  • 25.10.2012 — 200;
  • Никогда -121;
  • 24.04.2012 — 79;
  • 01.11.2012*- 76;
При этом, в среднем в сутки публикуют посты 7 френдов губернатора (за последние три месяца). *Для верности посчитаем только те дни, которые как минимум в 10 раз отличаются от*среднестатистических. Кроме того, исключим последнюю неделю и пользователей которые зарегистрировалось только для того чтобы читать. В итоге получаем*868 френдов-ботов вычисленных только по дате последнего обновления.

Для пущей уверенности сравним остальные данные этих френдов-ботов. У всех социальный капитал равен нулю, имя совпадает с логином, местонахождение — «Российская Федерация», использовано тегов — 2 (это минимум), даты регистрации совпадают с точностью до нескольких дней, количество полученных/отправленных*комментариев и написанных постов тоже примерно одинаковое.

Осталось*734 френда. Вторым шагом сделаем тоже самое с датой регистрации. Там уже нет такого большого количества явных френдов-ботов, но есть*94 пользователя даты регистрации которых совпадают с датами уже исключенных. При быстром просмотре сводной таблицы видно что все данные этих 94 пользователей совпадают с данными исключенных френдов-ботов. Исключаем и их.

Осталось 640!!!*Кто же они, френды губернатора? Давайте изучим их подробнее.

Социальный капитал

Социальный капитал — показатель очень похожий на Google PageRank и индекс цитируемости Яндекса, только не для сайтов, а для пользователей ЖЖ.


~90% френдов губернатора вообще не имеют социального капитала в ЖЖ (социальный капитал меньше десяти не отображается). А вот так*распределись*оставшиеся ~10%:

Распределение для френдов социальным капиталом больше 10.


А вот и герои (отсортировано по убыванию социального капитала, первые 10):

То же самое, но для френдов у которых в профиле есть «Великий Новгород» или один из райцентров новгородской области (далее по тексту — новгородцы):

Полученные комментарии

Количество полученных комментариев.


Топ 10:

Топ 10 среди новгородцев:

Отправленные комментарии

Количество отправленных комментариев.


Топ 10:

Топ 10 среди новгородцев:

Посты

Количество написанных постов.


Топ 10:

Топ 10 среди новгородцев:

В друзьях у…

Это главная пузомерка, из-за который весь сыр бор и возник.

В друзьях у…


Топ 10:

Топ 10 среди новгородцев:

Выводы
Капитан очевидность наброс закончил! Какие тут еще могут быть выводы?!

*) В этом посте «френдами» называются пользователи Livejournal добавившие губернатора в свой список друзей.



Источник
11 ноября 2012 года
00
Опередил таки. Хотел вчера чемто подоюным заняться но лежу с пищевым отравлением

Цитировать — Сообщение №2
12 ноября 2012 года
00
Что и говорить. Когда я увидел текст в ЖЖ Чупрунова, у меня сразу возникло желание пройтись программно по ЖЖ Сергея Митина и представить что-нибудь в цифрах. Удивительно, что никто этого не сделал почему-то раньше. Есть и другие ребята, которым, подозреваю, как и мне когда-то все эти люди были до одного места. а сейчас вот - НЕТ понимаешь. Вот товарищи из Новгорода.ру взяли да и пропарсили ЖЖ-блог губернатора за 20 минут, чем так же вызвали нешуточный ажиотаж в новгородском интернете и дикий баттхерт у некоторых личностей:

Я цитирую госпожу Генерозову из статьи на Прямой речи (http://pryamayarech.ru/news/4395/): "На покупку «ботов» у нас просто денег нет, и смысла я в этом не вижу" . наверное копили на инаугурацию.

Цифры и графики великая вещь, кстати - их страшно любят и одновременно боятся чиновники. Положил на стол такую книжку-раскраску, как сделал Миша Кривый, и ляпнуть больше нехрен. пык-мык приплыли

С твиттером губернатора пришлось пыхтеть полночи только сдергивая данные с сервера и превращая их в табличку. Еще бы, фолловеров у Сергея Герасимовича в Твиттере аж чуть ли не 15 с половиной тысяч! Что сразу бросилось в глаза - количество фолловеров МАССОВО и ОДНОВРЕМЕННО решивших оставить свой ПОСЛЕДНИЙ отклик на просторах Твиттера. Причем замечу, эти даты не соответствуют ни Новому году, ни 7-ому ноября, ни даже тогда, прошу прощения, когда у всей страны наступает по всейпесте восьмое марта или еще какой очередной психоз.

написавшие больше всего последних постов одновременно:

'2012 Nov 10': 4033
'2012 Nov 09': 1456
'2012 Nov 11': 4896
'2012 Sep 27': 1170
'2012 Nov 08': 343
'2012 Sep 26': 448
'2010 Sep 24': 263
'2012 Nov 05': 127
'2012 Aug 19': 122
итого одновременно окуклившихся: 12858

Правда же не плохие цифры, свидетельствующие против того, что все эти люди просто совершили одновременный сеанс аннигиляции?

Ладно, оставим в покое 11 и 12 ноября, так как эти даты были вчера и позавчера. Открываем кандидатов на самые жирные даты и что мы видим? Как много одинаковых количеств постов! Вы сговорились, ребята!

В общем, после такого уже нет смысла чертить графики и мучать компьютор выборками. Всё и так предельно ясно, дорогой предвыборный и поствыборный штаб губернатора в Новгородскую область, кто-то жестко обманувает рейтинги и как следствие - своих ребят (электорат).

особым любознашкам даю домашнее задание:

- скачать и открыть таблицу в программе эксель http://forumnov.com/custom/doc/twitter_sgmitin.xlc
- отсортировать данные по различным числовым полям
- найти в топовых значениях "всё те же знакомые лица", как можно шире открыть чакру, воспринимающую магию больших чисел
- подсчитать количество иностранцев, так горячо любящих и читающих Сергея Герасимовича на русском языке
- подсчитать читателей, зарегистрированных в новгороде и novgorode, исключая Nizhniy и Нижний
- поудивляться количеству писателей с одинаковым количеством постов.
- подивиться правильному написанию городов, будто любовно срисованных с интернет-сервиса мамба.ру
и ни в коем разии пока что не терять веру в человечество


кстати, там косяк вышел при замене табуляции в имени на &nbsp - я не стал убирать, потому что теперь это характеризует звучные имена

Гевара Эрнесто Че&nbsp
Линдгрен Астрид&nbsp
Кинг Дж. Роберт&nbsp
и т.д

правда это прекрасно?

если кто захочет поразбирать самостоятельно вот файл всех фолловеров Митина на начало 12 ноября , со всеми служебными полями в формате json http://forumnov.com/custom/doc/mitin_flw.zip

Цитировать — Сообщение №3
Эта тема закрыта, так как последнее сообшение было оставлено больше года назад.