mike.nov.ru: В друзьях у ботов




Тут капитан очевидность Евгений Чупрунов сделал наброс про ботов в блоге губернатора. Печально, но наброс основан на голословных утверждениях и мутных примерах. Это ведь не радио и не телевидение, где размер и активность аудитории зависят от фантазии считающего. Это интернет — тут все штуках. Вот и боты тут в штуках, и по моим оценочным оценкам :), как минимум — 962 из 1602.
[INDENT]Для того чтобы быстро вникнуть в первопричины, рекомендую почитать этот короткий пост.
[/INDENT]

Мы давно работаем с интернет статистикой и для нас не представляет никакого труда написать пару роботов-парсеров, которые соберут информацию с интернет-страниц. 20 минут программирования и простенький робот генерирует файл со списком френдов(*) губернатора. В файле 1602 записи, для каждой записи собрана следующая информация…
- ID;
- Никнэйм;
- Дата создания;
- Дата обновления;
- Постов;
- Друзей;
- В друзьях;
- Взаимных друзей;
- Комментариев получено;
- Комментариев отправлено;
- Тегов;
- Имя;
- Место;
- Сайт;
- Рейтинг;
- Соцкапитал.
Уже при беглом просмотре сводной таблицы мне бросился в глаза следующей факт — у френдов губернатора есть несколько волшебных дат. Именно в эти даты они написали свой последний пост:
- 06.05.2012 — 513;
- 25.10.2012 — 200;
- Никогда -121;
- 24.04.2012 — 79;
- 01.11.2012*- 76;
Для пущей уверенности сравним остальные данные этих френдов-ботов. У всех социальный капитал равен нулю, имя совпадает с логином, местонахождение — «Российская Федерация», использовано тегов — 2 (это минимум), даты регистрации совпадают с точностью до нескольких дней, количество полученных/отправленных*комментариев и написанных постов тоже примерно одинаковое.
Осталось*734 френда. Вторым шагом сделаем тоже самое с датой регистрации. Там уже нет такого большого количества явных френдов-ботов, но есть*94 пользователя даты регистрации которых совпадают с датами уже исключенных. При быстром просмотре сводной таблицы видно что все данные этих 94 пользователей совпадают с данными исключенных френдов-ботов. Исключаем и их.
Осталось 640!!!*Кто же они, френды губернатора? Давайте изучим их подробнее.
Социальный капитал

~90% френдов губернатора вообще не имеют социального капитала в ЖЖ (социальный капитал меньше десяти не отображается). А вот так*распределись*оставшиеся ~10%:

А вот и герои (отсортировано по убыванию социального капитала, первые 10):
- 2469 — http://kukmor.livejournal.com/
- 2292 — http://vsegda_tvoj.livejournal.com/
- 2044 — http://asaratov.livejournal.com/
- 637 — http://fima_psuchopadt.livejournal.com/
- 630 — http://nikitskij.livejournal.com/
- 624 — http://golubchikav.livejournal.com/
- 348 — http://onepamop.livejournal.com/
- 334 — http://michael_077.livejournal.com/
- 276 — http://krowohlebka.livejournal.com/
- 228 — http://papa_gen.livejournal.com/
- 115 — http://dvdm.livejournal.com/
- 88 — http://ev_chuprunov.livejournal.com/
- 70 — http://nibaal.livejournal.com/
- 63 — http://yakovenk0.livejournal.com/
- 38 — http://pilgrimminstrel.livejournal.com/
- 38 — http://hivrich.livejournal.com/
- 22 — http://vitusska.livejournal.com/
- 21 — http://alexandrov_blog.livejournal.com/
- 14 — http://v_novgorode.livejournal.com/
- 13 — http://abbsol.livejournal.com/
- 11 — http://lazybear.livejournal.com/
- 11 — http://velikin.livejournal.com/

Топ 10:
- 285552 — http://fima_psuchopadt.livejournal.com/
- 254138 — http://kukmor.livejournal.com/
- 212955 — http://vsegda_tvoj.livejournal.com/
- 189933 — http://asaratov.livejournal.com/
- 110014 — http://golubchikav.livejournal.com/
- 85196 — http://yuss.livejournal.com/
- 56307 — http://papa_gen.livejournal.com/
- 54211 — http://michael_077.livejournal.com/
- 51817 — http://oleg_shein.livejournal.com/
- 47006 — http://onepamop.livejournal.com/
- 26340 — http://pilgrimminstrel.livejournal.com/
- 23674 — http://antalex.livejournal.com/
- 19894 — http://dvdm.livejournal.com/
- 15924 -*http://nibaal.livejournal.com/
- 15406 — http://lazybear.livejournal.com/
- 4852 — http://ev_chuprunov.livejournal.com/
- 4766 — http://yakovenk0.livejournal.com/
- 4006 — http://alexandrov_blog.livejournal.com/
- 2575 — http://vitusska.livejournal.com/
- 2412 — http://hivrich.livejournal.com/

Топ 10:
- 151960 — http://kukmor.livejournal.com/
- 111039 — http://vsegda_tvoj.livejournal.com/
- 76080 — http://yuss.livejournal.com/
- 55965 — http://fima_psuchopadt.livejournal.com/
- 54933 — http://golubchikav.livejournal.com/
- 46492 — http://pilgrimminstrel.livejournal.com/
- 32834 — http://papa_gen.livejournal.com/
- 23537 — http://antalex.livejournal.com/
- 19824 — http://onepamop.livejournal.com/
- 19424 — http://nibaal.livejournal.com/
- 46492 — http://pilgrimminstrel.livejournal.com/
- 23537 — http://antalex.livejournal.com/
- 15760 — http://dvdm.livejournal.com/
- 19424 -*http://nibaal.livejournal.com/
- 11877 — http://lazybear.livejournal.com/
- 11599 — http://alexandrov_blog.livejournal.com/
- 3579 — http://mirovbur.livejournal.com/
- 3154 — http://yakovenk0.livejournal.com/
- 2710 — http://ev_chuprunov.livejournal.com/
- 2686 — http://vitusska.livejournal.com/

Топ 10:
- 21484 — http://nikolino.livejournal.com/
- 17583 — http://vsegda_tvoj.livejournal.com/
- 17095 — http://pilgrimminstrel.livejournal.com/
- 17064 — http://fima_psuchopadt.livejournal.com/
- 12141 — http://asaratov.livejournal.com/
- 8196 — http://yuss.livejournal.com/
- 5250 — http://golubchikav.livejournal.com/
- 4794 — http://novgorod_news.livejournal.com/
- 4599 — http://papa_gen.livejournal.com/
- 4559 — http://dymm69.livejournal.com/
- 17095 — http://pilgrimminstrel.livejournal.com/
- 4794 — http://novgorod_news.livejournal.com/
- 3105 — http://lazybear.livejournal.com/
- 2026 — http://antalex.livejournal.com/
- 1530 -*http://nibaal.livejournal.com/
- 1157 — http://yakovenk0.livejournal.com/
- 898 — http://dvdm.livejournal.com/
- 790 — http://alexandrov_blog.livejournal.com/
- 756 — http://hivrich.livejournal.com/
- 673 — http://malinovskay.livejournal.com/
Это главная пузомерка, из-за который весь сыр бор и возник.

Топ 10:
- 13523 — http://kukmor.livejournal.com/
- 11635 — http://fima_psuchopadt.livejournal.com/
- 10650 — http://asaratov.livejournal.com/
- 9263 — http://vsegda_tvoj.livejournal.com/
- 8872 — http://golubchikav.livejournal.com/
- 7204 — http://nikitskij.livejournal.com/
- 5599 — http://krowohlebka.livejournal.com/
- 5271 — http://greensmm.livejournal.com/
- 3794 — http://michael_077.livejournal.com/
- 3218 — http://igorsakharov.livejournal.com/
- 927 — http://ev_chuprunov.livejournal.com/
- 891 -*http://nibaal.livejournal.com/
- 769 — http://vitusska.livejournal.com/
- 717 — http://dvdm.livejournal.com/
- 602 — http://antalex.livejournal.com/
- 565 — http://pilgrimminstrel.livejournal.com/
- 178 — http://ctanicyclik.livejournal.com/
- 158 — http://lazybear.livejournal.com/
- 150 — http://alexandrov_blog.livejournal.com/
- 147 — http://ngomz.livejournal.com/
Капитан очевидность наброс закончил! Какие тут еще могут быть выводы?!
*) В этом посте «френдами» называются пользователи Livejournal добавившие губернатора в свой список друзей.
Источник
Опередил таки. Хотел вчера чемто подоюным заняться но лежу с пищевым отравлением
Что и говорить. Когда я увидел текст в ЖЖ Чупрунова, у меня сразу возникло желание пройтись программно по ЖЖ Сергея Митина и представить что-нибудь в цифрах. Удивительно, что никто этого не сделал почему-то раньше. Есть и другие ребята, которым, подозреваю, как и мне когда-то все эти люди были до одного места. а сейчас вот - НЕТ понимаешь. Вот товарищи из Новгорода.ру взяли да и пропарсили ЖЖ-блог губернатора за 20 минут, чем так же вызвали нешуточный ажиотаж в новгородском интернете и дикий баттхерт у некоторых личностей:
Я цитирую госпожу Генерозову из статьи на Прямой речи (http://pryamayarech.ru/news/4395/): "На покупку «ботов» у нас просто денег нет, и смысла я в этом не вижу" . наверное копили на инаугурацию.
Цифры и графики великая вещь, кстати - их страшно любят и одновременно боятся чиновники. Положил на стол такую книжку-раскраску, как сделал Миша Кривый, и ляпнуть больше нехрен. пык-мык приплыли
С твиттером губернатора пришлось пыхтеть полночи только сдергивая данные с сервера и превращая их в табличку. Еще бы, фолловеров у Сергея Герасимовича в Твиттере аж чуть ли не 15 с половиной тысяч! Что сразу бросилось в глаза - количество фолловеров МАССОВО и ОДНОВРЕМЕННО решивших оставить свой ПОСЛЕДНИЙ отклик на просторах Твиттера. Причем замечу, эти даты не соответствуют ни Новому году, ни 7-ому ноября, ни даже тогда, прошу прощения, когда у всей страны наступает по всейпесте восьмое марта или еще какой очередной психоз.
написавшие больше всего последних постов одновременно:
'2012 Nov 10': 4033
'2012 Nov 09': 1456
'2012 Nov 11': 4896
'2012 Sep 27': 1170
'2012 Nov 08': 343
'2012 Sep 26': 448
'2010 Sep 24': 263
'2012 Nov 05': 127
'2012 Aug 19': 122
итого одновременно окуклившихся: 12858
Правда же не плохие цифры, свидетельствующие против того, что все эти люди просто совершили одновременный сеанс аннигиляции?
Ладно, оставим в покое 11 и 12 ноября, так как эти даты были вчера и позавчера. Открываем кандидатов на самые жирные даты и что мы видим? Как много одинаковых количеств постов! Вы сговорились, ребята!
В общем, после такого уже нет смысла чертить графики и мучать компьютор выборками. Всё и так предельно ясно, дорогой предвыборный и поствыборный штаб губернатора в Новгородскую область, кто-то жестко обманувает рейтинги и как следствие - своих ребят (электорат).
особым любознашкам даю домашнее задание:
- скачать и открыть таблицу в программе эксель http://forumnov.com/custom/doc/twitter_sgmitin.xlc
- отсортировать данные по различным числовым полям
- найти в топовых значениях "всё те же знакомые лица", как можно шире открыть чакру, воспринимающую магию больших чисел
- подсчитать количество иностранцев, так горячо любящих и читающих Сергея Герасимовича на русском языке
- подсчитать читателей, зарегистрированных в новгороде и novgorode, исключая Nizhniy и Нижний
- поудивляться количеству писателей с одинаковым количеством постов.
- подивиться правильному написанию городов, будто любовно срисованных с интернет-сервиса мамба.ру
и ни в коем разии пока что не терять веру в человечество
кстати, там косяк вышел при замене табуляции в имени на   - я не стал убирать, потому что теперь это характеризует звучные имена
Гевара Эрнесто Че 
Линдгрен Астрид 
Кинг Дж. Роберт 
и т.д
правда это прекрасно?
если кто захочет поразбирать самостоятельно вот файл всех фолловеров Митина на начало 12 ноября , со всеми служебными полями в формате json http://forumnov.com/custom/doc/mitin_flw.zip
Я цитирую госпожу Генерозову из статьи на Прямой речи (http://pryamayarech.ru/news/4395/): "На покупку «ботов» у нас просто денег нет, и смысла я в этом не вижу" . наверное копили на инаугурацию.
Цифры и графики великая вещь, кстати - их страшно любят и одновременно боятся чиновники. Положил на стол такую книжку-раскраску, как сделал Миша Кривый, и ляпнуть больше нехрен. пык-мык приплыли
С твиттером губернатора пришлось пыхтеть полночи только сдергивая данные с сервера и превращая их в табличку. Еще бы, фолловеров у Сергея Герасимовича в Твиттере аж чуть ли не 15 с половиной тысяч! Что сразу бросилось в глаза - количество фолловеров МАССОВО и ОДНОВРЕМЕННО решивших оставить свой ПОСЛЕДНИЙ отклик на просторах Твиттера. Причем замечу, эти даты не соответствуют ни Новому году, ни 7-ому ноября, ни даже тогда, прошу прощения, когда у всей страны наступает по всейпесте восьмое марта или еще какой очередной психоз.
написавшие больше всего последних постов одновременно:
'2012 Nov 10': 4033
'2012 Nov 09': 1456
'2012 Nov 11': 4896
'2012 Sep 27': 1170
'2012 Nov 08': 343
'2012 Sep 26': 448
'2010 Sep 24': 263
'2012 Nov 05': 127
'2012 Aug 19': 122
итого одновременно окуклившихся: 12858
Правда же не плохие цифры, свидетельствующие против того, что все эти люди просто совершили одновременный сеанс аннигиляции?
Ладно, оставим в покое 11 и 12 ноября, так как эти даты были вчера и позавчера. Открываем кандидатов на самые жирные даты и что мы видим? Как много одинаковых количеств постов! Вы сговорились, ребята!
В общем, после такого уже нет смысла чертить графики и мучать компьютор выборками. Всё и так предельно ясно, дорогой предвыборный и поствыборный штаб губернатора в Новгородскую область, кто-то жестко обманувает рейтинги и как следствие - своих ребят (электорат).
особым любознашкам даю домашнее задание:
- скачать и открыть таблицу в программе эксель http://forumnov.com/custom/doc/twitter_sgmitin.xlc
- отсортировать данные по различным числовым полям
- найти в топовых значениях "всё те же знакомые лица", как можно шире открыть чакру, воспринимающую магию больших чисел
- подсчитать количество иностранцев, так горячо любящих и читающих Сергея Герасимовича на русском языке
- подсчитать читателей, зарегистрированных в новгороде и novgorode, исключая Nizhniy и Нижний
- поудивляться количеству писателей с одинаковым количеством постов.
- подивиться правильному написанию городов, будто любовно срисованных с интернет-сервиса мамба.ру
и ни в коем разии пока что не терять веру в человечество
кстати, там косяк вышел при замене табуляции в имени на   - я не стал убирать, потому что теперь это характеризует звучные имена
Гевара Эрнесто Че 
Линдгрен Астрид 
Кинг Дж. Роберт 
и т.д
правда это прекрасно?
если кто захочет поразбирать самостоятельно вот файл всех фолловеров Митина на начало 12 ноября , со всеми служебными полями в формате json http://forumnov.com/custom/doc/mitin_flw.zip
Эта тема закрыта, так как последнее сообшение было оставлено больше года назад.