Игра в слова
Привет!
Давайте поиграем со словами. Посчитаем все вхождения слов в постах и комментариях какого–нибудь пользователя и посмотрим, что получится. Возьмем топ–100 слов и сделаем наиболее частые крупнее. Начну с себя:
Нет, так дело не пойдет. Надо выкинуть все эти частицы речи. И имена пользователей тоже:
Уже лучше, но всё равно не то: все эти "большой", "ваш", "человек" – кто большой? кто ваш? какой человек? Надо бы оставить самую мякотку, чтобы было видно о чем действительно человек пишет. Например, "Европа", "женщина" — ну ок. А вот "отвечать", "считать" – выбрасываем. Тут уж придется положиться на субъективную оценку и подобавлять некоторые стоп–слова руками:
Вот так уже лучше. Испробуем на ком–нибудь ещё теперь. Вот вам несколько пользователей. Посмотрим, угадаете ли кто здесь кто:
Юзернейм №1
Юзернейм №2
Юзернейм №3
А как насчет сообществ? Ну–ка, посмотрим:
science
cosmos
historyporn
А вот самое интересное, посмотрите как похожи наши politota и politics:
politota
politics
Да, вот пост @Patagonia, который заставил меня наконец заняться этой идеей.Там @irony правильно предлагал сделать срезы по годам и выделить тренды, по навскидку ничего интересного пока не получилось: топовые слова практически не меняются из года в год. Можно, конечно, попробовать составить список слов, популярность которых сильнее всего менялась за последние годы, но это тема для отдельного поста.
Конец.
Написал romaklimenko на dataisbeautiful.d3.ru / комментировать