Обзор конкурса Ботмастера. Часть 4

Продолжение, начало - Часть 1 , Часть 2 , Часть 3


7. Автор: Alexei82
Название: Программный комплекс XRumer7 + Hrefer3.3 + Dle spider

Описывается методика сбора ссылок на сайты на движке DLE. Приводятся признаки для парсинга DLE сайтов, настройки Хрефера, работа с приложением DLE Spider, позволяющем создать списки адресов на страница регистрации и на страницу комментариев для сайтов на CMS DLE. В общем статья представляет собой мануал по парсингу и обработке базы DLE-сайтов.

8. Автор: MrKesha
Название: Анализ инструментами XRumer-а и схема перелинковки топовой
сетки по трамадолу


Статья, демонстрирующая методику анализа чужих дорвейных сеток. Из инструментов Ботмастера используется Хрефер для сбора ссылок, фильтр дублей и анализатор базы ссылок для поиска признаков сетки. Признаки сетки – характерные особенности дорвеев в сетки, например какой-то повторяющийся или похожий текст или оформление страницы (верстка, картинки, CSS и т.п.). Остальные инструменты – построитель графов yEd Graph Editor, а также самописный PHP-скрипт для анализа сетки.

Автор нашел в выдаче Гугла на первом месте по запросу «buy tramadol online» дорвей http://www.nationsgirl.com и в результате трехдневной работы собрал адреса 490 дорвеев, которые, ссылаясь друга через друга на адрес nationsgirl.com составляют единую сетку. Непосредственно на nationsgirl.com ссылаются только 17 сайтов. Кроме того была собрана база ресурсов, ссылающихся на эту сетку из 490 дорвеев из-вне самой сетки, но в анализе сетки она особой роли не играет.

Затем, с помощью специального скрипта был составлена схема линковки в индексном виде по принципу «дор с таким-то номером в списке ссылается на доры с такими-то номерами в том же списке». Это скрипт удобен для наблюдением за развитием сети – какие доры в сети появляются, какие исчезают, как изменяется перелинковка.

Также была составлена графическая схема перелинковки в виде графов с узлами. В результате анализа графов был сделан вывод, что сетка: 1) почти симметрична, 2) нет ни одной обратной ссылки, 3) нет ни одного кольца. Из особенностей дорвеев в сетке автор отметил следующее: 1) все доры одностраничные, без внутренних ссылок; 2) количество ссылок на другие доры в сетке от 0 до 7; 3) каждый дор имеет одну, открытую к индексации, ссылку на трастовый сайт вне сетки (в данном случае drugs.com или wikipedia.org).


Продолжение - Часть 5