Как определить блокировку на блогспоте

В статье "Как продлить жизнь сплогу" я уже написал вкратце о разблокировке блогов на блогспоте. Недавно получил отклик. У моего коллеги заблокировали блог на блогспоте. Блог находился на домене 2-го уровня. Контент был копипаст плюс немного уникальных статей. Постинг производился 1-2 раза в неделю руками. Тем не менее, блог был заблокирован. Спамом блог не продвигался. Т. е. блог практически белый. Тем не менее, блог был заблокирован администрацией блогспота. Критерии блокировки не понятны. Разблокирован блог был практически сразу (не позднее чем через час) же после подачи заявки на разблокирование, т. е. после нажатия соответствующей ссылки в админке. Мой коллега оказался наблюдательнее меня и благодаря ему стал известен дополнительный признак блокированности блога на блогспоте.

Сначала напомню первый признак блокированности. В админке аккаунта на блогспоте появляется текст:

"Этот блог заблокирован в связи с возможным нарушением Условий предоставления услуг Blogger. Вы не сможете публиковать новые сообщения, пока блог не будет пересмотрен и разблокирован.

Если вы не запросите пересмотр, блог будет удален в течение 20 дней.

Запросить рассмотрение для разблокирования"

Текст "Запросить рассмотрение для разблокирования" представляет собой ссылку вида http://www.blogger.com/unlock-blog.g?lockedBlogID=6677350657232233180&popup=true при нажатии на которую происходит разблокирование блога.

Второй признак блокированности состоит в том, что у блокированного и неблокированного блога на блогспоте различается текст файла robots.txt, который имеется у каждого блога.

Текст файла robots.txt неблокированного блога выглядит следующим образом:
-------------------------

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap: http://otissima.blogspot.com/feeds/posts/default?orderby=updated
--------------------------
Текст файла robots.txt заблокированного блога будет выглядеть так:
--------------------------

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /cse.xml
Disallow: /
------------------------

Каково практическое применение вышеуказанных признаков? Они пригодятся для создания софта для слежения за сеткой своих сплогов на блогспоте. Как видно из первого признака от предупреждения о блокировке до удаления блога проходит 20 дней, поэтому проверка сплогов может производится примерно один раз в 2-3 недели, что не должно вызвать бана IP с которого идет проверка.

Наиболее простой способ - проверка файла robots.txt на наличие определенного текста, например "disallow: /" или "sitemap". Это позволит обойтись без написания кода, ответственного за вход в админку сплога, хотя такой код все равно может понадобиться для модуля нажатия на ссылку разблокировки (текст "Запросить рассмотрение для разблокирования").

Адреса Gmail с точками

У адресов электронной почты сервиса gmail.com есть свойство, известное многим сеошникам, а именно то, что если в любой части адреса до знака @ вставить любое количество точек (кроме начала адреса и перед самим знаком @), то такой адрес будет считаться действительным и вся почта, отправленная на такой адрес, попадет на первоначальный адрес.

То есть все адреса типа l.ogin@gmail.com, log.in@gmail.com, logi….n@gmail.com, l.o…gi….n@gmail.com будут считаться действительными и почта, отправленная на эти адреса, попадет на ящик login@gmail.com . Недействительными будут только адреса вида .login@gmail.com, login.@gmail.com, .l.o..gin@gmail.com, log..in.@gmail.com и т. п.

Данное свойство сервиса gmail.com очень полезно, поскольку избавляет от необходимости регистрировать множество почтовых ящиков

Вручную расставлять точки муторно, поэтому решил поискать программку или скрипт, которые бы сгенерили за меня список адресов с точками. Готового решения я не нашел, но нашел куски кода, из которых сделал свой скрипт на PHP. Данный скрипт создает список почтовых адресов Gmail, в которых нет соседствующих точек. Если вам понадобится еще и адреса с соседствующими точками, вида l.o..gi.n@gmail.com, просто возьмите любой из сгенерированных адресов с одиночными точками и прогоните такой адрес через скрипт еще один раз, а потом можно прогнать и адрес с двойными точками и т.д. Потом объедините новый файл с первым файлом (где имеются только одиночные точки) и удалите из объединенного файла одинаковые строки. Аналогично следует поступать и после генерации списка адресов из логина с двойными точками.

Скрипт работает на Денвере и сохраняет результаты в папку со скриптом в файл вида gmail_вашлогин.txt

Приведенный ниже код следует скопировать в текстовый файл и сохранить этот файл под именем index.php , а потом этот файл запускать на Денвере.

------------------------------------

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>Генератор вариаций адресов Gmail с точками</title>
<style type="text/css">
<!--

.style4 {
font-size: 20px;
color: #3333CC;;
font-style: underlined;
}

.style5 {
font-size: 24px;
color: #FF0040;
}

.style6 {
font-size: 18px;
color: #009900;
font-style: italic;
}

-->
</style>
</head>

<body>
<table width="536" height="265" border="0" align="center" bordercolor="#333333">
<tr>
<td width="360" height="154" align="left" valign="bottom" bordercolor="#333333" class="style6">Введите свой логин на Gmail (часть адреса до знака @ ) </td>
</tr>
<tr>
<td><form id="form1" name="form1" method="post" action="index.php">

<input type="text" name="logn" />


<input type="submit" value="Нажать" />
<input type="reset" name="Submit" value="Сбросить" />

</form> </td>
</tr>
<tr>
<td> </td>
</tr>
</table>
<?php
ini_set("max_execution_time", 6000);

function add_dot($str){
if(strlen($str) > 1){
$ca = preg_split("//",$str);
array_shift($ca);
array_pop($ca);
$head = array_shift($ca);
$res = add_dot(join('',$ca));
$result = array();
foreach($res as $val){
$result[] = $head . $val;
$result[] = $head . '.' .$val;
}
return $result;
}
return array($str);
}

if ($_POST['logn'] == '')
{
echo '<table width="536" border="0" align="center">
<tr>
<td width="360" align="left" valign="bottom"><span class="style5">Вы не ввели данные!</span><br><br> </td>
</tr>
</table>';
}

if ($_POST['logn'] != '')
{

$logn = $_POST['logn'];
unset ($_POST['logn']);

$res = add_dot($logn);

$mlist = fopen('gmails_'.$logn.'.txt', 'w+');

foreach($res as $email)
{
fwrite($mlist, $email."@gmail.com\n");
}

fclose($mlist);

flush();

echo '<table width="536" border="0" align="center">
<tr>
<td width="360" align="left" valign="bottom"><span class="style4">Готово! Список адресов находится в файле gmails_';
echo $logn;
echo '.txt</span><br><br> </td>
</tr>
</table>';
}
unset ($logn);
?>
</body>
</html>

Вспомогательные сайты. Терминология. Дорвей.

Дорвей - сайт или веб-страница, предназначенная для сбора поискового трафика и его перенаправления на основной сайт.

Дорвей оптимизируется под определенные ключевые слова за счет читабельности текста, который генерируется автоматически (программно). Тем самым улучшаются оптимизационные характеристики текста в ущерб смыслу, чего нельзя допустить на основном сайте.

Дорвеи собирают поисковый трафик, попадая в выдачу поисковых машин. Действует правило: чем меньше номер позиции сайта (в том числе и дорвея) выдаче поисковой машины, тем больше поискового трафика данный сайт привлечет. Меньший номер позиции сайта в выдаче обычно называется "более высокой позицией". На такую позицию дорвеи проталкиваются путем применения ссылочного спама (линкспама), т. е. массового размещения ссылок на дорвей на чужих веб-страницах, допускающих размещения ссылок. Обычно линкспам осуществляется автоматически с помощью специальных программ.

Дорвеи бывают редиректные и безредиректные. Редиректный дорвей - это дорвей, попав на который, пользователь немедленно или спустя несколько секунд автоматически перенаправляется на основной сайт. Безредиректные дорвеи перенаправляют трафик путем привлечения внимания посетителя к ссылкам на основной сайт, обычно с помощью баннеров или крупноразмерного и выделенного текста.

Доводка сателлитов от vipbablo

Один из имеющихся на рынке генераторов сателлитов (точнее говносайтов) - программа vipbablo. Что касается ее эффективности, то тут ничего особо положительного сказать не могу - по отзывам коллег в индекс Яндекса сателлиты, сделанные этой программой попадают, но не всегда. Держатся один-два апа и потом благополучно из индекса исчезают. Редкие экземпляры остаются в индексе надолго. Тем не менее, использовать программу можно, так как если вовремя (т.е. на момент нахождения сателлита в индексе) подсунуть сателлит в сапу, то даже если он потом выпадет из индекса, то в сапе на некоторое время останется, и будет приносить копеечку. Так что при некотором везении доход с "випбабловских" сателлитов получить можно. В целях минимизации расходов на сателлиты иногда целесообразно размещать их на фрихостах. Выделенный IP под каждый сателлит на таких хостингах конечно не прикрутишь, но индексации это обычно не мешает. Потом уже можно перенести сателлит на свой, платный хостинг. С учетом того, что нулевой сателлит на 50-60 страниц приносит 0,2-0,3 доллара в день (6-9 долларов в месяц) и не сразу, а месяца через два после заливки на хостинг, то первоначальная экономия на хостинге и выделенном IP представляется достаточно разумным решением.

Не на всех фрихостах (разумеется, с поддержкой PHP) "випбабловские" сателлиты будут работать в неизменном виде. Иногда придется "поработать напильником". О некоторых нюансах расскажу на примере двух фрихостов, funpic.de и awardspace.com. Оба хостинга дают возможность использовать собственные домены.

На funpic.de сателлит можно заливать практически в неизменном виде. Проблем никаких не возникает, кроме неправильного отображения кодировки текста. Русский текст отображается крякозябрами и приходится настраивать отображение кодировки в браузере. Это происходит потому, что на всем хостинге по умолчанию используется западноевропейская кодировка - хостинг-то немецкий.

Решение проблемы с кодировкой элементарно. В состав сателлита входит файл .htaccess.
В этом файле первой строкой прописываем команду

AddDefaultCharset Off .

После этого русский текст будет отображаться нормально.

На awardspace.com проблема сложнее. Если залить сателлит в неизменном виде, то он работать не будет вообще. Для придания работоспособности необходимо внести изменения в файлы index.php и .htaccess. В файле index.php две имеющиеся строки вида

define('_SAPE_USER', 'ваш_ID_в_sape.ru');

заменяем на строку вида

define('_SAPE_USER', '/home/www/yoursite.ru/ ваш_ID_в_sape.ru');

После подобных преобразований будет открываться главная страница сателлита, yoursite.ru , ссылки на остальные страницы работать не будут.

Чтобы "оживить" ссылки на другие страницы сателлита достаточно внести небольшое изменение в файл .htaccess, а именно поставить (правую) косую черту (/) перед index.php?q=$1 , т. е. заменить строку


RewriteRule ^(.*).html$    index.php?q=$1 [L,QSA]

на строку

RewriteRule ^(.*).html$   /index.php?q=$1 [L,QSA]

Теперь, после описанного изменения файлов index.php и .htaccess сателлиты, сделанные генератором vipbablo будут работать на бесплатном хостинге awardspace.com. Не забудьте только вместе с сателлитом закачать на хостинг папку с файлом sape.php.