Архив за Февраль, 2009

Комментирование блогов

Posted in Статьи on Февраль 9th, 2009 by admin – 7 Comments

Комментирование блогов

Сегодня о комментировании блогов с целью раскрутки своего блога.

Ссылки, оставленные в комментариях блогов, по прежнему актуальны и их использование дает неплохие результаты при раскрутке своего собственного блога. Хоть приводимые здесь методы годятся для любого сайта, следует заметить, что акцент сделан именно на раскрутке блога, а точнее поднятии его ТИЦ. Разумеется, если ссылка на ваш блог будет расположена в тексте поста, это даст гораздо больший результат, который в значительной мере оправдывается индексированием Technorati, но ссылка, оставленная в качестве домашней страницы в комментариях к посту также будет учтена поисковыми роботами.

Как и всегда есть два метода разослать комментарии: белый и черный. Ниже рассмотрим оба.

Белое комментирование блогов - это ручной метод. Разумеется, для этого придется приложить усилия, но они быстро окупятся, к тому же белый СЕО звучит как-то более горделиво. Суть тут в том, что можно рассылать сообщения в тематические блоги. Для этого нужно собрать адреса блогов по сходной с вашей тематикой, а затем исключить из них с нулевым ТИЦ. Скажу даже больше: заходим в blogs.yandex.ru, вводим запрос и видим блоги с большим ТИЦ. В результате получится небольшая база блогов, которая, тем не менее, даст приличный результат. При этом, разумеется, нужно написать осмысленный комментарий, который бы соответствовал тематике поста или отвечал бы на предыдущий комментарий - в противном случае администратор просто удалит ваш комментарий или удалит из него ссылку.

Черное комментирование блогов - автоматизированный метод. Если в первом случае акцент делался на качестве, то при таком комментировании блогов упор делается на количестве. Бессмысленно, а иногда и вредно оставлять комментарии в белых блогах: администратор все равно удалит ваш бессмысленный комментарий, а может быть и еще хуже: добавит вас в черный список или даже напишет абузу хостеру.

Поэтому для автоматизированного комментирования блогов нужно собирать базы блогов, в которых и так полно спама. Где собрать такие блоги? Как я уже говорил в предыдущем посте - у конкурентов!

Найти спам-блоги не так уж и сложно: нужно потратить немного времени и найти блоги, в которых большое количество комментариев. Так вот, среди этих комментариев наверняка будет что вроде этого: “Спасибо за пост. Познавательно” или “Спасибо, пост действительно толково написан и по делу, есть что почерпнуть.”. Также можно найти и более изощренные комменты. Суть их очевидна: текст подходит к абсолютно любому посту, вне зависимости от тематики.

Так вот таких всевозможных вариантов нужно набрать сколько сможем. Далее запускаем парсер поисковой выдачи и собираем адреса, вбив в качестве ключевой фразы текст собранных “комментариев”. В результате получится база блогов, в которые люди спамят.

Если адресов недостаточно можно воспользоваться другим проверенным способом: из спам-блогов выбираем из комментариев сайты, обладающие максимально большим ТИЦ, затем открываем Yahoo и смотрим обратные ссылки. И вот перед нами та база, по которой был прокручен конкурентный сайт.

После того как база собрана, можно приступать к рассылке. Для этого рекомендую воспользоваться Хрумером (думаю, что все знают что это такое) или другим спам-ботом. При этом следует писать по возможности разные тексты в комментарий, а также оставлять ссылки на разные страницы блога, иначе поисковик может и наказать.

Постарайтесь быть пооригинальнее и не писать комментарий “Спасибо. Классный пост” или что-то подобное, так как в вашей базе будут присутствовать и относительно чистые блоги, поэтому подобный комментарий увеличивает вероятность того, что он будет удален. Понятно, что нет возможности четко привязать комментарий к тематике блога, не говоря уже о тематике поста, но всегда есть возможность привязать к какому-либо событию (например, к кризису :-).

Да и еще… если блог только что создан, то не стоит рассылать сразу же большое количество комментариев - лучше по частям, а еще лучше в перемешку с другим видом спама - по каталогам, доскам объявлений, покупкой дешевых внутренних ссылок.

Как попасть в топ

Posted in Статьи on Февраль 5th, 2009 by admin – Оставьте первый комментарий

Как попасть в топ?

Данная статья рассчитана на новичков и призвана показать как пользоваться общедоступными инструментами чтобы узнать как вывести сайт в топ поисковых систем.

В этой статье нет руководства к действию, что и когда нужно сделать, - здесь есть описание средств, с помощью которых можно выяснить самостоятельно что нужно сделать, чтобы поисковые системы выдавали сайт в первой странице выдачи. Новички часть задают вопросы типа “как попасть в топ?” или “как вывести сайт на первую страницу?”, но при этом не замечают, что все необходимые инструменты для выяснения этого вопроса у них уже есть.

Итак, начнем по порядку.

Ключевые слова

Для того чтобы подобрать ключевые фразы есть три пути: купить базу ключевых слов, собрать самому исходя из данных других сайтов или создать самому используя статистические данные запросов поисковых систем.

Так как эта статья рассчитата на новичков, то первый способ отпадает сразу. Второй способ основан на том, что с какого-либо сайта собираются ключевые слова из мета-тегов, тегов <title>, <h1>, <h2>, <h3> и других подобных. Чтобы получить больше ключевых слов поочередно обрабатываются внутренние страницы сайта. Для сбора кейвордов подобным методом можно воспользоваться программой от Пастухова Keyword Harverter - она лежит на каждом углу интернета.

Третий способ собрать ключевые слова - это воспользоваться тем, что предоставляют сами поисковики. Они живут за счет рекламы - AdSence, Yandex Direct, Begun и других, поэтому вполне логично, что они общедоступно предоставляют информацию о том, что и в каких количествах набирают в их поисковых системах. С помощью wordstat.yandex.ru, adstat.rambler.ru и adwords.google.com можно узнать что интересно пользователям. Намного проще, конечно, воспользоваться скриптом Парсер ключевых слов. Сервисы поисковых систем предоставляют кроме списка ключевых слов еще один очень важный параметр - это количество запросов за месяц, называемый “частотой”.

Конкуренция

При оценке сложности вывода сайта в топ по определенной ключевой фразе часто пользуются понятием частоты ключевых слов. Это не совсем корректно, так как сложность определяется конкурентными сайтами, а не количеством запросов кейворда.

Узнать количество конкурентов проще простого - достаточно ввести ключевую фразу в любом поисковике и он отобразит что-то вроде “результат 1-10 из примерно…”. Понятно, что по фразе “buy viagra” конкурентов будет значительно больше, чем по “продать вставную челюсть моей покойной бабушки”.

Ссылки

Позиция сайта в выдаче поисковиков зависит от количества и качества ссылок на них. Проще всего посмотреть входящие ссылки в yahoo: siteexplorer.search.yahoo.com. Обратите внимание, что www.example.com и example.com - это разные URL.

PR и ТИЦ

Посмотрели кто ссылается на сайт. Но одного количества ссылок знать недостаточно - нужно знать вес каждой из ссылок. Понятно, что все ссылки поочередно просматривать нет надобности, но получить картину о качестве ссылок нужно. Для этого смотрим ПР и ТИЦ. Что это такое, думаю, знает даже школьник. Сервисов, где можно узнать эти параметры для произвольного URL-адреса полно, вот, например: Проверка ПР и ТИЦ.

Описанных выше инструментов вполне достаточно, чтобы разобраться в том, что нужно, чтобы вывести сайт в топ по какому-либо кейворду. Если покопаться более углубленно, то можно заметить перелинкованные между собой сайты, можно заметить скрытые ссылки. Во всяких комментариях, каталогах и гостевых книгах можно заметить использование описанной раньше инструкции rel. Обратите внимание на используемый в ссылках якорь (текст ссылки между <a> и </a>) и тематику страницы, на которой расположена ссылка: тематическая ссылка имеет значительно больший вес, чем ссылка не тематическая.

Уникальность контента

Наконец на позиции в индексе существенно влияет уникальность контента. Ни для кого не секрет, что для того, чтобы попасть в топ плагиатом пользоваться не следует. Проверить текст на уникальность можно, например, на copyspace.com.

Уверен, что в данной статье не написал ни одной новой мысли, но не смотря на это новички продолжают задавать вопросы, ответ на которые вполне могли бы найти сами. Конкурирующие сайты - вполне хорошие учителя, надо только научиться у них учиться.

Запрет индексации, файл robots.txt

Posted in Статьи on Февраль 3rd, 2009 by admin – 9 Comments

Запрет индексации страниц сайта, файл robots.txt

В данной статье описано как запретить поисковым системам индексировать некоторые части вашего сайта, описан формат файла robots.txt, мета тег robots, а также инструкция rel

Желание, чтобы сайт был максимально полно проиндексирован поисковыми системами, вполне естественно для каждого веб-мастера. Однако и в этом можно переусердствовать. Для чего же может понадобиться запретить индексацию некоторых частей сайта? В основном для того, чтобы исключить из индекса поисковых систем служебных частей сайта.

Например, если на вашем сайте есть страницы регистрации пользователя, входа в систему, подписки на рассылку и прочие подобные, то их индексация нанесет больше вреда чем пользы: эти страницы не несут никакой смысловой нагрузки и получить с них посетителей, а тем более целевых посетителей, практически невозможно. Но есть и более важная проблема: если на эти страницы установлена ссылка (а она наверняка установлена), то ей будет передана часть ПР, а значит, другие страницы будут индексироваться немного хуже. В добавок к этому робот поисковой системы, в зависимости от популярности сайта, может посетить не все, а только некоторые страницы и в итоге самые важные и удачные страницы вашего сайта могут оказаться просто незамеченными, в то время как поисковый бот будет регулярно заходить на страницы авторизации (благо он пока еще не пытается авторизироваться).

Также на сайте может находиться какой-либо специализированный сервис, который нежелательно показывать поисковым системам, но ссылку на него иметь надо. Возможен еще один случай: имеется, например, PDA версия форума. В веб-выдаче поисковиков это также пользы не принесет. Кроме того, часто сайты, написанные на основе какой-либо CMS, имеют часть страниц в области /admin. В этом случае полезно запретить индексирование всего каталога /admin.

Файл robots.txt

Теперь о том, как запретить индексацию страниц сайта. Самый наилучший способ для этого - воспользоваться специальным файлом robots.txt, в котором описаны ограничения индексации. Он был разработан еще в 1994 году и с того времени претерпел немного изменений. Представляет из себя обычный текстовый файл Windows или Unix (роботы понимают оба формата), который можно создать в любом текстовом редакторе. Суть этого файла в следующем: поисковый робот заходит на сайт, проверяет существование файла, и, если он существует, читает из него запреты на индексацию.

Стоит заметить тот факт, что поисковик, в принципе, вовсе не обязан следовать этим инструкциям и некоторые “не добропорядочные” его просто игнорируют, однако, в виду того, что большинство поисковых роботов корректно обрабатывают это файл, можно считать использование robots.txt достаточно надежным и удобным инструментом.

Для того, чтобы роботы поисковых систем смогли воспользоваться инструкциями этого файла, должны выполняться следующие условия:

  • robots.txt должен быть расположен в домашней директории сайта;
  • robots.txt должен быть доступен по протоколу http (например так: http://example.com/robots.txt);
  • имя файла должно состоять из прописных символов (тоесть не Robots.txt и не ROBOTS.TXT);
  • на одном домене должен быть только один файл robots.txt (если этого недостаточно, то можно использовать тег <meta name=”robots”>).

Теперь о формате robots.txt. Он представляет из себя список записей, а каждая запись состоит из полей, разделенных переводом строк, т.е. одна строка - одно поле. Каждая запись начинается одим или несколькими полями “User-agent” и заканчивается одним или несколькими “disallow”. Каждое поле записывается следующим образом:

<Field>:<OptionalSpace><Value>

<Field> - служебное слово “User-Agent” или “Disallow”

<Value> - значение.

<OptionSpace> - обобщающий пробел, под которым понимаются один или более пробелов, знак табуляции.

User-agent задает название поискового робота, к которому относятся последующие инструкции disallow. Если сразу же после поля “user-agent” будет встречено другое поле “User-agent”, то считается, что запреты описываются сразу для нескольких поисковых роботов. Если же между двумя полями ” User-agent” есть поля “disallow”, то считается, что поисания запретов относятся к разным роботам. Вот основные роботы, которые можно указывать в user-agent:

  • Yandex
  • Rambler
  • Google
  • Search.Mail.ru
  • Metabot
  • Gogo
  • *

Для того, чтобы дать одинаковые запреты всем роботам используется символ “*”.

Disallow задает запрещаемый к индексации объект. Этим объектом может быть директорий на сервере или конкретная страница.

Вот пример использования robots.txt, запрещающий индексировать файлы login.php и register.php всем поисковым системам:

User-agent: *

Disallow: /login.php

Disallow: /register.php
Запрет индексации файла /edit/index.html роботу yandex и всей директории /admin всем роботам.

User-agent: Yandex

Disallow: /edit-

User-agent: *

Disallow: /admin

Директива host сообщает поисковому роботу о существовании основного зеркала сайта, например

host: example.com

сообщит поисковым системам, что example.com - это основное зеркало, а не www.example.com (не забывайте, что URL с www и без www - это разные с точки зрения поисковых система адреса). Учтите также, что после двоеточия не должно быть префикса http://, а в конце URL не должно быть слеша.

Файл robots.txt должен содержать записи, начинающиеся одним или несколькими user-agent и заканчивающимися одним или несколькими disallow (или host). Содержимое файла не чувствительно к регистру. Также можно использовать комментарии в общепринятом формате Unix, т.е. начинающиеся с # и заканчивающиеся концом строки. В одной строке disallow может находиться несколько объектов, разделенных пробелом, но, так как это можно было не всегда, рекомендуется писать все запрещения отдельно. Еще одно замечание: в поле disallow необходимо писать пути без префикса http.

Если поисковый робот не нашел файл robots.txt, то он принимает это как отсутствие запрещений на индексацию. При этом следует учитывать, что если файла robots.txt не будет найден, то ваш сервер может вернуть код ответа 200 (все нормально) и вывести 404ю страницу как обычный html-документ. В этом случае поисковому роботу придется самостоятельно разбираться в тексте страницы. Скорее всего, это не приведет к нежелательным последствиям, но все же рекомендуется создать пустой файл robots.txt и гарантировать тем самым отсутствие неожиданностей.

В большинстве случаев файла роботс достаточно, чтобы настроить правильную индексацию сайта, однако, существуют и другие методы ограничить посещения поискового бота.

Мета-тег robots

Мета тег позволяет запретить индексацию страницы поисковым роботам, причем его действие распространяется сразу на все роботы (если они, конечно придерживаются привил и обращают на него внимание). Как и любой другой мета-тег, robots необходимо указывать в секции head html-документа. Выглядит он следующим образом:

<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

В поле Content могут быть указаны следующие значения:

  • INDEX, NOINDEX
  • FOLLOW, NOFOLLOW
  • ALL, NONE

INDEX и NOINDEX разрешают или запрещают индексация поисковыми системами данной страницы, FOOLLOW и NOFOLLOW разрешают или запрещают анализировать ссылки, расположенные на данной странице (тот же эффект достигается инструкцией rel), ALL соответствует FOLLOW и INDEX, а NONE - NOINDEX и NOFOLLOW.

Инструкция NOFOLLOW применяется в основном в тех случаях, когда ссылку размещают посетители сайта, например в гостевой книге. В этом случае бразуер будет воспринимать ссылку как самую обыкновенную, но, в то же время, поисковые системы ее не будут учитывать.

Инструкция rel

Инструкция rel позволяет запретить анализировать конкретную ссылку html-документа. Наример, ссылка

<a href=”http://example.com” rel=”nofollow”>

приведет к тому, что поисковые системы проигнорируют ее.

На самом деле это не совсем так: инструкцию rel учитывают не все поисковые роботы - это прерогатива систем google, msn, yahoo. Данный запрет имеет смысл использовать также в тех случаях, если ссылку оставляют посетители сайта.

Тем <noindex>

Позволяет запретить индексировать часть страницы, заключенной между тегами <noindex> и </noindex>.

Также как и в случае инструкции rel, данный тег поддерживают не все поисковые системы, а только Yandex и Rambler. Также следует учитывать, что ни в каких стандартах данный тег не предусмотрен, поэтому страница, его содержащая перестает проходить валидацию (проверка на правильность и корректность html-кода).