Приветствую Вас, гости и подписчики блога 4remind.ru. В продолжение тематики SEO предлагаю тем, кто совсем новичок в продвижении веб-ресурсов, ознакомиться с основами и рекомендациями, помогающими правильно начать процесс индексирования своих сайтов и блогов. И как всегда к материалу прилагается пояснительный видеоролик.
Первым делом, чтобы провести индексацию сайта, нам потребуется создать robots.txt при помощи простого блокнота. Когда мы его поместим в корневой каталог, то первым делом бот поисковой системы, прочтет файл с инструкциями и продолжит проводить индексацию сайта.
Как провести индексацию сайта? Для опции robots.txt употребляется указание «Disallow», а также «User-agent». Первая фраза дает команду поисковому боту для того, чтобы выполнил запрет на индексацию. Этот запрет будет описан во второй команде, более подробно. К примеру, напишем такой запрет:
User-agent: *
Disallow: /
не допустит к индексации весь портал для всех поисковиков. В случае если после фразы «Disallow» написать путь к каталогу либо файлу, то бот не будет их регистрировать. Помните: ни в коем случае не прописывайте несколько команд в одной строке, иначе они не будут работать. Если вы желаете открыть файл либо путь к проведению индексации, то пользуйтесь командой «Allow».
Файл с правилами «robots.txt» содержит ряд следующих команд к исполнению:
Фраза «Host» применяется для того, чтобы указать для веб-сайта зеркало. В этом случае портал будет иметь только один путь. Только он будет находиться в выдачах поисковых систем.
«Sitemap» – команда, помогающая поисковику определить, где располагается ката вашего портала.
«Crawl-delay» применяется для задержки между последующими загрузками страничек сайта поисковым роботом. Данное событие помогает эффективней проводить индексацию, если на портале много страниц. К примеру, команда: «Crawl-delay: 5» делает паузу загрузок страничек, которая равна пяти секундам.
«Request-rate» служит для указания периодичности запросов на загрузку страничек поисковиком. К примеру, строка: «Request-rate: 1/8» означает, что поисковой бот будет проводить загрузку страниц один раз в восемь секунд.
Строка «Visit-time» указывает время, в которое боту можно будет загружать странички с сайта. Временные рамки необходимо ставить по Гринвичу, к примеру: «Visit-time: 0600-0800».
К чему может привести ошибочная настройка файла? Некорректная настройка может повлиять на то, какие страницы будут открыты к индексации. Возможно, станут открытыми разделы, имеющие конфиденциальную информацию о ваших юзерах. С таким же успехом имеют все шансы быть закрытыми к индексации страницы с полезной информацией.
Как проверить файл настроек? Чтобы добиться результата можно зайти на Яндекс.Вебмастер, который позволит провести тест robots.txt. Вбейте путь к домену, и вы увидите все ваши ошибки.
Смотрите полный видеокурс на iTunes
Сейчас вроде для быстрой индексации рулят посты в соцсетях.