Поэтому сегодня я решила задеть тему SEO и написать статью про одну из фундаментальных вещей: индексация страниц и особенности работы поисковых роботов.

Что такое индексация страниц? Это анализ поисковым роботом страниц сайта и занесение информации о них в собственную базу. Поисковой робот, в свою очередь, – это специальная программа, с помощью которой поисковая система постоянно накапливает и обновляет собственную базу данных сайтов для дальнейшего использования в поисковых алгоритмах. Суть работы робота – поиск новых ссылок на сайтах, переход по этим ссылкам на страницу и сбор информации. Таким образом, если ссылка ведет в никуда или если на страницу не существует не единой ссылки, то такая страница не попадает в поисковую базу и соответственно ее не будет в результатах поиска.

Существует несколько основных причин, по которым страницы не индексируются поисковыми роботами:

Навигация на сайте реализована в Flash, который большинство поисковых роботов не умеют анализировать.
Ссылкиреализованыспомощью Javascript или Ajax. Аналогичнаяпроблема. Правда Javascript-ссылки научились анализировать многие поисковые роботы, а вот с Ajaxпо-прежнему большая проблема
Навигация на сайте реализована через формы. Большинство роботов не умеют заполнять формы и поэтому не получают доступ к страницам (это актуально в случае, если необходимо выбирать элемент из выпадающего списка для перехода).
Роботы не имеют доступа к страницам, доступ к которым имеют только авторизированные пользователи.

Например, если на вашем сайте 500 страниц, а индексировано всего 350 из них, это значит что 150 страниц не приносят вам должного эффекта и трафика.

Существуют стандартные средства улучшения индексации сайта:

Создавайте навигацию с дружелюбным для поисковых систем CSS кодом, который позволяет реализовывать динамические элементы на подобие Flash.
Добавляйте альтернативные ссылки на страницы, необходимо сделать грамотную перелинковку.
Создайте карту сайта. Не размещайте более 100 ссылок на одной странице. Карта сайта может состоять из нескольких страниц.
Создавайте XML карту сайта (sitemap) специально для поисковых роботов с перечнем абсолютно всех страниц на сайте.
Чаще обновляйте информацию на сайте, это повлияет на частоту визитов поискового робота.
Закрывайте от роботов неинформативные и служебные страницы, чтобы сузить область индексации.
Наращивайте число обратных ссылок на сайт и на конкретные страницы сайтов: это можно делать через регистрацию сайта в каталогов, через размещения статей с ссылками на ресурс в специализированных порталах и т.д..