Введение: Разница между “Не ранжируется” и “Не проиндексирован”
Прежде чем впадать в панику, важно определить, какая именно проблема возникла:
- Сайт не проиндексирован (Not Indexed): Googlebot не знает о существовании ваших страниц, или ему запрещено их добавлять в свою базу данных. Это — проблема “невидимости” (Zero-Visibility).
- Сайт не ранжируется (Not Ranked): Google знает о страницах, но они находятся очень низко в выдаче (например, на 10-й странице) из-за низкой авторитетности, слабого контента или высокой конкуренции.
Это руководство сосредоточено на решении первой проблемы — полном отсутствии в поиске.
Раздел 1: Немедленная диагностика и простые проверки
Начните с самых быстрых и очевидных проверок.
1.1. Проверка видимости через оператор site:
Самый первый и важный шаг. Откройте Google и введите:
site:вашдомен.ru
Результаты проверки:
- Если результаты ЕСТЬ: Ваш сайт проиндексирован. Проблема в том, что вы не ранжируетесь по целевым запросам, а не в том, что вас нет в базе данных Google.
- Если результатов НЕТ: Сайт полностью отсутствует в индексе. Продолжайте диагностику.
1.2. Проверка статуса в Google Search Console (GSC)
Если вы не добавили сайт в GSC — сделайте это немедленно. Это единственный надежный источник информации о состоянии индексации.
- Отчет “Страницы”: Проверьте, сколько страниц находится в категории “Проиндексировано” и сколько в “Исключено”. Если количество исключенных страниц резко возросло, проанализируйте причину исключения (например, “Заблокировано с помощью noindex” или “Обнаружено — в настоящее время не проиндексировано”).
- Отчет “Файлы Sitemap”: Убедитесь, что ваш
sitemap.xmlотправлен и успешно обработан. Если нет, исправьте ошибки, описанные в предыдущей статье.
1.3. Проверка возраста домена
Если сайт запущен только что, дайте Google время. Индексация нового ресурса может занять от 48 часов до 4 недель.
Раздел 2: Технические барьеры (Роковые ошибки, блокирующие индексацию)
Эти ошибки — самые частые причины полного отсутствия сайта в поиске, поскольку они прямо запрещают роботу доступ или индексацию.
2.1. Конфликт с файлом robots.txt
Файл robots.txt находится в корневом каталоге и контролирует, какие разделы сайта может сканировать робот.
Смертельная ошибка: Директива Disallow: /
User-agent: *
Disallow: /
Эта единственная строка запрещает всем поисковым роботам сканировать ВЕСЬ ваш сайт.
Решение:
- Откройте
вашдомен.ru/robots.txt. - Если вы видите
Disallow: /, немедленно удалите эту строку или замените ее на:User-agent: * Allow: / - Используйте инструмент “Проверка robots.txt” в GSC, чтобы убедиться, что главная страница и важные разделы не заблокированы.
2.2. Запрет на индексацию через метатег noindex
Этот тег является прямым указанием для Googlebot НЕ добавлять страницу в индекс.
Где искать: Внутри тега <head> вашей страницы:
<meta name="robots" content="noindex, follow">
Частые причины появления:
- CMS-настройки по умолчанию: Многие CMS (WordPress, Drupal) при установке включают опцию “Попросить поисковые системы не индексировать сайт” (это делается для стадии разработки).
- Плагины для SEO: Некорректная настройка плагинов (например, Yoast SEO или Rank Math) могла случайно установить
noindexдля всех типов страниц. - Тестирование и разработка: Разработчик забыл удалить тег
noindexпосле переноса сайта со staging-сервера.
Решение:
- Проверьте исходный код главной страницы и нескольких внутренних страниц.
- В CMS отключите настройку, запрещающую индексацию.
- Удалите метатег
noindex.
2.3. Запрет через HTTP-заголовки (X-Robots-Tag)
Иногда директива noindex передается не в HTML, а в HTTP-заголовке.
Диагностика: Используйте онлайн-инструменты для проверки HTTP-заголовков (например, WebPageTest) и ищите строку:
X-Robots-Tag: noindex
Решение: Это требует доступа к конфигурации сервера (.htaccess для Apache или конфигурационные файлы Nginx) или к настройкам CMS. Если вы обнаружили этот заголовок, попросите своего хостинг-провайдера или системного администратора удалить его.
2.4. Проблемы с каноническими URL
Канонический URL указывает, какая версия страницы является основной, если существует несколько дубликатов.
Ошибка: Страница A имеет канонический тег, указывающий на страницу B, которая не существует (404) или заблокирована.
Решение: Убедитесь, что все канонические ссылки (<link rel="canonical" href="...">) указывают на действующий, индексируемый, самодостаточный URL.
Раздел 3: Проблемы с контентом и качеством
Если технические барьеры устранены, но сайт все равно не индексируется, Google может считать его некачественным.
3.1. Тонкий или неуникальный контент (Thin Content)
Если большинство ваших страниц содержит менее 100-200 слов или является скопированным (дублированным) контентом, Google может принять решение не индексировать их.
Решение:
- Удаление или объединение: Найдите все “тонкие” страницы (например, пустые страницы категорий, технические страницы-заглушки) и либо удалите их (ответом 404/410), либо объедините их контент с более крупными, качественными страницами, используя 301-редирект.
- Повышение уникальности: Добавьте минимум 300-500 слов уникального, ценного текста на каждую страницу, которую вы хотите видеть в поиске.
3.2. Дублирование и языковые версии
Если ваш сайт доступен по HTTP и HTTPS, с www и без него, и на всех четырех версиях отображается один и тот же контент (например, http://domain.com, http://www.domain.com, https://domain.com, https://www.domain.com), Google выберет только одну версию, а остальные могут быть проигнорированы.
Решение:
- Настройте 301-редирект со всех неканонических версий на одну выбранную (например, только
https://www.domain.com). - Убедитесь, что
sitemap.xmlсодержит только эту каноническую версию.
3.3. Отсутствие внутренней перелинковки
Если на страницу нет ни одной внутренней ссылки с других страниц вашего сайта, она становится “сиротской” (orphan page). Googlebot может ее не найти, даже если она есть в sitemap.
Решение: Убедитесь, что на все важные страницы ведет хотя бы одна ссылка с главной страницы, меню или другой авторитетной страницы.
Раздел 4: Проблемы с хостингом и доступностью
Если Googlebot не может получить доступ к сайту, он не может его проиндексировать.
4.1. Проверка кодов ответа сервера
Сайт должен возвращать код 200 OK.
Проблемы с кодами:
- 4xx (например, 404 Not Found): Google не проиндексирует страницу, если считает, что она удалена.
- 5xx (500 Internal Server Error, 503 Service Unavailable): Сервер временно недоступен. Если это длится долго, Google может удалить страницы из индекса.
Решение: Используйте инструмент “Проверка URL” в GSC. Выберите “Проверить активную страницу”, чтобы увидеть, какой код ответа получает Googlebot прямо сейчас.
4.2. Блокировка по IP или геолокации
Некоторые брандмауэры (WAF) или настройки безопасности хостинга могут по ошибке блокировать IP-адреса Googlebot.
Решение: Обратитесь к хостинг-провайдеру и убедитесь, что IP-диапазоны Googlebot не находятся в черном списке.
Раздел 5: Устранение ручных санкций и спама
Если сайт был проиндексирован, но внезапно полностью исчез, это может быть связано с санкциями.
5.1. Проверка ручных мер (Manual Actions)
В GSC есть раздел “Меры, принятые вручную” (Manual Actions). Это самый серьезный вид санкций, налагаемый реальным сотрудником Google.
Если вы видите сообщение:
- Внимательно прочитайте причину санкции (например, скрытый текст, неестественные ссылки).
- Исправьте все проблемы, перечисленные в отчете.
- Отправьте запрос на пересмотр (Reconsideration Request) через GSC, подробно описав, что именно вы исправили.
5.2. Алгоритмические санкции (Core Updates)
Если сайт исчез после крупного обновления алгоритма Google (Core Update), это не “санкция”, а понижение ранга из-за качества. Такие проблемы требуют не технического исправления, а масштабного улучшения контента, E-E-A-T (экспертность, авторитетность, доверие) и пользовательского опыта.
Заключение и план действий
Если вы обнаружили и исправили техническую ошибку (например, Disallow: / в robots.txt):
- Проверьте: Убедитесь, что все изменения сохранены и доступны по указанному URL.
- Запросите повторное сканирование: В GSC в разделе “Файлы Sitemap” повторно отправьте исправленный
sitemap.xml. - Используйте “Проверка URL”: Для главной страницы и нескольких важных разделов запросите ручную индексацию через инструмент “Проверка URL” → “Запросить индексирование”.
- Ждите: Дайте роботу время на обработку изменений. В большинстве случаев исправление критических ошибок приводит к появлению сайта в индексе в течение нескольких дней.
Если сайт не появляется в поиске даже после устранения технических проблем, сосредоточьтесь на улучшении качества контента и авторитетности вашего домена.
