7 способов, как проверить индексацию сайта или страницы - проверка сайта в Google

Google – один из основных источников трафика для миллионов сайтов. Если вы хотите получить трафик из Гугла, то страницы вашего сайта должны быть в индексе поисковой системы. В этой статье вы узнаете, как проверить индексацию сайта в Google, как ускорить индексацию страницы, и найдете ответы на другие частые вопросы об индексировании сайтов.

Что такое индексация сайта в поисковой системе

Сайты попадают в индекс поиска благодаря индексации – процесса, в рамках которого поисковая система сканирует Интернет, узнает о существовании определенной страницы и добавляет её в свою базу данных (индекс).

Все сайты и страницы, которые вы видите в поисковой выдаче Google, были когда-то проиндексированы. Но это не одноразовый процесс, поисковик производит регулярное сканирование Интернета с помощью ботов, при котором страницы «переиндексируются». Это позволяет формировать актуальную поисковую выдачу.

Как работает индексирование страниц в Google

Создание сайта не равносильно его индексации, то есть не равносильно попаданию в выдачу поисковика. В Интернете тысячи сайтов, которые не проиндексированы по разным причинам – из-за ошибок при создании, из-за умышленного запрета, из-за санкций со стороны поисковиков и по другим причинам.

Базовый процесс индексации работает следующим образом:

1. Создание страницы – вы создаете новую страницу в Интернете, открытую для индексации поисковиками, то есть без запрета с вашей стороны.
2. Сканирование – поисковые системы в рамках сканирования обнаруживают страницу.
3. Индексация – в ситуации, когда поисковая система считает страницу достаточно качественной, она добавляется в индекс.

Часть URL-адресов одного веб-сайта могут быть в индексе, а часть нет. Наличие одних страниц не гарантирует попадание других, это определяется индивидуально для каждой веб-страницы.

Индексация не означает, что вы получите трафик из поисковых систем. Для этого важна не только индексация, но и высокое ранжирование в поисковой выдаче, то есть попадание на первые строчки в ответах на определенные запросы. Но именно со сканирования сайта и последующей индексации всё начинается, поэтому разберемся с этим дальней.

7 способов проверки индексации страниц в Google

Одна из причин, почему нет поискового трафика – страница не попала в индекс. Чтобы узнать, была ли страница проиндексирована, существует несколько способов.

1. Проверка через поиск Google

Самый простой метод, но не всегда точный – проверка индексации через поиск Google.

Для этого не требуются специализированные инструменты, достаточно в поисковой строке указать URL-адрес, который необходимо проверить, в следующем формате – site:[https://tut-adress-vashego-sajta.ru/]. Например, для главной – site:https://mdseo.ru/:

Если вы видите запрошенное в поисковой выдаче – это значит, что адрес проиндексирован.

Этот же запрос позволит вам увидеть и общее индексирование всего веб-сайта. То есть таким запросом вы сможете решить ещё одну задачу – проверить индексацию всего проекта, а не только конкретной страницы. Поисковик отражает примерное количество URL-адресов в индексе, а также их список:

Аналогичным образом можно проверить индексацию любого внутреннего URL-адреса. Для этого вместо главной укажите точный адрес, например, site:https://mdseo.ru/linkbilding/:

Аналогичным образом можно проверить индексацию любого внутреннего URL-адреса. Для этого вместо главной укажите точный адрес, например, site:https://mdseo.ru/linkbilding/:

В отличие от первого формата, так вы сможете проверить индексацию одной конкретной страницы. Если она проиндексирована, вы увидите её в выдаче, а если страницы там нет, то значит она не попала в общий индекс.

Этот способ позволяет проверить индексирование не только собственного ресурса, но и конкурентов. Для этого необходимо скопировать любую ссылку и вставить его в поисковую строку в формате site:[URL].

Никаких ограничений по количеству запросов данным способом нет, если вы совершаете запросы вручную. Если автоматизировать запросы с помощью софта, может потребоваться заполнение CAPTCHA или использование прокси.

С помощью этого метода также можно просмотреть URL, которые были проиндексированы за определенный срок. Для этого разверните панель “Инструменты” и пункте “За всё время” выберите необходимый срок:

Так вы сможете увидеть динамику индексирования или выявить проблемы, когда свежие страницы долго не индексируются.

2. Как проверить индексацию через Google Search Console (Консоль)

Google Search Console – официальный бесплатный инструмент. Только владельцы, а также те, кому владелец предоставил доступ, могут воспользоваться данным инструментом для проверки индексирования. Поэтому метод не получится использовать для проверки конкурентов.

Если вы ранее не пользовались этим инструментом, то перед проверкой потребуется проделать следующие шаги:

• Зайти в свой аккаунт Google Search Console.
• Добавить новый ресурс:

• Подтвердить права одним из доступных способов, например, добавив тег в код.
• Дождаться актуализации данных в консоли (обычно 24-48 часов).

Если у вас уже есть проект, либо после сбора данных нового проекта, вы можете проверить информацию в разделе “Индексирование” → “Страницы”:

В отличие от публичной информации, доступной в поиске, в консоли видна история индексации и другие данные. Здесь вы получите подробный отчет о проиндексированных и не проиндексированных адресах.

Важно: данные в консоли отображаются с задержкой в 1-3 дня. Например, 26 апреля последнее обновление ряда данных от 23 апреля, а других от 24 и 25 числа.

Чтобы посмотреть данные об индексировании, выберите соответствующий раздел:

В отчете вы увидите все URL, которые попали в выдачу, а также дату последнего сканирования:

На главной отчета “Индексирование” доступны данные и по проблемным страничкам (в нижней части отчёта):

Чтобы увидеть конкретные URL адреса, необходимо кликнуть на причину. Так вы увидите все странички, которые не были проиндексированы по определенной причине:

Проверка определенной страницы

Google Search Console – максимально информативная платформа, в которой легко потеряться. Проще всего проверить конкретную веб-страницу по её URL-адресу. Для этого скопируйте адрес в верхнее поле на любой странице Консоли и нажмите “Enter” на клавиатуре:

После обработки запроса вы получите однозначный результат. Если всё в порядке, то вы увидите сообщение “URL есть в индексе Google”.

В случае, если веб-страница не проиндексирована, вы увидите подобное сообщение с дополнительной информацией:

Если нет объективных проблем, почему страничка не может попасть в индекс, то запросите её индексирование, кликнув на одноименную кнопку:

Если указанные в консоли проблемы актуальны, то перед запросом обязательно устраните проблемы.

Совет: ручной запрос индексирования – эффективный способ ускорения индексации. В течение суток вы можете воспользоваться этой функцией не более десяти раз

3. Проверка через онлайн инструменты

Существуют десятки различных онлайн инструментов, которые помогут с проверкой индексации страниц, например:

• https://pr-cy.ru/
• https://linkody.com/
• И другие

Даже в платных инструментах, как правило, есть возможность бесплатной проверки части страниц. Например, через сервис pr-cy.ru вы можете бесплатно проверить индексацию сайта и узнать примерное количество проиндексированных страниц в Яндекс и Google:

Чтобы увидеть динамику индексации, потребуется перейти на платный тариф. Подобным образом можно проверить и свой сайт, и конкурентов.

Существуют и более мощные онлайн инструменты, объединяющие в себе множество функций. Например, Serpstat позволяет не только проанализировать SEO показатели, но и проверить индексирование. Для этого зарегистрируйтесь в системе, и перейдите в отчет “Проверка индексации” в разделе “Инструменты”:

Некоторые функции Serpstat доступны для своего проекта и проектов конкурентов, но проверка индексации сайта работает только в связке с Google Search Console. То есть позволяет проверить домен лишь владельцам или тем, у кого достаточно прав для подключения Консоли:

В бесплатном тарифе Serpstat доступно до 100 бесплатных проверок. Аналогичный функционал есть и в других инструментах, например, SEMRush.

4. Проверить индексацию сайта с помощью программ

Программы постепенно уходят в прошлое, так как современные веб-решения предлагают всё то же самое и даже больше. Но некоторые решения по-прежнему актуальны, особенно для задач с большим объемом данных, когда требуется разом проверить 10 000 адресов или больше.

Одна из лучших программ для проверки индексации – Netpeak Checker:

Для работы с инструментом потребуется список URL адресов. Его можно выгрузить самостоятельно из карты сайта, если у вас настроен Sitemap.xml, либо же для автоматической выгрузки воспользуйтесь Netpeak Spider.

Помимо данных об индексации в Google, Netpeak Checker покажет информацию по другим поисковым системам, например, в Яндексе, а также дополнительные данные.

5. Проверка с помощью плагинов для Google Chrome

Помимо самостоятельного софта, решения доступны и в формате плагинов для браузера. Это удобно, так как позволяет в одном окне и увидеть сам сайт, и тут же проверить его индексацию. В каталоге расширений для Хрома доступно несколько решений:

Например – Google Search Console & Bing Webmaster Tools, позволяет удобно проверить индексацию любого адреса в Интернете, если купить платную подписку:

Другое решение – Crawl date checker for Google, позволяет увидеть прямо в браузере, когда страница была последний раз просканирована. Например:

Если данных о краулере нет, то данный URL не в индексе.

Для массовой проверки можно использовать бесплатное расширение Bulk Index Checker:

Помимо проверки, это расширение также умеет выгружать отчеты для дальнейшей работы в стороннем софте.

6. Быстрая проверка с помощью букмарклетов

Букмарклеты не требуют сложных знаний в программировании, хоть и являются небольшим скриптом на Javascript. С помощью этого решения вы можете в браузере быстро проверить любую веб-страницу в самой поисковой системе, но без необходимости вручную подставлять параметры.

Для этого сохраните на панель закладок браузера следующие скрипты:

• Весь домен – javascript:void(window.open(‘https://www.google.com/search?q=site:%27+++location.host))
• Определенный URL адрес– javascript:void(window.open(‘https://www.google.com/search?q=info:%27+++document.location.href))

Чтобы метод сработал, добавьте букмарклет в панель закладок в вашем браузере, для чего перетащите ссылку в панель:

После этого вы сможете быстро посмотреть индексирование любого веб-сайта или конкретного URL. Для этого достаточно кликнуть на букмарклет, когда вы находитесь на странице, которую необходимо проверить:

Клик на букмарклет переадресует вас на google.com для проверки домена или URL-адреса, как и в первом способе, но в этой реализации вам не потребуется составлять запрос самостоятельно.

7. Google Indexing API

Indexing API – официальный инструмент для разработчиков и всех, кто понимает в технологии API. Неофициальное название этого инструмента – Индексатор. Изначально Индексатор был создан для уведомления об удалении или появлении новых веб-страниц, а также об их обновлении, но его можно использовать и для проверки индексирования.

Суточный лимит для каждого домена – 100 обращений к API. Лимит может быть увеличен по запросу, если на вашем проекте внедрена микроразметка JobPosting и в некоторых других случаях.

Этот инструмент подойдет только для опытных пользователей, но зато позволяет отправить URL адреса на массовую проверку, минуя любые интерфейсы. Подробная инструкция, как работать с индексатором от Гугла, доступна в этой статье.

Ответы на частые вопросы по индексации сайта

Индексация в Google – тёмный лес не только для новичков. Чтобы вы быстрей разобрались во всех тонкостях, собрали ответы на частые вопросы.

Когда страница попадает в индекс Google?

Существует три основных условия, при которых страница попадает в индекс поисковика:

1. Публично открыта и не запрещена для индексации;


2. Была просканирована со стороны Гугл;


3. Достаточно качественная, чтобы отображаться в результатах поиска.

Все три условия важны. Например, если статья доступна только для авторизованных пользователей, то есть статья не открыта публично, то такой адрес не будет проиндексирован.

Сканирование не даёт гарантий попадания в индекс. Если адрес не запрещен для индексации, то основное условие – Гугл должен оценить URL достаточно полезным для попадания в базу.

Сколько требуется времени для индексации?

Процесс индексирования новых сайтов может занимать до 4 месяцев, если всё настроено корректно. Индексацию можно ускорить, если “сообщить” о появлении страницы, например, через инструмент в Консоли. В этом случае потребуется от нескольких дней до нескольких недель.

Для индексирования новых адресов на домене, который уже известен поисковику, требуется меньше времени. Стандарта не существует, но в норме новая страница появляется в выдаче примерно до 5 дней. В некоторых случаях достаточно 15-20 минут, например, для новостных ресурсов.

Почему сайт или страница не попала в индекс?

Для проектов, добавленных в Консоль, доступен подробный отчет о причинах, почему что-то не индексируется. Например:

[caption id="attachment_10506" align="alignnone" width="1431"] Пример ошибок, почему страница не попала в индекс[/caption]

Отсутствие страницы в выдаче сразу после публикации – это нормально. Если и по прошествии времени Google так и не индексирует определенную страничку, то это сигнал о возможных проблемах:

• Некорректное использование тега “canonical” для указания основной версии. Проверьте в коде, если тег задан корректно и использован верный URL адрес. Возможно, поисковик оценил страницу дублирующей из-за вашей ошибки, исключив её из индекса.


• Отсутствие URL адреса в карте сайта – проверьте наличие проблемной странички в Sitemap.xml. Помимо карты, в любой статье на вашем ресурсе, которая уже проиндексирована, добавьте минимум одну активную ссылку на URL, не попавший в индекс.


• Качество контента – поисковик добавляет в выдачу только полезный контент. Польза определяется по множеству факторов, один из основных – качество контента. Убедитесь, что веб-страница не только полезна, но и удобна для использования. Например, что контент не перекрыт другими блоками и т.д.

Это самые популярные причины, почему одна из страниц не попала в выдачу. Но проблемы могут быть более глобальными, когда поисковик не индексирует весь ресурс.

Почему Google не индексирует сайт?

Если Гугл не индексирует сайт полностью, то проблемы более глобальные. Всё перечисленное ниже может влиять и на одну конкретную страницу, но ошибки подобного уровня приводят к глобальным проблемам с индексацией:

•     Со стороны сайта установлен запрет индексировать всё или определенные страницы – через файл robots.txt в корне, мета-тег “robots” или HTTP заголовок “X-Robot-Tag”. Для поиска проблемы вы можете использовать Google Search Console или внешние инструменты, которые анализируют параметры.


• Проблемы с доступностью сервера – убедитесь, что ваш проект доступен постоянно. Если сайт недоступен во время обхода поисковым роботом, то Гугл не узнает о существовании вашего ресурса или новых страниц.


• Бан со стороны поисковой системы – любой домен может быть исключен из индекса за нарушения правил. Иногда нарушение касается не домена, а IP адреса, который на дешевом хостинге вы можете делить с доменами других клиентов. В большинстве случаев проблему можно решить, устранив причину бана.

О большинстве критичных ошибок, почему Гугл не индексирует сайт, можно узнать в Google Search Console. Обязательно добавьте домен в консоль, это поможет не только на начальном этапе индексации, но и в последствии позволит отслеживать актуальную ситуацию. Попадание проекта в выдачу не гарантирует, что так будет всегда, поэтому важно следить за ситуацией постоянно.

Совет: если у вас новый проект, то помимо добавления в Google Search Console, разместите на стороннем сайте одну или несколько активных ссылок на свой домен. Робот обходит Интернет по ссылкам, поэтому наличие активной ссылки на стороннем веб-сайте способно решить проблему с индексацией нового проекта.

Как ускорить индексацию сайта?

Корректно настроенный сайт – фундамент для быстрой индексации, поэтому ускорение начинается не во вне проекта, а на нём. Обратите внимание на следующее:

• xml – регулярно обновляется, содержит ссылки на все необходимые в индексе URL-адреса.


• Мобильная версия – у проекта есть мобильная версия или адаптивная верстка, которая корректно работает на всех девайсах.


• Скорость загрузки и стабильность работы – у сервера высокий аптайм, высокая скорость ответа и сам веб-сайт загружается быстро. Для последнего доступен официальный инструмент – Google PageSpeed Insights.


• Дубли – их либо нет вовсе, либо настроен параметр “Canonical”, который сообщает боту основную копию.


• Редиректы – перенаправление должно использоваться только там, где это уместно, а также с нужным кодом – 301, 302 и т.д.

Обратить внимание стоит и на другие параметры, которые зачастую называются техническим SEO. Часть рекомендаций доступны в Google Search Console в разделе Core Web Vitals:

[caption id="attachment_10507" align="alignnone" width="2048"] Пример отчета Core Web Vitals в Google Search Console[/caption]

Критичные ошибки (красные) необходимо устранять в максимально короткий срок. Остальные ошибки также необходимо устранять, но по мере возможностей.

Если всё настроено корректно, либо количество проблем минимальное, вы можете ускорить индексацию несколькими способами:

• Через Google Search Console – проверьте URL-адрес через основную строку вверху экрана, и, если адрес не в индексе, запросите индексирование. Повторный клик не улучшит ситуацию, на один адрес отправляйте один запрос:

[caption id="attachment_10508" align="alignnone" width="1476"] Как ускорить индексирование страницы через Google Search Console[/caption]

• С помощью Google Indexing API можно отправить запросы об индексации до 100 адресов в сутки с одного домена. Инструкция доступна по этой ссылке.


• Трафик с других источников, по которым переходит и Google-bot, также поможет ускорению. Но важно выбрать проект для размещения, который бот обходит регулярно, иначе о появлении ссылки Google-bot узнает слишком поздно. Часто переобходят новостные проекты, форумы и другие проекты, где контент часто обновляется. Ссылка должна быть “активной”, то есть по которой можно перейти кликом.


• Специальные сервисы, например Speedyindex.com, за вас сообщают Google о новой странице, что ускоряет индексирование. Большинство сервисов платные.

Что такое краулинговый бюджет и как им управлять?

На основе оценки качества, количества страниц и некоторых других факторов, формируется “Краулинговый бюджет” для вашего домена – то есть сколько ссылок с вашего домена Гуглбот обходит. По исчерпанию бюджета, проект индексируется медленней.

У каждого домена собственный краулинговый бюджет – у небольших ресурсов, которые редко обновляются, краулинговый бюджет минимальный, для качественных проектов, где новые URL-адреса появляются регулярно, бюджет существенно выше. Но даже для проектов с высоким бюджетом важно, чтобы он не расходовался впустую.

Прямой способ управлять краулинговым бюджетом доступен только через Google Index API, всё остальное имеет косвенное влияние. Но именно с косвенным влиянием необходимо тщательно поработать, чтобы бюджет не расходовался впустую. Для этого необходимо:

• Добавьте параметры Last-Modified и If-Modified-Since на страницы проекта – это сэкономит ресурсы Google, так как бот будет оповещен, что определенная страница сайта не менялась с прошлого сканирования. Это же работает и в обратную сторону – ускоряет индексирование, оповещает бота, что страница новая или изменилась недавно.


• Оптимизируйте Sitemap.xml, чтобы в карте содержались только актуальные ссылки, при обращении к которым сервер отдает корректный ответ – то есть “200”, а не “404” или иные ошибки. Также убедитесь, что в карте нет “мусора”, на который зря расходует бюджет.


• Проанализируйте проект на битые ссылки – идеально свести их на нет, либо к минимуму. На переход по каждой ссылке расходуется краулинговый бюджет, поэтому все ссылки должны быть рабочими. Для проверки доступны различные инструменты. Например, PR-CY даже на бесплатном тарифе позволяет это проверить:

[caption id="attachment_10509" align="alignnone" width="2048"] Как проверить сайт на битые ссылки[/caption]

Помимо оптимизации расхода краулингового бюджета, стоит проработать и его повышение. Один из основных методов, помимо качественной технической части – регулярное обновление проекта. Google повышает краулинговый бюджет для регулярно обновляемых сайтов. Это касается не только появления новых URL-адресов, но и обновления контента на уже существующих.

Отличается ли проверка в Google и Яндекс?

Принцип работы поисковых систем схожий, в Яндексе страницы индексируются также при обходе Интернета, вы также можете закрыть сайт от индексации и т.д. Даже способов проверить индексацию сайта столько же, но инструменты частично отличаются.

Вы можете проверить с помощью универсальных инструментов, например, PR-CY или Serpstat. Также есть аналог Консоли – Яндекс.Вебмастер, в котором вы увидите, сколько страниц в Яндексе, какие страницы выпали и т.д. В Яндекс.Вебмастере есть возможность проверить отдельные страницы, а также найти ответ, почему сайт не индексируется.

Как лучше проверить индексацию сайта в Google

Самая исчерпывающая информация, но при этом в простом и наглядном интерфейсе, доступна в бесплатном инструменте – Google Search Console. Для использования необходимо быть владельцем сайта или иметь делегированные права доступа, поэтому способ подойдет не всем.

Для быстрой проверки своего веб-сайта или проекта конкурентов, можно использовать букмарклеты, плагины или онлайн-инструменты. А если задача стоит массовая, например, проверить 10 000 уникальных адресов или больше, то помогут специальные программы или API от Google.

Одного единственного метода, который можно было бы назвать лучшим способом проверки индексирования в Гугл, не существует. Выбирайте тот способ, которым вам удобно пользоваться. А если столкнетесь с проблемами, то позаботьтесь об устранении всех технических ошибок и реализации рекомендаций из Консоли.