Причины для удаления информации из поиска
Цель поисковой системы – предложить интернет-пользователю наиболее релевантные сведения по интересующей его проблеме. Цель собственника веб-ресурса – привлечь на сайт наибольшее число посетителей, за счет улучшения позиций сайта в поисковой выдаче. По этой причине страницы, не несущие ценной информации, лучше закрыть от индексации.
Причин для удаления отдельных частей ресурса из поиска существует всего две:
1. Некорректное распоряжение краулинговым бюджетом. Под бюджетом такого типа подразумевают конкретное число страниц ресурса, регулярно сканируемое поисковыми роботами. Это количество может различаться для разных сайтов, в зависимости от частоты новых публикаций и его типа. Чтобы краулет активнее заходил в разделы с нужной информацией, важно скрыть от него вторичные по значению сведения.
2. Данные, представленные на странице, не несут пользы для посетителей. Это же правило относится к недостоверной информации. В качестве примеров можно привести разделы с персональными данными, административные и технические блоки, фильтры каталога и другие.
Какие страницы следует спрятать
Существует несколько типов страниц, которые не следует оставлять в зоне видимости поисковых роботов. К ним относятся:
1. Копии сайта, которые служат для организации непрерывной доступности ресурса для пользователей. Важно корректно оповестить поисковую систему при помощи атрибута rel= "canonical" либо 301 редиректов о наличии копии. При этом не следует скрывать от роботов основную площадку, чтобы сохранить ее позиции, возраст и значимость.
2. Участки на этапе разработки. Если платформа еще не готова для полноценного запуска, не следует оставлять ее открытой. Рекомендуется допускать поисковые роботы только на оптимизированные и наполненные полезными данными страницы, которые могут появиться в выдаче по конкретным запросам. Если ресурс размещен на тестовом сервере, следует использовать пароль, мета тегов noindex/nofollow, а также robots.txt для ограничения доступа. При помощи добавления нескольких строк появляется возможность спрятать отдельные URL сайта от всех поисковых роботов.
3. Бесполезные документы. Помимо основной информации на сайте можно встретить доступные для загрузки или изучения документы в форматах XLS, PDF, DOC. Нередко они попадают в результаты поисковой выдачи по определенным запросам, однако могут не соответствовать потребностям целевой группы.
4. Пользовательские элементы и формы. Такие страницы необходимы для взаимодействия с посетителями, однако не несут серьезной смысловой нагрузки для роботов поисковиков. К ним относятся личный кабинет, формы обратной связи, регистрации и заказа, корзина. По этой причине важно закрыть от индексации страницы такого типа.
5. Страницы печати. Для пользователей такие разделы необходимы, поскольку позволяют вывести информацию на печать в удобном виде: данных о продукции, географической карты или статьи. В информационном плане это копия базовой станицы, поэтому важно скрыть ее от поисковых систем. Процедуру можно выполнить при помощи роботс, путем полного запрета на индексацию, а также
6. Личные сведения пользователей. Они включают, как фамилию, имя, отчеством зарегистрированных посетителей, так и платежную информацию и необходимые для связи контактные данные. Это стандартный набор сведений, необходимый для оформления заказа или регистрации. Важно защитить ее не только от посторонних лиц, но и от поисковых роботов.
7. Техническая информация. Она предназначена для административного использования. Это может быть форма авторизации, предоставляющая доступ для управления.
8. Страницы пагинации. Вопрос, как закрыть страницы пагинации от индексации, не совсем рационально сформулирован. Для них достаточно использовать rel="next",rel="prev" и rel="canonical". Кроме того важно обозначить параметры, влияющие на отдельные части сайта, в одноименном блоке.
9. Блоки сортировки могут напоминать друг друга из-за схожести структурных элементов. Для уменьшения риска возникновения санкций за размещение идентичной информации, следует прятать ее от поисковых систем.
Способы маскировки страниц
Существует несколько таких способов:
1. Использование атрибута «noindex». Если добавить его в код html конкретной страницы, он позволит скрыть содержимое из видимости. Поисковая система не будет выводить информационные блоки с таким описанием в выдачу.
Данные <metaname="robots" content="noindex, follow включают в соответствующий заголовок <head>. Так машины поисковой системы могут использовать ссылки, опубликованные на этой странице. При необходимости скрыть страницу полностью, следует применить nofollow вместо follow.
2. Запрет на доступ поисковым машинам Google. Это можно сделать путем публикации соответствующего метатега в заголовках каждой части сайта:<metaname="googlebot" content="noindex, nofollow"/>.Другой способ – запрет при помощи robots.
3. Файл robots.txt. Используя свежую версию документа, можно сообщить системам об отсутствии необходимости индексации ресурса либо спрятать часть страниц от поисковых роботов. Закрыть страницу от индексации в robots txt можно при помощи следующих действий:User-agent: * #назв.пс Disallow: /catalog/ #полн. или сокр. URL стр. Чтобы данный вариант подействовал, следует изменить ведущие на ресурс внутренние ссылки, а также проверить наличие внешних.
4. Документ .htacces. При помощи файла конфигурации и пароля можно установить ограничение на доступ к ресурсу. Для этого потребуется добавить в файл .htpasswd имена пользователей, для которых доступ к частям сайта будет открыт. После этого, при помощи кода в документе .htaccess обозначить указание к местоположению паролей.
5. Использование сервисов веб-мастеров для удаления ссылок. Исключить конкретную страницу из поисковой выдачи не сложно в Google Search Console при помощи указания формата ссылки и уточнения причины такого действия.Процесс допустимо реализовать через «Индекс Google», однако реализация потребует времени.
К причинам закрытия страниц от индексации относится неэффективное распоряжение краулинговыми средствами и размещение сведений, не несущих пользы для посетителей сайта. Скрыть от поисковых роботов важно страницы следующего формата: копии, пользовательские страницы, личные данные пользователей, страницы печати, разделы на этапе разработки, страницы сортировки, пагинации и технические сведения. Каждый из представленных типов страниц можно полностью либо частично скрыть от поисковых машин при помощи добавления соответствующих строк кодов в указанные файлы.