Давайте честно: не весь контент на вашем сайте заслуживает того, чтобы его видели потенциальные клиенты. Иногда в индекс попадает то, что там быть не должно.
Устаревшая информация
Вы провели акцию в марте, а в октябре люди все еще переходят на страницу с той акцией из поиска. Разочарованию клиентов нет предела — они-то рассчитывали на скидку 50%.
Дубли и технические страницы
Яндекс проиндексировал 20 версий одной и той же карточки товара с разными параметрами в URL. Или случайно попали в поиск страницы для тестирования. Это размывает вес вашего сайта в поисковой выдаче.
Конфиденциальная информация
Самый неприятный сценарий — когда в поиске появляются страницы с личными данными клиентов, внутренними документами или служебной перепиской. Здесь речь идет уже не просто о репутации, а о законности.
Товары и услуги, которых больше нет
Вы сняли товар с продажи полгода назад, а клиенты продолжают на него заходить из поиска и злятся, что «обманули».
Вопрос не в том, стоит ли удалять такие страницы. Вопрос — как сделать это быстро и без последствий для остального сайта?
Прежде чем что-то удалять, нужно убедиться, что страница действительно попала в поиск. Иначе вы потратите время впустую.
Самый простой способ — использовать специальный оператор в поисковой строке Яндекса:
url:вашсайт.ru/страница
Например: url:megagrupp.ru/catalog/old-product
Если страница есть в индексе, Яндекс покажет ее в результатах. Если нет — вы увидите сообщение «Ничего не найдено».
Более надежный способ — зайти в Яндекс.Вебмастер и проверить статус конкретного URL:
Здесь же вы сможете увидеть, почему страница попала или не попала в индекс, и когда робот Яндекса последний раз ее посещал.
Важный момент: не используйте оператор site: для проверки конкретной страницы. Он показывает общее количество страниц сайта в индексе, но не гарантирует, что нужная вам страница там есть или отсутствует.
Теперь переходим к главному. Чтобы страница исчезла из поиска, нужно сначала запретить ее индексирование. У вас есть несколько вариантов, и выбор зависит от ситуации.
| Метод | Скорость удаления | Когда использовать |
| robots.txt + Disallow | До 1 недели | Страница удалена с сайта |
| HTTP 404 или 403 | До 1 недели | Страница удалена, хотите стандартное решение |
| HTTP 410 | 3–5 дней | Страница удалена навсегда, нужна максимальная скорость |
| Мета-тег noindex | До 1 недели | Страница нужна пользователям, но не в поиске |
Если вы физически убрали страницу и она больше не существует на сервере, есть два основных способа:
Настройте HTTP‑статус 404 или 410. Когда робот Яндекса посетит эту страницу, сервер должен вернуть код:
В большинстве CMS удаленные страницы автоматически возвращают 404 — и этого достаточно для большинства случаев. Код 410 стоит использовать, если вы точно знаете, что страница не вернется никогда (например, товар снят с производства или услуга больше не оказывается). Если нужно настроить 410 вручную или у вас нестандартная CMS, обратитесь к разработчику или в поддержку хостинга.
Проверить, какой код возвращает страница, можно в Яндекс.Вебмастере или через любой онлайн-сервис проверки HTTP‑заголовков.
Другой вариант — закрыть страницу от робота в файле robots.txt. Для этого в корне сайта нужно прописать, например:
User-agent: Yandex
Disallow: /catalog/old-product
Это закроет роботу доступ к указанному адресу. Но есть важный нюанс: если страница уже в индексе, одной блокировки недостаточно. Дело в том, что робот сначала читает robots.txt, а только потом заходит на страницы. Увидев запрет, он просто не зайдет на страницу и не узнает, что она удалена. Поэтому страница может «зависнуть» в индексе надолго. Вот почему robots.txt лучше использовать вместе с HTTP‑кодами 404/410 или после удаления через Вебмастер.
Совет: используйте инструмент «Анализ robots.txt» в Яндекс.Вебмастере, чтобы проверить корректность ваших указаний.
Иногда страница нужна пользователям (например, форма заказа или личный кабинет), но в поисковой выдаче ей не место.
Добавьте мета-тег noindex. Откройте HTML-код страницы и вставьте в секцию <head> следующий тег:
html
<meta name="robots" content="noindex«>
Это прямое указание Яндексу не включать страницу в индекс. При очередном обходе робот обнаружит директиву и исключит страницу из поиска..
Критично важно: не закрывайте такие страницы в robots.txt! Робот должен зайти на страницу, чтобы увидеть тег noindex. Если вы закроете доступ в robots.txt, он просто не узнает о вашем указании.
После того как вы установили запрет на индексацию, переходим ко второму шагу — ускорению удаления.
Робот Яндекса обходит сайты по расписанию. Если ждать планового обхода, страница может оставаться в выдаче неделями. Но есть способ ускорить процесс в разы.
Если вы уже подтвердили права на управление сайтом (а это обязательно нужно сделать каждому владельцу бизнеса), процесс предельно прост:
Яндекс позволяет удалять до 500 адресов одного сайта в сутки. Этого более чем достаточно для большинства задач.
Если по какой-то причине вы еще не добавили сайт в Яндекс.Вебмастер (хотя это нужно исправить прямо сейчас), есть упрощенный вариант с ограниченным функционалом:
В этом случае вы сможете удалять страницы последовательно, одну за другой. Но возможностей меньше, чем у подтвержденных владельцев.
После отправки запроса вы можете следить за изменениями в разделе «Инструменты» → «Удаление страниц из поиска»:
Если статус «Отклонено», вернитесь к первому шагу и проверьте настройки robots.txt, мета-тегов и HTTP‑кодов.
А что делать, если нужно удалить не одну страницу, а целый раздел сайта? Например, старый каталог или все страницы с определенным параметром в URL?
Яндекс предусмотрел такую возможность. В том же инструменте «Удаление страниц из поиска» вы можете указать префикс — начало адреса, и все страницы, которые начинаются с этого адреса, будут удалены. Примеры:
Чтобы удалить весь сайт:
https://ваш-сайт.ru/
Чтобы удалить раздел каталога:
https://ваш-сайт.ru/catalog/old-section/
Чтобы удалить все страницы с параметрами:
https://ваш-сайт.ru/page?
Обязательное условие: эти же ограничения должны быть продублированы в файле robots.txt, иначе команда не сработает.
Например, для удаления раздела добавьте в robots.txt:
User-agent: Yandex
Disallow: /catalog/old-section/
Через несколько часов после использования инструмента указанные страницы должны исчезнуть из поиска.
Если захотите вернуть страницы в поиск, уберите запрет из robots.txt и отправьте их на переобход в Вебмастере. Они снова появятся в выдаче через 1–3 недели.
Иногда стандартные методы не подходят, и нужны альтернативные решения. Вот несколько рабочих вариантов.
Если страница переехала на новый адрес, настройте постоянный редирект 301. Это дает два преимущества:
Важно: направляйте редирект на тематически близкую страницу. Например, если удалили карточку товара — сделайте редирект на категорию этого товара или аналогичный продукт. Редирект на главную страницу бесполезен: пользователь не найдет то, что искал, а поисковик может расценить это как попытку манипуляции.
В большинстве CMS (WordPress, 1С-Битрикс, Tilda и др.) настройка редиректа проводится через встроенные инструменты или плагины. На сайтах Мегагрупп редиректы можно настроить в панели управления — об этом есть отдельная инструкция. Если доступ к настройкам ограничен — поможет разработчик или поддержка хостинга.
Если нужно скрыть целый раздел сайта от посторонних глаз (например, базу знаний для сотрудников или тестовую версию), установите на него парольную защиту.
Как это делается:
После установки пароля поисковый робот не сможет войти, и страницы постепенно исчезнут из поиска.
Закрываете сайт на реконструкцию? Установите на все страницы HTTP‑статус 503 (Service Unavailable). Это сообщит Яндексу, что сайт временно недоступен, но не будет удален из индекса полностью.
Как установить:
Если же сайт закрывается навсегда, лучше использовать код 410 — так индекс очистится быстрее.
Во многих системах управления и конструкторах сайтов есть готовая опция «Не индексировать». При ее активации система автоматически добавляет на страницу мета-тег noindex, и поисковик исключает ее из выдачи.
В Мегагрупп эта функция доступна прямо в разделе метаданных страницы. Вы можете выставить нужный вариант индексации одним кликом, без правок в коде.
Однако это не универсально: на некоторых платформах такой функции может не быть, и тогда нужен плагин или ручное вмешательство.
За годы работы я видел десятки случаев, когда владельцы сайтов пытались удалить страницы из поиска, но делали это неправильно. Результат — потерянное время, страницы остаются в выдаче, а проблема только усугубляется.
Многие путают эти два атрибута. Nofollow запрещает передачу ссылочного веса, но никак не влияет на индексацию. Страница останется в поиске.
Правильно: используйте мета-тег <meta name="robots" content="noindex«>, если хотите исключить страницу из индекса.
Логика кажется понятной: закрыл страницу в robots.txt — она исчезнет из поиска. Но на деле все наоборот. Если страница уже в индексе, запрет в robots.txt помешает роботу зайти на нее и увидеть изменения (тот же noindex или код 410).
Правильно: сначала убедитесь, что на странице установлен noindex или HTTP‑код 404/410. Затем отправьте запрос на удаление через Вебмастер. И только после этого можно добавить Disallow в robots.txt.
Canonical-тег показывает поисковикам, какая из похожих страниц является основной. Но он не удаляет дубли из индекса — просто указывает приоритет.
Правильно: для удаления дублей используйте noindex или HTTP‑коды 404/410.
Вы удалили страницу, настроили все коды, отправили запрос в Вебмастер... а страница все равно остается в индексе. Почему? Потому что на нее до сих пор ведут ссылки из меню, футера или других разделов сайта.
Правильно: перед удалением проверьте, нет ли на сайте ссылок на эту страницу. Удалите их или замените на актуальные адреса.
При использовании инструмента в Вебмастере — от нескольких часов до 3–5 дней. Без него — до 2–3 недель, в зависимости от частоты обхода сайта роботом.
Да. Уберите запрет на индексацию (Disallow из robots.txt или noindex из кода), и отправьте страницу на переобход через Вебмастер. Через 1–3 недели она снова появится в выдаче.
Проверьте три момента:
Если все настроено верно, но страница так и не удаляется, попробуйте отправить запрос повторно или обратитесь в поддержку Яндекс.Вебмастера.
Да, обязательно. Если страница есть в карте сайта, робот продолжит считать ее важной и регулярно заходить на нее. Удалите адрес из sitemap и отправьте обновленную карту через Вебмастер.
Удаление ненужных страниц из Яндекса — процесс несложный, если действовать по алгоритму:
✅ Проверьте индексацию через оператор url: или в разделе «Страницы в поиске» Вебмастера
✅ Запретите индексацию нужным способом:
✅ Ускорьте удаление через инструмент «Удаление страниц из поиска» в Вебмастере
✅ Уберите внутренние ссылки на удаляемые страницы
✅ Удалите адреса из sitemap.xml
✅ Отследите статус в разделе «Удаление страниц»
Чистый индекс — это не перфекционизм, а забота о клиентах и имидже вашей компании.. Потратьте пару часов на наведение порядка сегодня, чтобы не терять клиентов завтра из-за устаревших страниц в выдаче.
Если у вас остались вопросы по настройке или вам нужна помощь с техническим аудитом сайта — команда Мегагрупп всегда готова помочь разобраться с любыми задачами по управлению индексацией и продвижению.