Как запретить индексировать сайт всем поисковым системам

Чтобы полностью запретить индексирование сайта всеми поисковыми системами, есть несколько способов — лучше использовать сразу несколько, чтобы повысить надежность.

🔒 1. Через файл robots.txt (базовый способ)

Создай или отредактируй файл robots.txt в корне сайта:

User-agent: *
Disallow: /

📌 Это говорит всем поисковым роботам: не индексировать ни одну страницу сайта.

👉 Но важно: это рекомендация, а не строгий запрет. Некоторые боты могут игнорировать.

🚫 2. Через мета-тег (более надежно)

Добавь в <head> каждой страницы:

<meta name=«robots» content=«noindex, nofollow»>

📌 Это уже прямой сигнал:

  • noindex — не добавлять страницу в индекс

  • nofollow — не переходить по ссылкам

🧠 3. Через HTTP-заголовок (самый надежный способ)

Если есть доступ к серверу, добавь заголовок:

X-Robots-Tag: noindex, nofollow

Примеры:

Apache (.htaccess)

Header set X-Robots-Tag «noindex, nofollow»

Nginx

add_header X-Robots-Tag «noindex, nofollow»;

🔐 4. Закрыть сайт паролем (100% защита)

Самый надежный способ — сделать сайт недоступным без авторизации:

  • HTTP Basic Auth

  • или через CMS

👉 Тогда поисковики просто не смогут зайти на сайт вообще.

⚠️ Важные нюансы

  • Если сайт уже проиндексирован, сначала добавь noindex, а потом жди удаления из выдачи

  • robots.txt не удаляет уже проиндексированные страницы

  • Для быстрого удаления можно использовать:

    • Google Search Console

    • Bing Webmaster Tools

✅ Лучший вариант (рекомендуется)

Используй комбинацию:

  • robots.txt

  • <meta name="robots" content="noindex">

    • при возможности X-Robots-Tag

Если хочешь — скажи, какой у тебя сайт (WordPress, чистый HTML, фреймворк и т.д.), и я дам точные инструкции под твою ситуацию 👍

WordPress

Для WordPress всё делается довольно просто — есть встроенные настройки + можно усилить их вручную.

✅ 1. Самый простой способ (через настройки WordPress)

Перейди в админке:

Настройки → Чтение

Поставь галочку:

❗ «Попросить поисковые системы не индексировать сайт»

📌 WordPress автоматически:

  • добавит noindex

  • обновит robots.txt

👉 Это базовый и быстрый способ, но не всегда 100% надежный.

🔒 2. Усилить через SEO-плагин (рекомендуется)

Если используешь:

  • Yoast SEO

  • Rank Math

Там можно:

  • задать noindex для всего сайта или отдельных страниц

  • контролировать индексацию более гибко

📌 Например в Yoast:
SEO → Настройки → Внешний вид поиска → Общие → noindex

🚫 3. Принудительно через header (надежнее всего)

Добавь в файл functions.php темы:

add_action(‘send_headers’, function() {
header(‘X-Robots-Tag: noindex, nofollow’, true);
});

📌 Это заставит поисковики точно не индексировать сайт.

🔐 4. Закрыть сайт паролем (лучший вариант для разработки)

Если сайт ещё не готов:

Через хостинг

  • включи password protection (Basic Auth)

или через плагины:

  • Password Protected

  • Coming Soon Page & Maintenance Mode

👉 Это самый надежный способ — боты вообще не попадут на сайт.

⚠️ Важно

  • Если сайт уже в поиске → noindex удалит его не сразу

  • robots.txt один не поможет

  • Кэш (например Cloudflare) может мешать — очисти его

💡 Рекомендуемая комбинация

Для WordPress лучше сделать так:

  1. ✔ Галочка в настройках

  2. ✔ noindex через SEO-плагин

  3. ✔ (опционально) пароль на сайт