Словник
robots.txt
Текстовий файл у корені сайту з правилами для пошукових роботів: що можна, а що не слід сканувати.
Файл керує скануванням, але не гарантує, що закрита сторінка не потрапить в індекс: якщо на неї ведуть посилання, адреса може з’явитися у видачі без опису. Щоб прибрати сторінку з пошуку, використовуйте мета-тег noindex.
Помилка в одному рядку robots.txt може закрити від сканування весь сайт, тому змінюйте його обережно й перевіряйте після кожної правки.