Генератор robots.txt

Одна группа User-agent. Строка Allow: /путь или Disallow: /путь; правила с пустым путём игнорируются. Пустые строки пропускаются. Путь начинается с /, допускает * и один конечный $; без пробелов, управляющих символов, # и неверных процентов. Sitemap HTTP/HTTPS необязателен, без учётных данных и фрагмента. Скачайте для своего сайта. Это инструкции, не защита и не гарантия индексации.

User-agent≤1 · Allow/Disallow≤100 · /≤1024 UTF-16 · Sitemap≤1 · Ввод/Результат≤16KiB UTF-8 · ≤5s

Текст остаётся здесь

Ввод и результат только в памяти вкладки. Без отправки, хранения, аналитики, журналов, URL и истории. Очистка, смена режима или уход удаляют их. Сохраняются язык/тема/согласие.