robots.txt生成器

一个User-agent组；每行Allow: /路径或Disallow: /路径。空路径规则忽略，空行忽略。路径以/开头，允许*和末尾一个$；拒绝空白、控制字符、#和无效百分号。可选Sitemap为无凭据或片段的HTTP/HTTPS地址。下载后用于自己的网站。这是抓取指令，不保护访问，也不保证索引。

User-agent≤1 · Allow/Disallow≤100 · /≤1024 UTF-16 · Sitemap≤1 · 输入/结果≤16KiB UTF-8 · ≤5s

文本只留在此处

输入和结果仅在本标签页内存中，无上传、浏览器存储、分析、日志、URL或历史数据。清空、切换或离开即移除；仅可保存语言、主题和同意选择。