Tạo robots.txt

Một nhóm User-agent. Dòng Allow: /đường-dẫn hoặc Disallow: /đường-dẫn; bỏ quy tắc đường dẫn trống. Bỏ dòng trống. Bắt đầu /, cho * và một $ cuối; không khoảng trắng, điều khiển, # hoặc phần trăm sai. Sitemap tùy chọn HTTP/HTTPS không thông tin đăng nhập/phân đoạn. Tải cho trang của bạn. Đây là chỉ dẫn, không bảo vệ truy cập hay đảm bảo lập chỉ mục.

User-agent≤1 · Allow/Disallow≤100 · /≤1024 UTF-16 · Sitemap≤1 · Đầu vào/Kết quả≤16KiB UTF-8 · ≤5s

Văn bản ở lại đây

Đầu vào/kết quả ở trong bộ nhớ tab. Không tải lên, lưu, phân tích, nhật ký, URL hay lịch sử. Xóa, đổi chế độ hoặc rời sẽ loại bỏ. Chỉ lưu ngôn ngữ/chủ đề/lựa chọn đồng ý.