robots.txt جنریٹر

ایک User-agent گروپ۔ سطر Allow: /راستہ یا Disallow: /راستہ؛ خالی راستے کا قاعدہ نظرانداز۔ خالی سطر نظرانداز۔ راستہ / سے شروع، * اور آخری ایک $ منظور؛ خلا، کنٹرول، # اور غلط فیصد مسترد۔ اختیاری Sitemap HTTP/HTTPS بغیر شناخت یا فریگمنٹ۔ اپنی سائٹ کے لیے ڈاؤن لوڈ۔ یہ کرالر ہدایات ہیں، حفاظت یا انڈیکس کی ضمانت نہیں۔

User-agent≤1 · Allow/Disallow≤100 · /≤1024 UTF-16 · Sitemap≤1 · اندراج/نتیجہ≤16KiB UTF-8 · ≤5s

متن یہیں رہتا ہے

اندراج اور نتیجہ اسی ٹیب کی میموری میں ہیں۔ اپ لوڈ، ذخیرہ، تجزیہ، لاگ، URL یا تاریخ نہیں۔ صاف کرنے، موڈ بدلنے یا جانے پر ختم۔ زبان/تھیم/رضامندی محفوظ ہو سکتے ہیں۔