เครื่องมือสร้างไฟล์ robots.txt

เทมเพลตเริ่มต้นที่พบบ่อย

อนุญาตทุกอย่าง (เว็บไซต์ส่วนใหญ่):

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

บล็อก staging / ผู้ดูแลระบบ:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?session=
Sitemap: https://example.com/sitemap.xml

บล็อกครอว์เลอร์ฝึก AI และอนุญาตเครื่องมือค้นหา:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

user-agent ที่ควรรู้จัก

บอทฝึก AI ใช้แนวทางเลือกไม่เข้าร่วมตามธรรมเนียม ไม่ใช่ข้อกำหนดทางกฎหมาย ผู้ให้บริการที่มีเจตนาดีจะปฏิบัติตามคำสั่งเหล่านี้ ส่วนผู้ที่ขาดความเคร่งครัดจะไม่ทำตาม

กฎการจับคู่เส้นทาง

• เส้นทางเป็นแบบสัมพัทธ์กับรากของโดเมนและเริ่มด้วย /
• * จับคู่กับอักขระใดก็ได้ Disallow: /*.pdf$ บล็อกไฟล์ PDF ทั้งหมด
• $ ยึดกับส่วนท้ายของ URL Disallow: /*/trash$ บล็อก /foo/trash แต่ไม่บล็อก /foo/trashes/...
• การจับคู่ที่ยาวที่สุดชนะ Allow: /admin/public/ แทนที่ Disallow: /admin/ สำหรับเส้นทางย่อยนั้น
• เส้นทางแยกแยะตัวพิมพ์ใหญ่-เล็ก

สิ่งที่ robots.txt ทำไม่ได้

• ลบหน้าออกจาก Google ใช้เมตาแท็ก noindex บนหน้านั้นเอง
• ปกป้อง URL จากมนุษย์ robots.txt เป็นสาธารณะ และเป็นเพียงคำแนะนำสำหรับบอทที่ปฏิบัติตาม
• จำกัดอัตราการเข้าถึงของ Googlebot Google เพิกเฉยต่อ Crawl-delay ให้ใช้ Search Console
• บล็อกบอทที่เพิกเฉยต่อ robots.txt เครื่องมือดึงข้อมูลสแปมไม่อ่านไฟล์นี้

รายการตรวจสอบการนำไปใช้

1. วางที่ https://yourdomain.com/robots.txt ที่รากเท่านั้น
2. เสิร์ฟด้วย Content-Type: text/plain (เซิร์ฟเวอร์ส่วนใหญ่ทำให้อัตโนมัติ)
3. ขนาด: น้อยกว่า 500 KB Google จะตัดไฟล์ที่ใหญ่กว่านี้
4. หลังการนำไปใช้ ให้ตรวจสอบไฟล์ที่ดึงมาในเครื่องมือ robots.txt Tester ของ Google Search Console
5. เมื่อลบ Disallow โปรดทราบว่าการยกเลิกการจัดทำดัชนีอาจใช้เวลาหลายสัปดาห์