เครื่องมือสร้าง robots.txt
สร้างไฟล์ robots.txt ที่ถูกต้องได้โดยไม่ต้องจำไวยากรณ์ เลือกเทมเพลตสำเร็จรูป — อนุญาตทั้งหมด บล็อกทั้งหมด หรือบล็อกหน้าแอดมินทั่วไป — จากนั้นเพิ่มกลุ่ม user-agent พร้อมกฎ Allow และ Disallow ของแต่ละกลุ่ม กำหนด crawl-delay และใส่ URL ของ sitemap ได้ ไฟล์จะถูกสร้างสดขณะที่คุณพิมพ์ พร้อมคัดลอกหรือดาวน์โหลด ทุกอย่างทำงานในเบราว์เซอร์ ข้อมูลของคุณไม่ถูกส่งขึ้นเซิร์ฟเวอร์
เทมเพลตสำเร็จรูป
กลุ่ม User-agent
เริ่มจากเทมเพลตแล้วปรับกฎด้านล่างได้ตามต้องการ การเลือกเทมเพลตจะแทนที่กลุ่มที่มีอยู่
ใส่ URL แบบเต็มหนึ่งรายการต่อบรรทัด มีผลกับทุกบอทไม่ว่าจะตั้งกลุ่มใดไว้ด้านบน
ไฟล์ robots.txt ที่สร้างขึ้น
บันทึกเป็นไฟล์ robots.txt ไว้ที่รากของเว็บไซต์ เช่น https://example.com/robots.txt
วิธีใช้งาน
- เลือกเทมเพลต หรือเริ่มจากกลุ่ม "อนุญาตทั้งหมด" ที่ตั้งไว้ให้
- กำหนด user-agent (ใช้ * สำหรับทุกบอท หรือระบุชื่อ เช่น Googlebot)
- ใส่เส้นทาง Disallow เพื่อบล็อก และ Allow เพื่ออนุญาต หนึ่งบรรทัดต่อหนึ่งเส้นทาง
- กำหนด crawl-delay และใส่ URL ของ sitemap ได้ตามต้องการ
- คัดลอกหรือดาวน์โหลด robots.txt แล้วนำไปวางไว้ที่รากของเว็บไซต์
ฟีเจอร์เด่น
- เทมเพลตสำเร็จรูป: อนุญาตทั้งหมด บล็อกทั้งหมด และบล็อกหน้าแอดมิน
- รองรับหลายกลุ่ม user-agent แต่ละกลุ่มมีกฎ Allow และ Disallow ของตัวเอง
- กำหนด Crawl-delay และใส่ Sitemap ได้หลายรายการ
- แสดงตัวอย่างสด สร้าง robots.txt ที่ถูกต้องขณะพิมพ์
- คัดลอกและดาวน์โหลดได้ในคลิกเดียว บันทึกไปที่รากเว็บได้ทันที
- ทำงานในเบราว์เซอร์ 100% ข้อมูลไม่ออกจากเครื่องของคุณ
คำถามที่พบบ่อย
ไฟล์ robots.txt คืออะไร?
robots.txt คือไฟล์ข้อความที่วางไว้ที่รากของเว็บไซต์ เพื่อบอกบอทของเครื่องมือค้นหาว่าเข้าถึง URL ใดได้หรือไม่ได้ ใช้คำสั่ง User-agent, Disallow และ Allow พร้อมบรรทัด Crawl-delay และ Sitemap ที่ไม่บังคับ
ต้องวางไฟล์ robots.txt ไว้ที่ไหน?
ต้องวางไว้ที่รากของโดเมน เข้าถึงได้ที่ https://example.com/robots.txt หากวางไว้ในโฟลเดอร์ย่อยจะไม่ถูกใช้งาน ให้ดาวน์โหลดไฟล์ที่สร้างที่นี่แล้วอัปโหลดไปที่รากเว็บ
robots.txt ป้องกันไม่ให้หน้าถูกจัดทำดัชนีได้ไหม?
ไม่ได้ Disallow บล็อกแค่การเก็บข้อมูล แต่ URL ที่ถูกบล็อกยังอาจปรากฏในผลค้นหาได้หากมีหน้าอื่นลิงก์มา หากต้องการไม่ให้ติดดัชนี ให้ปล่อยให้เก็บข้อมูลได้แล้วใช้ meta noindex หรือ X-Robots-Tag แทน
จะบล็อกทุกบอทจากทั้งเว็บไซต์อย่างไร?
ใช้กลุ่มเดียวที่ตั้ง User-agent: * และ Disallow: / ซึ่งเทมเพลต "บล็อกทั้งหมด" ทำให้อัตโนมัติ หากต้องการอนุญาตทั้งหมด ให้เว้น Disallow ว่างไว้ตามเทมเพลต "อนุญาตทั้งหมด"
ควรใส่ sitemap ใน robots.txt ไหม?
ควรใส่ การเพิ่มบรรทัด Sitemap: พร้อม URL แบบเต็มช่วยให้บอทค้นพบ sitemap ของคุณ โดยมีผลกับทุกบอทไม่ว่าจะตั้งกลุ่ม user-agent ใดไว้ จึงควรใส่ sitemap ทุกไฟล์ที่คุณเผยแพร่