ดูแต่ละหัวข้อที่นี่เลย !
Toggleมีไฟล์เอกสารบางอย่างบนเว็บ ไม่อยากให้ search engine เก็บไปเลย ทำยังไงดี
เราสามารถสั่งให้ Search engine เข้าบางพื้นที่หรือไม่ให้เข้าบางพื้นที่ของ server เราได้แค่ สร้างไฟล์เพื่อบอกว่าเราอนุญาตให้เข้าตรงไหนบ้าง เป็นการป้องกันไม่ให้ search engine เข้าไปเก็บข้อมูลแล้วคนนอกสามารถค้นหาข้อมูลของเราได้ครับ
สร้าง robots.txt เพื่อกันไม่ให้ search engine เข้าโครงสร้างเว็บของเรา
วิธีการแค่สร้างไฟล์ robots.txt ขึ้นมาแล้วเอาไปไว้ที่ public_html แค่นี้เองครับ
แล้วเราจะสั่ง Search Engine อย่างไรว่า ห้ามเก็บข้อมูลของเรานะ
User-agent: * - บอกว่า search engine ใด ๆ ก็ตามที่มาถึงหน้าเว็บเรานะ ถ้ารู้ชื่อก็ระบุลงไป
Allow: /wp-admin/admin-ajax.php - อนุญาตให้เข้า Folder หรือ Directory นี้ได้
Disallow: /wp-admin/ - ไม่อนุญาตให้เข้า Folder นี้นะ
Disallow : *.pdf - ไม่อนุญาตให้เก็บไฟล์ที่นามสกุลลงท้ายด้วย PDF ทั้งหมด ในกรณีที่เรามีทิ้งไฟล์ PDF ไว้บน server
Disallow : *.xls - ไม่อนุญาตให้เก็บไฟล์ที่นามสกุลลงท้ายด้วย xls,xlsx ทั้งหมด ในกรณีที่เรามีทิ้งไฟล์ excel ไว้บน server
Disallow : *.doc - ไม่อนุญาตให้เก็บไฟล์ที่นามสกุลลงท้ายด้วย Doc, Docx ทั้งหมด ในกรณีที่เรามีทิ้งไฟล์ word ไว้บน server