วิธี Block Search Engine RoBots

Search-Spider-3 เว็บไซต์ล่ม เป็นปัญหาที่ชวนปวดหัวเป็นอย่างมากสำหรับผู้ดูแลเว็บไซต์ (webmaster) นอกจากจะส่งผลต่อธุรกิจยังส่งผลต่อความน่าเชื่อถืออีกด้วย หนึ่งในสาเหตุของการที่เว็บไซต์ล่ม คือ ผลจากการที่โดย Search Engine Robot จำนวนมาก ดึงข้อมูลพร้อมกัน ทำให้ Web Hosting หรือ Web Server ไม่สามารถรองรับ Load ปริมาณดังกล่าวได้ เว็บไซต์จึงดับไป Robot หรือ Search Crawler คือ โปรแกรมประเภทหนึ่ง ที่มีวัตถุประสงค์เพื่อทำการเก็บข้อมูลในเว็บไซต์ ที่เราคุ้นเคยกันดี ก็คือ Google Searcg Robots ที่เข้ามาเก็