วิธี Block Search Engine RoBots

Search-Spider-4

เว็บไซต์ล่ม เป็นปัญหาที่ชวนปวดหัวเป็นอย่างมากสำหรับผู้ดูแลเว็บไซต์ (webmaster) นอกจากจะส่งผลต่อธุรกิจยังส่งผลต่อความน่าเชื่อถืออีกด้วย หนึ่งในสาเหตุของการที่เว็บไซต์ล่ม คือ ผลจากการที่โดย Search Engine Robot จำนวนมาก ดึงข้อมูลพร้อมกัน ทำให้ Web Hosting หรือ Web Server ไม่สามารถรองรับ Load ปริมาณดังกล่าวได้ เว็บไซต์จึงดับไป

download

Robot หรือ Search Crawler คือ โปรแกรมประเภทหนึ่ง ที่มีวัตถุประสงค์เพื่อทำการเก็บข้อมูลในเว็บไซต์ ที่เราคุ้นเคยกันดี ก็คือ Google Searcg Robots ที่เข้ามาเก็บข้อมูลในเว็บไซต์เราเพื่อนำไปทำ Index สำหรับการแสดงผลการค้นหา

Search-Spider-3

ปกติแล้ว Search Robots จะถูกพัฒนาขึ้นโดยการกำหนดเงื่อนไขเริ่มต้น ต้องได้สิทธิในการเข้าถึงเว็บไซต์ จากเจ้าของซะก่อน ซึ่งรายละเอียดการกำหนดสิทธิ เจ้าของเว็บไซต์จะกำหนดไว้ในไฟล์ที่ชื่อว่า robots.txt เป็นมาตรฐานที่เว็บมาสเตอร์ทุกคนต้องทราบ ทุกเว็บไซต์ควรมีไฟล์ robots.txt ตัวอย่างของไฟล์ Robots.txt

แต่มันมีกรณียกเว้น การกำหนดสิทธิในไฟล์ Robots.txt สามารถใช้ออกคำสั่งได้เฉพาะ Robot ที่ปฏิบัติตามคำสั่งเท่านั้นRobots บางตัวที่ถูกสร้างมาโดยที่ไม่ได้กำหนดให้สนใจ Robots.txt (Spamer RoBot or BadBots)

ทำให้โรบอททำการเก็บข้อมูลปริมาณเยอะเกินไป วิธีอื่นในการจัดการ คือ กำหนดสิทธิใน ไฟล์ .htaccess ของเว็บไซต์ ไฟล์ .htaccess ใน wordpress อยู่ที่ Root Folder โดยกดให้ระบบทำการแสดงไฟล์ที่ซ่อนไว้ถึงจะมองเห็น ไฟล์ .htaccess จากนั้นทำการเปิดไฟล์แล้ว ทำการ Copy Code ด้านล่างไปใส่ แล้ว Save

กรณีใน Root Folder ไ่ม่มีไฟล์ .htaccess ก็สามารถสร้างเองได้เลยครับ โดยเปิด Notepad ที่คอมพิวเตอร์ของคุณขึ้นมา จากนั้นใส่ใน Notepad แล้ว Save ใส่ชื่อเป็น .htaccess

ปล. (Code ของพี่ต่อ Tdelpi Admin ของ Thaiseo โพสแชร์ในบอร์ด ขอบคุณพี่ต่อด้วยครับ)

Search-Spider-2

เนื้อหาอื่นๆ ที่เกี่ยวข้องกัน ^___^

วิธีเลือก WordPress Theme แบบที่ Google ชอบ
ในการทำอันดับบน Google องค์ประกอบด้าน SEO ถูกแบ่งออกเป็น 2 ส่วน คือ Onpage และ Off-Page ซึ่งในส่วนของ Onpage นั้นมีน้ำหนัก 40% ของปัจจัยที่ส่งผลต่ออันดับ...

วิธีทำ SEO ให้ WordPress เว็บไซต์
สำหรับผม Wordpress เป็น CMS ที่ใช้ "ทำเว็บไซต์" ง่ายที่สุดแล้ว ด้วยฟีเจอร์มากมายที่ช่วยอำนวยความสะดวกในการทำงาน แต่สำหรับคนทำ...

shopping season ช่วงปลายปี กำลังจะมาอีกแล้ว
คนทำ Affiliate หลายๆ คน คงกำลังเตรียมตัวต้อนรับช่วง Shopping Season ที่กำลังจะมาถึงในปี 2012 ถ้าเคยมีประสบการมาก่อน จะรู้เลยว่า...

วิธีจับเว็บสแปม Algorithm กรอง Web Spam ของ Bing
บทความนี้สรุปเนื้อหามาจากบทความใน Bing Blog ชื่อว่า Web Spam Filtering เขียนโดย Igor Rondel ตำแหน่ง Principal Development Manager ของบิงครับ โดยเนื้อหาของบทความนี้เกี่ยวกับเรื่อง...