เสิร์ชเอนจิ้นคงจัดทำอินเด็กช์ของตัวเองไม่ได้ถ้าไม่มีการเข้าไปเก็บข้อมูลจากเว็บไซต์ทั่วโลกสิ่งที่มีหน้าที่เข้าไปเก็บข้อมูลในเว็บไซต์ต่างๆ เป็นโปรแกรมคอมพิวเตอร์ที่เรียกกันว่า เสิร์ชเอนจิ้นบอต หรือเรียกย่อๆว่า บอต ตามแต่จะเรียก แต่ถ้าพูดถึงกันเฉพาะ Google แล้วละก็ โปรแกรมที่ Google ส่งออกไปเก็บข้อมูลจากเว็บไซต์ในโลกออนไลน์จะมีชื่อเรียกเฉพาะว่า Googlebot
บอตของเสิร์ชเอนจิ้นไม่ได้มีแค่ประเภทเดียว แต่สามารถแยกได้หลายประเภทตามรูปแบบของการทำงาน แต่ประเด็นเรื่องประเภทของบอตนี้เราไม่จำเป็นต้องศึกษาให้เสียเวลา เราแค่เข้าใจในเบื้องต้นก็พอ บอตมีหน้าที่ไต่ไปตามเว็บไซต์ต่างๆ เพื่อเก็บข้อมูลจากเว็บไซต์นั้นเข้าไปไว้ในอินเด็กช์ เวลามีคนเสิร์ชด้วยคีย์เวิร์ดที่เกี่ยวข้อง เสิร์ชเอนจิ้นจะได้นำข้อมูลจากเว็บไซต์หรือเว็บเพจต่างๆนั้น ออกมาแสดง
เพราะฉะนั้นเว็บไซต์ที่มีบอตเข้ามาบ่อยๆ เข้ามามากๆ แล้วก็เข้ามาอยู่นานๆ จะยิ่งเป็นผลดีด้าน SEO แต่ถ้าเว็บไซต์ไหนไม่มีบอตเข้ามาเลย จะเป็นผลเสียทางด้าน SEO อย่างมาก เพราะใครๆก็ค้นหาเราผ่านเสิร์ชเอนจิ้นไม่เจอเลย
เรื่องสำคัญที่คุณควรรู้เกี่ยวกับบอตของเสิร์ชเอนจิ้น คือ บอตเป็นโปรแกรมคอมพิวเตอร์ไม่ใช่มนุษย์เหมือนเรา สิ่งที่บอตมองเห็นเมื่อไต่เข้ามายังเว็บไซต์หนึ่ง จึงแตกต่างจากสิ่งที่เรามองเห็น เว็บเพจที่เราเห็นกันอยู่ทุกวันเมื่อเชื่อวันผ่านโปรแกรมเว็บเบราเซอร์ ถูกสร้างขึ้นด้วยภาษาเขียนเว็บไซต์ภาษาใดภาษาหนึ่ง เช่น HTML , PHP และนั่นคือสิ่งที่เรามองไม่เห็นแต่บอตมองเห็น
ในเมื่อมุมมองที่เราเห็นกับมุมมองที่บอตของเสิร์ชเอนจิ้นเห็นมีความแตกต่างกันไป การทำ SEO ของเราจึงต้องคำนึงถึงเรื่องนี้ด้วย เพราะการทำ SEO คือการทำให้เสิร์ชเอนจิ้นชอบบอตเป็นส่วนหนึ่งของเสิร์ชเอนจิ้น เราจึงต้องทำให้บอตของด้วยเช่นกัน เราสามารถใส่ข้อมูลลงไปได้แต่ข้อมูลนี้จะไม่ถูกมองเห็นโดยผู้ชมเว็บเพจของเรา ซึ่งนี้คือเทคนิคการทำ SEO อีกรูปแบบหนึ่ง
