探寻蜘蛛和机器人

搜索引擎要知道网上的新生事物，就得派人出去收集，每天都有新的网站产生，每天都
有网站内容的更新，而且这些产生的网站数量、更新的网站内容是爆炸式的，靠人工是不可
能完成这个任务的，所以搜索引擎的发明者就设计了计算机程序，派它们来执行这个任务。
探测器有很多叫法，也叫Crawler(爬行器)、spider(蜘蛛)、robot（机器人）。这些形象的
叫法是描绘搜索引擎派出的蜘蛛机器人爬行在互联网上探测新的信息，Google 把它的探测
器叫做Googlebot，百度就叫Baiduspider,Yahoo 称为Slurp，无论它们叫什么，它们都是人们
编制的计算机程序，由它们不分昼夜的访问各个网站，取回网站的内容、标签、图片等，然
后依照搜索引擎的算法给它们定制索引。
网