Robot.txt 文件

还有值得一提的就是Robot.txt文件。这一文件就是告诉搜索引擎爬虫，当搜索引擎爬虫过来爬你的网站的时候，你告诉搜索引擎爬虫那个目录那些内容，我不希望你检索到。比如：有些图片，密码保护的内容，敏感的内容，你可能不希望搜索引擎搜索到。下面给大家一个图片，可以看一下。

如图：

这个图片的代码，就是要告诉搜索引擎爬虫，网站里的一些图片和图片文件夹就不要过来爬啦。下面.PNG就是要告诉搜索引擎爬虫我网站的所有带有.PNG后缀的文件一个都不要爬行。

给个例子：你可以用写字板，把上图的文字写在文字板里，把文件另存为Robot.txt，然后放在你网站的根目录里。搜索引擎爬虫过来爬时，它就会知道这些内容不希望它去爬行的，然后搜索引擎爬虫就会忽略掉这些图片或者内容。