Robots文件是当搜索引擎在抓取和访问网站的时候所第一个访问的文件。我们在这个文件上可以设置搜索引擎。设置哪些页面可以被搜索引擎抓取，还有哪些页面不被搜索引擎抓取。
如果是个人网站，涉及到个人隐私的部分可以设置成不被搜索引擎所抓取。这样的话就不会在网站中搜索和检查到。如果是一般性的商业网站，我们会设置成所有的页面都会被抓取。
网站的页面通常情况下会分为静态页面和动态页面。对于搜索引擎，它更倾向于抓取静态页面。然而，我们现在的网站中大部分的页面都是动态的，所以我们为了让搜索引擎更好地抓取网站页面，我们可以将页面设置成伪静态。
最简单的一个方法就是让页面的链接以.html结尾。当然了，我只说了其中的一种，还是有很多伪静态的设置方法，大家可以自行挖掘。这样做的目的就是让我们网站更容易被搜索引擎抓取。
设置网站地图的作用就是让用户和搜索引擎能够更直观、更清晰地找到我们网站中所相应的栏目、内容和分类。
我不建议大家使用第三种程序员编写工具，因为它涉及到网站的一些代码，不是很专业的人可能不会一下子弄明白的，而前两种工具是我们在后台就可以直接进行生成和设置的。
