天天小站当搜索引擎的蜘蛛进入石家庄seo网站要做的第一件事就是寻找robots.txt文件来询问他应该去访问哪些文件!哪些页面是允许牵引的，哪些页面是拒绝
牵引的，被拒绝牵引的页面就不会被牵引，也就不会被收录，这样既方便了我们也增加了网站的安全性！为什么呢？举个例子我们的后台文件也是网站的
一部分，如果我们的后台主页也被牵引并收录到了搜索引擎那么会造成多么大的问题呢？结果很简单！网站后台将暴露在了外面！因为他第一个访问的
我们的这个文件，所以我们可以把我们想要让它知道的东西首先告诉它，例如我们可以把sitemap地址放到这里！
那么它该怎么写呢这里有一个格式:
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: /search.html 这是不允许收录的内容
Disallow: /index.php?