声明：本网站由东莞网站制作网站编辑原创，假如你本文有兴趣，敬请保留文章内链，不然，本站将会以侵权进行处置。
1. 通常来讲，Google和百度的搜索引擎的蜘蛛都是遵循 robots.txt 给出的规则来在你的网站上爬行，robots协议规定搜索引擎进入你网站的入口就是该网站的 robots.txt文件，但有一个首要条件是该robots.txt文件需要存在。假如你的网站没概念robots.txt文件，那样会是一个那种情况呢？
显然蜘蛛会被重定向至 404 错误页面，不少网站优化er的经验，假设你的网站自概念了 404 页面，那样蜘蛛会把其视作 robots.txt，所以从这里可以看出，没robots.txt文件的网站会给蜘蛛索引网站带来很大的困扰，从而影响搜索引擎网站收录你的网站页面内容。
2. robots.txt 第二个好处是可以限止无需的搜索引掣来你的网站爬行，以缓解服务器的宝贵带宽资源，如邮件服务器、Erp服务器，这种服务对搜索引擎是没任何意义的；譬如淘保网站就用robots限止了蜘蛛的爬行。
3. 假如我的网站有的文件是非公开的，那样我可以用robots.txt做说明，不让搜索引掣来爬行，譬如大家网站的后台管理程序，事实上，一些在运行中产生临时页面的网站，假设没在robots.txt进行说明，搜索引擎都会去索引那些临时文件。
4. 假如你的网站内容，有不少不少的页面，，那样配置 robots.txt 是需要的，缘由是有时候蜘蛛洪水般的访问会给网站导致巨大的重压，假设你不需要robots来控制，或许会导致你的网站拒绝访问。
5.一个网站一般主题是有关的，那样不可防止地会产生不少页面比较一样的内容，对于搜索引掣来讲，页面相似度太高，它或许会给你处罚，那样借助robots.txt限制某些页面不补网站收录就能非常不错地助你解决这个问题。
robots.txt 的风险及应付方法：
1. 什么事情有好的一面也有不好的一面，robots.txt 在给网站带来以上好处的同时也会存在肯定的风险：第一就是给那些不怀好意思的攻击者指明了你网站的目录结构和私密数据所在的地方，虽然目前大家的服务器安全提升了好多，但什么事情大家都要做到防范于未然。
譬如说，我的网站中的私密数据通过这个地址www.szmynet.com/private/index.html# 访问，在 robots.txt 中的设置我是这么设置的：
User-agent: *
Disallow: /private/
robots.txt文件非常明显地指出了你要隐藏的内容在哪儿，在浏览器中输入www.szmynet.com/private/# 便可访问大家的私密内容。
那样大家要如何解决这个问题呢?
a.对/private/目录设置访问权限，譬如密码保护。
b.将目录下的默认的主页面更名为如：123-protect.html，与此同进，再设计一个新的index.html 文件，页面内容可以写“不好意思，你没权限访问此页”。
2. 不小心将robots文件设置错误，或许会致使你已经被网站收录的数据会被搜索引掣给删除。如：
User-agent: *
Disallow: /
以上两行代码的意思就是不让任何搜索引擎索的蜘蛛来网站网站收录，更多网站建设资讯请关注博久网络。
