robots文件书写注意事项

书写robots文件时需要注意以下细节:

(1)一定不要写绝对路径,就是不要带网站域名,用“/”代替即可。

(2)注意robots文件中的所有符号都是在英文状态下写的,比如Disallow: /admin/ 中的“:”是英文状态下的。

(3)注意空格,例如Disallow: /admin/ 中“:”后面紧跟着是一个空格。

(4)注意大小写,例如Disallow: /admin/中Disallow的“D”是大写的。

(5)robots是有生效时间的,是由百度决定的,几天或者两个月以内,所以一定不要随便屏蔽整站。

(6)还有一点要弄清楚,Disallow: /help的意思是禁止蜘蛛访问/help.html、/helpabc.html、/help/index.html等所有带help的文件及文件夹;Disallow:/help/则是禁止蜘蛛访问/help/index.html这种形式的路径,允许访问/help.html、/helpabc.html。

版权声明:
作者:Muling
链接:https://www.u1s2.net/191.html
来源:大白博客
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
打赏
< <上一篇
下一篇>>