robots文件的用法

【例1】禁止所有搜索引擎访问网站的任何部分:  

User-agent: *

Disallow: /

【例2】允许所有搜索引擎蜘蛛访问 (或者建一个空文件“/robots.txt”):

User-agent: *

Allow: /

【例3】禁止某个搜索引擎访问:

User-agent: Baiduspider

Disallow: /

【例4】允许某个搜索引擎访问:

User-agent: Baiduspider

Allow: /

【例5】只允许某个搜索引擎访问,其他搜索引擎禁止访问:

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /

【例6】只禁止某个搜索引擎访问,其他搜索引擎允许访问:

User-agent: Baiduspider

Disallow: /

User-agent: *

Allow: /

版权声明:
作者:Muling
链接:https://www.u1s2.net/184.html
来源:大白博客
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
打赏
< <上一篇
下一篇>>