robots.txt文件是什么?

robots.txt即蜘蛛协议,全称为“网络爬虫排除标准”(Robots Exclusion Protocol),也称为爬虫协议、机器人协议等,其作用是告知搜索引擎允许或不允许抓取哪些页面

Robots是一种纯文本格式的文件,使用任何一个常见的文本编辑器(比如Windows系统自带的记事本)就可以创建和编辑,它是搜索引擎进入网站后第一个爬取的文件,通常放置于网站根目录下。

例如大白博客robots.txt的位置为:https://www.u1s2.net/robots.txt。

robots文件示例

版权声明:
作者:Muling
链接:https://www.u1s2.net/111.html
来源:大白博客
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
打赏
< <上一篇
下一篇>>