潮州网站建设一个新网站,怎么写robots协议

用户代理:*这里*代表所有类型的搜索引擎,*是通配符 Disallow:/admin/在这里被定义为禁止爬网管理目录下的目录 不允许:此处定义了/require/以禁止对requi…

用户代理:*这里*代表所有类型的搜索引擎,*是通配符

Disallow:/admin/在这里被定义为禁止爬网管理目录下的目录

不允许:此处定义了/require/以禁止对require目录下的目录进行爬网

不允许:/ABC在这里定义是为了禁止对ABC的整个目录进行爬网

不允许:/cgi-bin/*.htm禁止访问/cgi-bin/目录中后缀为“.htm”的所有URL(包括子目录)。

不允许:/*?*不允许访问网站中的所有动态页面

不允许:.jpg$禁止对web上所有.jpg格式的图片进行爬网

不允许:/ab/adc.html文件禁止爬网到所有文件adc.html文件在ab文件夹下

用户代理:*这里*代表所有类型的搜索引擎,*是通配符

Allow:/cgi-bin/这里的定义是允许对cgi-bin目录下的目录进行爬网

Allow:/tmp在这里被定义为允许对tmp的整个目录进行爬网

允许:.htm$只允许访问后缀为“.htm”的URL。

允许:.gif$允许对网页和gif格式的图片进行爬网机器人.txt文件使用示例

作者: guangdongseo

为您推荐

发表评论

电子邮件地址不会被公开。 必填项已用*标注

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部