东莞市和生(sheng)工業服装有限公司 義(yi)乌尊喜商贸有限公司 深(shen)圳市步腾展示用(yong)品科技有限公司 杭州互信(xin)消防器材有限公司 连云港市华东电(dian)力设(she)備有限公司 新乡大康工業有限公司 潮州网站建设一个新网站,怎么写robots协议 - 广东玩站网络

潮州网站建设一个新网站,怎么写robots协议

用户代理:*这里*代表所有类型的搜索引擎,*是通配符 Disallow:/admin/在这里被定义为禁止爬网管理目录下的目录 不允许:此处定义了/require/以禁止对requi…

用户代理:*这里*代表所有类型的搜索引擎,*是通配符

Disallow:/admin/在这里被定义为禁止爬网管理目录下的目录

不允许:此处定义了/require/以禁止对require目录下的目录进行爬网

不允许:/ABC在这里定义是为了禁止对ABC的整个目录进行爬网

不允许:/cgi-bin/*.htm禁止访问/cgi-bin/目录中后缀为“.htm”的所有URL(包括子目录)。

不允许:/*?*不允许访问网站中的所有动态页面

不允许:.jpg$禁止对web上所有.jpg格式的图片进行爬网

不允许:/ab/adc.html文件禁止爬网到所有文件adc.html文件在ab文件夹下

用户代理:*这里*代表所有类型的搜索引擎,*是通配符

Allow:/cgi-bin/这里的定义是允许对cgi-bin目录下的目录进行爬网

Allow:/tmp在这里被定义为允许对tmp的整个目录进行爬网

允许:.htm$只允许访问后缀为“.htm”的URL。

允许:.gif$允许对网页和gif格式的图片进行爬网机器人.txt文件使用示例

作者: guangdongseo

为您推荐

发表评论

邮箱地址不会被公开。 必填项已用*标注

瑞安市仙之源(yuan)铁皮石斛种植(zhi)场 上海左科儀(yi)器设(she)備有限公司 栾(luan)秀(xiu)梅(个体(ti)经营) 福(fu)建宏昌(chang)環保(bao)科技有限公司 莱芜万邦食品有限公司 东莞市錫华检测(ce)儀(yi)器有限公司業务一部(bu) 温州立泰水处理设(she)備有限公司 哈尔(er)滨维纳斯(si)婚纱(sha)攝影(ying)
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部