阳江seo_如何写一个合理的robots.txt文件

怎么写机器人.txt文件 用户代理:*其中*表示所有类型的搜索引擎,*是通配符 Disallow:/admin/在这里被定义为禁止爬网管理目录下的目录 不允许:/require/此…

怎么写机器人.txt文件

用户代理:*其中*表示所有类型的搜索引擎,*是通配符

Disallow:/admin/在这里被定义为禁止爬网管理目录下的目录

不允许:/require/此处的定义是禁止对require目录下的目录进行爬网

不允许:此处定义了/require/以禁止对require目录下的目录进行爬网

不允许:/ABC在这里定义是为了禁止对ABC的整个目录进行爬网

不允许:/cgi-bin/*.htm禁止访问/cgi-bin/目录中后缀为“.htm”的所有URL(包括子目录)。

不允许:/*?*不允许访问网站中的所有动态页面

不允许:.jpg$禁止对web上所有.jpg格式的图片进行爬网

不允许:/ab/adc.html文件禁止爬网到所有文件adc.html文件在ab文件夹下

用户代理:*其中*表示所有类型的搜索引擎,*是通配符

Allow:/cgi-bin/这里的定义是允许对cgi-bin目录下的目录进行爬网

Allow:/tmp在这里被定义为允许对tmp的整个目录进行爬网

允许:.htm$只允许访问后缀为“.htm”的URL。

允许:.gif$允许对网页和gif格式的图片进行爬网

在这个例子中,网站有三个目录限制了对搜索引擎的访问,也就是说,搜索引擎不会访问这三个目录。

需要注意的是,每个目录必须单独声明,而不是“Disallow:/cgi-bin//tmp/”。

*after User agent:具有特殊含义,它代表“anyrobot”,因此该文件中不能有“Disallow:/tmp/*”或“Disallow:*.gif”等记录。

用户代理:*

不允许:/cgi-bin/

不允许:/tmp/

不允许:/~乔/

机器人特殊参数:

允许Googlebot:

如果要阻止除Googlebot之外的所有bot访问您的网页,可以使用以下语法:

用户代理:

不允许:/

用户代理:Googlebot

不允许:

Googlebot遵循指向自身的线条,而不是指向所有机器人的线条。

作者: guangdongseo

为您推荐

发表评论

电子邮件地址不会被公开。 必填项已用*标注

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部