澳门新萄京官方网站-www.8455.com-澳门新萄京赌场网址

澳门新萄京官方网站:文本编写制定,爬虫左券

2019-08-24 作者:www.8455.com   |   浏览(106)

一、简介

Robots 协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots.txt 是搜索引擎访问网站的时候要查看的第一个文件。

当一个爬虫访问一个站点时,它会首先检查该站点根目录下是否存在 robots.txt,如果存在,爬虫就会按照该文件中的内容来确定访问的范围;如果该文件不存在,爬虫将能够访问网站上所有没有被口令保护的页面。百度官方建议,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容,请勿建立 robots.txt 文件。但 robots.txt 是一个协议而不是命令,也不是防火墙,无法阻止恶意闯入者。

表面来看,这个功能作用有限。从搜索引擎优化的角度来看,可以通过屏蔽页面,达到集中权重的作用,这也是优化人员最为看重的地方。另外屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽。设置网站地图连接,方便引导蜘蛛爬取页面。

robots.txt

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

网站 robots.txt 文件编写

网站 robots.txt 文件编写

网站 robots.txt 文件编写

Intro

robots.txt 是网站根目录下的一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索机器人(有的叫搜索蜘蛛或爬虫)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt ,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;
如果该文件不存在,那么搜索机器人就沿着链接抓取。

robots.txt 必须放置在一个站点的根目录下,而且文件名必须全部小写。

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

robots.txt 语法

  • User-agent

    一般情况下robot.txt文件会以User-agent:开头,该项的值用于描述搜索引擎机器人robot的名字。

    例如User-agent:Baiduspider,就是针对百度蜘蛛进行的协议约束,robots.txt文件中至少要有一条User-agent记录。
    如果该项的值设为*(通配符),则该协议对任何搜索引擎机器人均有效。
    如果使用通配符,这样的记录只能有一条。

    User-agent:BaiduSpider
    User-agent:*
    
  • Disallow

    用来描述不希望被搜索机器人访问到网址。这个网址可以是完整的路径,也就是域名加上目录名或者文件名的格式,也可以是相对,也就是除去了域名,只有文件名或者目录名。

    一个Disallow的对应一个文件或者目录,有多少个目录或者文件需要设置就写几个Disallow。

    Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

    Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

    Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

    Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件

    #禁止访问Admin目录下的文件
    Disallow:/Admin/
    
    #禁止某个搜索引擎爬虫的访问
    User-agent: BadBot
    Disallow: /
    
  • Allow

    Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

    Allow: /tmp 这里定义是允许爬寻tmp的整个目录

    Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

    Allow: .gif$ 允许抓取网页和gif格式图片

  • Sitemap

    Sitemap: 网站地图 告诉爬虫这个页面是网站地图

    Sitemap: <http://www.example.com/sitemap.xml>
    

    Allow 和 Sitemap 为非标准语法,可能只有一些大型的搜索引擎会支持,为保证兼容性问题,推荐在 澳门新萄京官方网站,robots.txt 中只使用 User-agent ,Disallow

    User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人。Disallow:后面为不允许访问的文件目录。

    使用示例:

    #禁止所有机器人访问特定文件类型
    User-agent: *
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    
    #拦截所有的机器人
    User-agent: *
    Disallow: /
    
    #允许所有的机器人
    User-agent: *
    Disallow:
    

More

其他的影响搜索引擎的行为的方法包括使用robots元数据

    <meta name="robots" content="noindex,nofollow" />

Robots META 标签则主要是针对一个个具体的页面。
和其他的 META 标签(如使用的语言、页面的描述、关键词等)一样,Robots META 标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots META 标签的写法:
Robots META 标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。

content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面;
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。
这样,一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

可以写成

<META NAME="ROBOTS" CONTENT="ALL">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

可以写成

<META NAME="ROBOTS" CONTENT="NONE">

目 前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加。
如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以 限制GOOGLE是否保留网页快照。例如:
<mata name="googlebot" content="index,follow,noarchive">
表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。

Reference

  • http://www.cnblogs.com/top5/archive/2011/06/17/2083809.html
  • https://zh.wikipedia.org/wiki/Robots.txt
  • http://www.robotstxt.org/robotstxt.html
  • http://baike.baidu.com/item/robots协议

二、写法

robots.txt 文件放置在网站的根目录,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。

先来看下淘宝的robots.txt的例子,

User-agent:  Baiduspider

Allow:  /article

Allow:  /oshtml

Disallow:  /product/

Disallow:  /

 

User-Agent:  Googlebot

Allow:  /article

Allow:  /oshtml

Allow:  /product

Allow:  /spu

Allow:  /dianpu

Allow:  /oversea

Allow:  /list

Disallow:  /

 

User-agent:  Bingbot

Allow:  /article

Allow:  /oshtml

Allow:  /product

Allow:  /spu

Allow:  /dianpu

Allow:  /oversea

Allow:  /list

Disallow:  /

 

User-Agent:  360Spider

Allow:  /article

Allow:  /oshtml

Disallow:  /

 

User-Agent:  Yisouspider

Allow:  /article

Allow:  /oshtml

Disallow:  /

 

User-Agent:  Sogouspider

Allow:  /article

Allow:  /oshtml

Allow:  /product

Disallow:  /

 

User-Agent:  Yahoo!  Slurp

Allow:  /product

Allow:  /spu

Allow:  /dianpu

Allow:  /oversea

Allow:  /list

Disallow:  /

 

User-Agent:  *

Disallow:  /

User-agent:表示定义哪个搜索引擎。User-agent 记录至少要有一条。

User-agent: Baiduspider,定义百度蜘蛛。

User-agent: * 定义所有所搜引擎。

Disallow:表示禁止访问。

Disallow:  /product/ 表示禁止爬取 product 目录下的目录。

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的网址。

Disallow: /help 禁止访问/help*.html 和 /help/index.html

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址。

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

Allow:表示允许访问,写法同 Disallow。

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Sitemap:网站地图,告诉爬虫这个页面是网站地图

Crawl-delay:表示抓取网页的时间间隔,单位秒

Crawl-delay: 10

简介

robots.txt是一个协议,而不是一个命令,只是一个简简单单的txt文件。

但是:

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

官方建议,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

Intro

robots.txt 是网站根目录下的一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索机器人(有的叫搜索蜘蛛或爬虫)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt ,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围; 如果该文件不存在,那么搜索机器人就沿着链接抓取。

robots.txt 必须放置在一个站点的根目录下,而且文件名必须全部小写。

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

Intro

robots.txt 是网站根目录下的一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索机器人(有的叫搜索蜘蛛或爬虫)访问一个站点时,它会首先检查该站点根目录下是否存在澳门新萄京官方网站:文本编写制定,爬虫左券。robots.txt ,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围; 如果该文件不存在,那么搜索机器人就沿着链接抓取。

robots.txt 必须放置在一个站点的根目录下,而且文件名必须全部小写。

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

三、哪些时候需要使用该协议。

无用页面,很多网站都有联系我们,用户协议等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用 Disallow 命令禁止这些页面被搜索引擎抓取。

动态页面,企业类型站点屏蔽动态页面,有利于网站安全。且多个网址访问同一页面,会造成权重分散。因此,一般情况下,屏蔽动态页面,保留静态或伪静态页面。

网站后台页面,网站后台也可以归类于无用页面,禁止收录有百益而无一害。

原则

Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

 

robots.txt 语法

  • User-agent

    一般情况下robot.txt文件会以User-agent:开头,该项的值用于描述搜索引擎机器人robot的名字。

    例如User-agent:Baiduspider,就是针对百度蜘蛛进行的协议约束,robots.txt文件中至少要有一条User-agent记录。 如果该项的值设为*,则该协议对任何搜索引擎机器人均有效。 如果使用通配符,这样的记录只能有一条。

    User-agent:BaiduSpider

    User-agent:*

  • Disallow

    用来描述不希望被搜索机器人访问到网址。这个网址可以是完整的路径,也就是域名加上目录名或者文件名的格式,也可以是相对,也就是除去了域名,只有文件名或者目录名。

    一个Disallow的对应一个文件或者目录,有多少个目录或者文件需要设置就写几个Disallow。

    Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

    Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL。

    Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

    Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件

    禁止访问Admin目录下的文件

    Disallow:/Admin/

    禁止某个搜索引擎爬虫的访问

    User-agent: BadBot

    Disallow: /

  • Allow

    Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

    Allow: /tmp 这里定义是允许爬寻tmp的整个目录

    Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

    Allow: .gif$ 允许抓取网页和gif格式图片

  • Sitemap

Sitemap: 网站地图 告诉爬虫这个页面是网站地图

Sitemap: <http://www.example.com/sitemap.xml>

Allow 和 Sitemap 为非标准语法,可能只有一些大型的搜索引擎会支持,为保证兼容性问题,推荐在 robots.txt 中只使用 User-agent ,Disallow

User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人。Disallow:后面为不允许访问的文件目录。

使用示例:

禁止所有机器人访问特定文件类型

User-agent: *

Disallow: /.js$

Disallow: /.inc$

Disallow: /.css$

拦截所有的机器人

User-agent: * Disallow: /

允许所有的机器人

User-agent: *

Disallow:

robots.txt 语法

  • User-agent

    一般情况下robot.txt文件会以User-agent:开头,该项的值用于描述搜索引擎机器人robot的名字。

    例如User-agent:Baiduspider,就是针对百度蜘蛛进行的协议约束,robots.txt文件中至少要有一条User-agent记录。 如果该项的值设为*(通配符),则该协议对任何搜索引擎机器人均有效。 如果使用通配符,这样的记录只能有一条。

    User-agent:BaiduSpider

    User-agent:*

  • Disallow

    用来描述不希望被搜索机器人访问到网址。这个网址可以是完整的路径,也就是域名加上目录名或者文件名的格式,也可以是相对,也就是除去了域名,只有文件名或者目录名。

    一个Disallow的对应一个文件或者目录,有多少个目录或者文件需要设置就写几个Disallow。

     

    Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

    Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

    Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

    Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件

     

    禁止访问Admin目录下的文件

    Disallow:/Admin/

    禁止某个搜索引擎爬虫的访问

    User-agent: BadBot

    Disallow: / 

  • Allow

    Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

    Allow: /tmp 这里定义是允许爬寻tmp的整个目录

    Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

    Allow: .gif$ 允许抓取网页和gif格式图片

  • Sitemap

  Sitemap: 网站地图 告诉爬虫这个页面是网站地图

Sitemap: <http://www.example.com/sitemap.xml>

 

Allow 和 Sitemap 为非标准语法,可能只有一些大型的搜索引擎会支持,为保证兼容性问题,推荐在 robots.txt 中只使用 User-agent ,Disallow

User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人。Disallow:后面为不允许访问的文件目录。

 

使用示例:

禁止所有机器人访问特定文件类型

User-agent: *

Disallow: /.js$

Disallow: /.inc$

Disallow: /.css$

 

拦截所有的机器人

User-agent: * Disallow: /

允许所有的机器人

User-agent: *

Disallow: 

文件写法

 

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图

More

其他的影响搜索引擎的行为的方法包括使用robots元数据

<meta name="robots" content="noindex,nofollow" />

Robots META 标签则主要是针对一个个具体的页面。 和其他的 META 标签(如使用的语言、页面的描述、关键词等)一样,Robots META 标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots META 标签的写法: Robots META 标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。

content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。 INDEX 指令告诉搜索机器人抓取该页面; FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去; Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。 这样,一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中 <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 可以写成 <META NAME="ROBOTS" CONTENT="ALL">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 可以写成 <META NAME="ROBOTS" CONTENT="NONE"> 目 前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加。 如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以 限制GOOGLE是否保留网页快照。例如:

<mata name="googlebot" content="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。

More

其他的影响搜索引擎的行为的方法包括使用robots元数据

<meta name="robots" content="noindex,nofollow" />

Robots META 标签则主要是针对一个个具体的页面。 和其他的 META 标签(如使用的语言、页面的描述、关键词等)一样,Robots META 标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots META 标签的写法: Robots META 标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。

content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。 INDEX 指令告诉搜索机器人抓取该页面; FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去; Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。 这样,一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中 <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 可以写成 <META NAME="ROBOTS" CONTENT="ALL">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 可以写成 <META NAME="ROBOTS" CONTENT="NONE"> 目 前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加。 如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以 限制GOOGLE是否保留网页快照。例如:

<mata name="googlebot" content="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。

 参数详细

您可使用星号 (*) 来匹配字符序列。

例如,要拦截对所有以 private 开头的子目录的访问,可使用下列条目:

  User-Agent: Googlebot

  Disallow: /private*/

 $

 $字符指定与网址的结束字符进行匹配

例如,要拦截以 .asp 结尾的网址,可使用下列条目:

User-agent: Googlebot

Disallow: /*.asp$

Reference

Reference

 用法示例

例1. 禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

实例分析:淘宝网的 Robots.txt文件

  User-agent: Baiduspider

  Disallow: /

  User-agent: baiduspider

  Disallow: /

很显然淘宝不允许百度的机器人访问其网站下其所有的目录。

例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)

  User-agent: *

  Allow: /

例3. 禁止某个搜索引擎的访问

  User-agent: BadBot

  Disallow: /

例4. 允许某个搜索引擎的访问

  User-agent: Baiduspider

  allow:/

例5.一个简单例子

在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

需要注意的是对每一个目录必须分开声明,而不要写成 “Disallow: /cgi-bin/ /tmp/”。

  User-agent:后的*具有特殊的含义,代表“any robot”,所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

实际例子:

淘宝:

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

 京东:

User-agent: *             
Disallow: /?*     
Disallow: /pop/*.html  
Disallow: /pinpai/*.html?*      
User-agent: EtaoSpider   
Disallow: /   

 

新浪微博

Sitemap: http://weibo.com/sitemap.xml 
User-Agent: Baiduspider Allow: / 
User-agent: 360Spider Allow: / 
User-agent: Googlebot Allow: /

 

本文由澳门新萄京官方网站发布于www.8455.com,转载请注明出处:澳门新萄京官方网站:文本编写制定,爬虫左券

关键词: