请选择 进入手机版 | 继续访问电脑版

土壤之家-土壤学论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

土壤考研资料sigmaplot12.0破解版下载sigmaplot教程土壤污染
土壤修复案例土壤招聘信息土壤修复技术有哪些 
查看: 5076|回复: 0

屏蔽蜘蛛抓取页面(最全方法)

[复制链接]
发表于 2012-4-17 21:32:26 | 显示全部楼层 |阅读模式
如何屏蔽搜索引擎的蜘蛛抓取
做SEO的站长们是否经常碰到这样的问题?网站在做好排名或者提供优质服务以后,并没有订单不断或电话不断的效果,就有了拒绝付款的客户。另一方面,为了保证网站文章的权威性,不易被搜索引擎检索,也需要使用到一种常见的方式:屏蔽百度谷歌等搜索引擎蜘蛛。具体的方法有两个,网钱中国总结如下:
     一、创建robots.txt文本。
     robots.txt文本的文件应该同时包含2个域,“User-agent:”和“Disallow:”,每条指令独立一行。
     1.User-agent:
     指定允许抓取的蜘蛛,如给出参数,只有指定的蜘蛛能够抓取;如果值为通配符“*”号,代表允许所有蜘蛛抓取。如:
     User-agent: Googlebot*,表示只允许Google的蜘蛛抓取;
     User-agent: *,则表示允许所有蜘蛛抓取。
     注意:User-agent必须出现在第一行(有意义的行,注释除外),用以首先声明用户代理。
     2.Disallow:
     指定禁止蜘蛛抓取的目录或文件,如:
     Disallow: /help.php,表示禁止抓取根目录下help.php文件;
     Disallow: /admin/,表示禁止抓取根目录下的admin子目录中任何内容;
     Disallow:,值为空时,表示不限制,蜘蛛可以抓取站内任何内容。
     Disallow: /,表示禁止蜘蛛抓取根目录下的所有内容。
     如果需要指定多个目录或文件,可以用多个“Disallow: 文件或目录名”来指定,但必须每一项单独一行。
     二、robots Meta标签。
     robots.txt是放在网站中,文件级的网络蜘蛛授权;而robots Meta标签是放在网页中,用于部分网页需要单独设置的情况,两者的功能是一样的。
     Meta robots标签必须放在<head>和</head>之间,格式:
     <meta name=”robots” content=”index,follow” />
     content中的值决定允许抓取的类型,必须同时包含两个值:是否允许索引(index)和是否跟踪链接(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。共有4个参数可选,组成4个组合:
     index,follow:允许抓取本页,允许跟踪链接。
     index,nofollow:允许抓取本页,但禁止跟踪链接。
     noindex,follow:禁止抓取本页,但允许跟踪链接。
     noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。
     以上第一条和第四条还有另一种写法:
     index,follow可以写成all,如:
     <meta name=”robots” content=”all” />
     noindex,nofollow可以写成none,如:
     <meta name=”robots” content=”none” />
     需要注意的是,很多搜索引擎是不支持robots Meta标签的,只有少数搜索引擎能够识别并按给定的值抓取。所以,网钱中国建议您尽可能的使用robots.txt文件来限制抓取。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|网站地图|土壤之家

GMT+8, 2024-3-29 20:51 , Processed in 0.187895 second(s), 21 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表