如何有效的屏蔽百度蜘蛛

原创 admin  2020-10-14 11:46  阅读 0 次

很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么深圳SEO欢欢seo就讲解哈屏蔽百度蜘蛛的具体方法。

一、robots协议

robots协议相信大家都不陌生,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:

User-agent: BadBot
Disallow: /

然后保存后通过FTP工具上传到网站根目录即可。

二、robots Meta标签

robots?Meta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots?Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间,如下所示:

<head>

<meta?name=”robots”?content=”index,follow”?/>

</head>

三、.htaccess屏蔽

如果说使用robots协议无法全部屏蔽你的网站,那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下:

方法1:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider NC

RewriteRule .* – F

方法2:

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

总结:百度蜘蛛屏蔽方法有许多,以上方法可参考,深圳SEO欢欢seo觉得还是以robots协议较好,所以其他方法及时可以用,但是也不建议去做,因为一步小心搞错了,就会导致麻烦不断

来源:https://www.huanp.com/seojiaocheng/6743.html
声明:欢迎分享本文,转载请保留出处!

发表评论


表情