很多时候，我们都不会去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的网站门户网，有登录页面或者是注册页面，还有一些不想让百度蜘蛛抓取文件...