robots文件的书写及规范案例

robots文件的书写及规范案例

什么是robots? 简单说,robots就是你和蜘蛛签订的一份文件,就是告诉爬虫网站上哪些内容可以收录,哪些内容不需要收录。   robots的作用...
阅读 6 次