robots协议是什么意思?robots.txt文件的作用是什么? SEO优化 • 2年前 (2022-06-23) robots实际上指的是robots协议(也称为爬虫协议、机器人协议),它的全称是“爬虫排除标准”,网站通过robots协议告诉搜索引擎哪些页面可以被抓取,哪些... 阅读 12 次 robots协议robots文件