Robots协议（爬虫协议）的全称“网络爬虫排除标准”（Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引...