您可以在互联网上看到过时的机器

htossain998

。 当文件在如何抓取页面的规则上存在冲突时，字符数将由  决定。将执行最长的规则。 44 网站地图 该指令被认为是可选的，但经验丰富的 SEO 专家建议使用它。它用站点地图指示地址的位置。必须在文件的开头或结尾注明。 如果地图是通过  Search Console 添加的，则不必在 robots 中指定 URL，但这不会造成任何损害。99% 的公共 robotstxt 模板必须包含站点地图。 在文件中保存正确的语法可确保搜索引擎机器人正确抓取内容。这对技术优化

产生了积极的影响，为项目的整体评分加分。 5 bot 不支持的 Robotstxt 指令 人说明，初学者会犯依赖它们的错误。这不会干扰正常的索引，也不会导致页面排名问题，但最好使文件适应正确的格式。 在查看历史悠久的项目的技术文件时，您经常会发现过时的指令。它们本身不会造成伤害，因此搜索工作会忽略它们。但为了完美的网站优化，最好摆脱它们。 51 爬行延迟 此前，该指令完全符合正确的 robotstxt 格式。目前， 不支持它，因此限制文件的扫描所有重要页 电话号码清单 面的链接非速度是没有意义的 - 机器人不会关注这些行。 Bing 仍然可以识别爬网延迟指令，因此您可以为适当的用户代理指定它。如果没有来自 Bing 的流量，就很难找到使用



该指令的理由。 52 无索引  的帮助中心从未提及您可以使用 Noindex 指令阻止内容被编入索引。但到了2023年，一些站长仍然在这样做。 或者，您可以使用“禁止”来禁止扫描，并使用技术工具来限制服务器级别的访问。这些方法的组合将达到预期的结果。 53 不关注 该指令也不起作用，用于限制链接汁传输的类似标签也不起作用。目前还没有有效的方法来阻止链接传播权重。 创建 robotstxt 文件不会阻止链接被索引。即使是源代码中不可见的加密链接，