单击“检查”命令即可开始检查

[subornaakter20]

robots.txt 文件的位置应该是服务器，即资源的根目录。任何网站的 robots.txt 文件都可以在互联网上查看。要查看它，需要在资源地址后添加/robots.txt。

一般来说，不同资源的robots.txt文件是不同的。如果您不假思索地从其他人的网站复制文件，那么搜索机器人将无法索引您的网站。这就是为什么了解 robots.txt 文件的用途以及创建该文件所用的指令如此重要。

问网站，将内容复制到服务的空白字段中（如果没有 robots.txt 文件，则必须创建它！）；

将要检查的文件的链接插入到“主机名”字段中，单击“从站点下载 robots.txt”或 Enter。


扫描运行完成后，您可以分析结果。

扫描开始后，分析器会解析robots.txt文本字 立陶宛 数字数据 段的每一行并分析其中包含的指令。您还将从 URL 列表字段中了解机器人是否会抓取页面。

Robots.txt 文本

您可以通过编辑规则来创建适合您的资源的 robots.txt 文件。请记住资源文件本身保持不变。为了使更改生效，您需要自行将文件的新版本上传到网站。

在检查针对 Yandex 机器人（User-agent：Yandex 或 User-agent：*）的部分指令时，分析器将遵循 robots.txt 的使用规则。其余部分按照标准要求进行检查。当分析器解析文件时，它会显示有关发现的错误的消息，如果规则编写不准确则会发出警告，并列出文件的哪些部分适合 Yandex 机器人。

分析器可以发送两种类型的消息：错误和警告。

下载用于计算 KPI 和提高营销指标的免费工具
亚历山大·库列绍夫
亚历山大·库列绍夫
销售发电机有限责任公司总经理
阅读我的个人博客上的更多文章：

在过去的 7 年里，我们进行了超过 23,000 次全面的网站审计，我了解到，作为领导者，我们所有领导者都需要为我们的营销和销售提供清晰、可行的算法。

今天，我们将与您分享我们为客户开发的 6 份最有价值的文件。

免费下载并立即实施：


创建营销 KPI 的分步指南
营销人员 KPI 计算模板

9 个通用销售商业提案示例
升级您的 CP 以达成更多交易

如何制定销售部门的KPI，让利润增长20%以上？
计算运营经理 KPI 的分步模板

网站推广12个主要指标清单
找出正确优化网站所需的指标

40 个处理博客内容的服务
我们收集了处理内容的最佳服务

如何准确无误地定义你的目标受众？
定义公司目标受众的有效指南
免费下载该系列
pdf 8.3 mb
文档 3.4 mb
已下载
153576

如果由于编写指令时出现严重的语法错误而导致解析器无法处理任何行、部分或整个文件，则会输出错误消息。

警告通常报告分析器无法纠正的规则偏差，或者由于意外的拼写错误或规则写得不好而导致的潜在问题（可能不存在）。

错误消息“此 URL 不属于您的域”表示 URL 列表包含您的某个资源镜像的来说，这些 URL 是不同的）。需要检查的地址必须属于正在分析 robots.txt 文件的网站。