不想让搜索引擎收录特定页面？通过robots.txt文件实现及安全隐私问题

通常，您不希望搜索引擎包括/爬网，例如背景管理登录页，会员登录和注册页面，您该怎么办？方法之一是通过robots.txt文件实现它。

机器人也称为爬行者协议。它写为robots.txt（无需编写robots.txt），必须将其放置在网站的根目录中，而其他目录则无效。搜索引擎爬网访问/爬网网站首先访问robots.txt文件，然后是index.html/index.php，网站目录等。该网站告诉搜索引擎可以爬行哪些页面，哪些页面不能通过机器人协议爬行。许多人知道一件事，而不是另一件事，并且知道一些简单的写作方法。但是有些人仍然忽略它，即涉及安全和隐私的问题。

以下是个人写作，仅参考：

用户代理： *搜索引擎的徽标， *表示包括百度，Google等在内的任何引擎。

禁用： / a* /禁用以“ A”适配器开头的目录中的访问。例如，admin/index.html无法访问。

禁止： / c* /与上述相同，应注意该大小的大小。

禁止： / js /禁止对JS目录的任何访问

禁止： /*？包含网址？禁止：或这样的形式。

禁止：/*.jpg$禁用对.jpg结尾的所有图片的访问

SITEMAP：允许访问此SiteMap文件。

我们在这里说的是使用网站地图命令并使用“”包装网站地图的URL地址。有人说无需添加它，所以您可以做到。

使用 *适应符号以防止黑客或恶意攻击。如果您认为这并不重要，请不要使用 *，只需在其中写全名，例如“/js/”。

一些搜索引擎（例如Google）也支持在网页上写入其功能。

注意：对于访问您网站的爬网，robots.txt命令只是一个命令。 robots.txt文件中的命令不能迫使搜寻器在您的网站上执行相应的爬网操作。