网络爬虫与僵尸网络：解析合法及恶意软件运行特点

什么是网络爬虫

网络爬虫是一种软件应用程序，它在Internet上运行自动化任务，与人类互联网活动相比，网络爬虫运行的任务通常很简单，而且执行速度要快得多。

有些机器人是合法的，比如Googlebot，它是Google用来抓取互联网并将其编入索引以进行搜索的应用程序。其他机器人是恶意的，比如用于自动扫描网站以查找软件漏洞并执行简单攻击模式的机器人。

什么是僵尸网络

有许多类型的恶意软件会感染最终用户设备，其目的在于将这些设备纳入僵尸网络，任何被感染的设备都会开始与控制端通信，还能够在攻击者的中央控制下执行自动化活动。

许多威胁行为者积极投身于构建大型僵尸网络，这些僵尸网络中规模最大的跨越数百万台计算机。一般情况下，僵尸网络能够自行发展，比如说利用受感染的设备来发送垃圾邮件，借此感染更多机器。

僵尸网络所有者会把它们运用到大规模恶意活动中，这种活动一般是分布式拒绝服务 (DDoS) 攻击。僵尸网络还能够被用于其他任何恶意机器人活动，像是垃圾邮件机器人或社交机器人 。

网络爬虫类型

Internet上存在多种活跃的情况，有合法的，也有恶意的，下面是几个常见的例子。

搜索引擎爬虫

它也被称作网络蜘蛛、搜索引擎蜘蛛，通过跟踪超链接来浏览网络，其目的在于检索和索引网络内容，它会下载HTML以及其他资源，比如CSS、JavaScript和图像，还会利用它们来处理站点内容。

如果您拥有大量网页，您能够把robots.txt文件放置在您网络服务器的根目录里，并且向机器人给予说明，指明它们能够抓取您网站的哪些部分，以及抓取的频率是多少。

scrape 机器人

它是一种能从网站读取数据的机器人，其目的在于实现数据的离线保存，进而让数据能够被重复使用。它可能会采用抓取网页全部内容的方式，也可能采用抓取网页部分内容的方式，以此来获取特定数据的格式，比如电子商务网站上产品的名称和价格，还有博客上的文章。

网页抓取处于灰色地带，在某些情形下，抓取是合法的，且有可能获得网站所有者的许可，在其他情形下，scrape开发者可能违反网站使用条款，或者更糟的是，利用抓取窃取敏感或受版权保护的内容。