PHP爬虫框架盘点：Goutte与Simplehtmldom助力大数据分析

网络数据爬取是大数据分析的前提。只有海量数据才能进行大数据分析。因此，爬取（数据爬取）是每个后端开发人员必须掌握的技能。我们主要盘点一下PHP爬虫框架。

古特

Goutte 库非常有用，为您提供有关如何使用 PHP 抓取内容的出色支持。它基于 Symfony 框架，提供 API 来抓取网站并从 HTML/XML 响应中抓取数据。它是免费且开源的。基于OOP编程思想，非常适合大型项目的爬虫，并且具有相当不错的解析速度。它需要 PHP 5.5+。

简单的htmldom

这是一个HTML解析框架，提供了类似jquery的API，让我们非常方便的操作元素、获取元素。它的缺点是需要加载和分析大量的DOM树结构，因此占用大量的内存空间。同时，它的解析速度并不是很快，但其易用性却是其他框架无法比拟的。如果您想抓取少量数据，那么它适合您。

htmlSQL

这是一个非常有趣的PHP框架，通过它你可以使用类似SQL的语句来分析网页中的节点。通过这个库，我们不需要编写复杂的函数和正则表达式就可以获得任何想要的节点。它提供相对快速的解析，但功能有限。它的缺点是这个库不再维护，但是使用它可能会改善你的爬虫概念。

嗡嗡声

一个非常轻量级的爬虫库，它类似于浏览器。您可以轻松操作cookie并设置请求标头。它有非常全面的测试文档，让您可以安心使用。此外，它还支持http2服务器推送，这样您可以更快地接收内容。

狂饮

严格来说，它不是一个爬虫框架。它是一个http请求库。它封装了http请求。它有一个简单的操作方法，可以帮助您构建查询字符串、POST 请求和流式传输大型上传。文件、流式传输大型下载、使用 HTTP cookie、上传 JSON 数据等。它可以借助同一接口发送同步和异步请求。它利用 PSR-7 接口来处理请求、响应和流。这允许您将其他 PSR-7 兼容库与 Guzzle 一起使用。它抽象了底层 HTTP 传输，使您能够编写与环境和传输无关的代码。也就是说，对 cURL、PHP 流、套接字或非阻塞事件循环没有硬依赖。

要求

如果接触过python的话，一定知道python中有一个非常好用的http请求库，就是request，而这个库就是它的PHP版本。可以说它指的是请求的全部本质，使得它非常优雅和高效。通过请求，您可以发送 HEAD、GET、POST、PUT、DELETE 和 PATCH HTTP 请求。通过请求，您可以使用简单数组添加标头、表单数据、多部分文件和参数，并以相同的方式访问响应数据。

查询列表

使用类似jQuery的选择器进行集合，告别复杂的正则表达式，可以非常方便的操作DOM。具备Http网络操作能力、乱码解析能力、内容过滤能力、扩展能力；

可以轻松实现模拟登录、假冒浏览器、HTTP代理等复杂的网络请求，插件丰富，支持多线程采集，使用PhantomJS采集JavaScript动态渲染页面。

史努比

Snoopy是一个php类，用于模拟浏览器的功能。它可以获取网页内容、发送表单，还可以用来开发一些采集程序。它封装了很多常见实用的功能，比如获取所有连接、获取所有纯文本内容等，其表单模拟是其亮点之一。

php蜘蛛

国人开发的PHP爬虫框架，已被作者用于爬取知乎上百万用户。可以说框架的执行效率还是非常不错的。另外，作者还提供了一个非常好用的命令行工具。通过该工具，我们可以非常方便的部署并查看我们的爬虫的效果和进度。