Java爬虫系列(2)：使用SeimiAgent+SeimiCrawler轻松爬行动态网页的准备工作

java爬虫系列(2)-爬行动态网页

准备工作

新手的话，建议采用 seimiagent+seimicrawler 的爬行方式。这种方式非常容易上手，能够轻松爬取动态网页，初步上手所需时间在 10 分钟以内。

项目地址

网页分析工具地址

根据系统选择所需的文件，启动网页解析器

下载好 seimiagent 后，需根据自身操作系统来选择。若是 windows 系统，就使用 seimiagent.exe；若是 linux 系统，就选择 seimiagent。目前还没有 mac 版本。我通常会把 seimiagent 放置在自己的 linux 服务器上。

指定端口号启动工具

以 linux 为例，首先进入文件所在的目录，然后指定 8000 端口，即执行./seimiagent -p 8000 这个操作，这样就可以启动了。

图(1)

seimi的项目配置.properties

redis 的 host 为 127.0.0.1；redis 的 port 为 6379；redis 的 password 为 database.driverClassName 为 com.mysql.jdbc.Driver；database 的 url 为 database.username 为 database.password 为 seimiAgentHost 为 127.0.0.1；seimiAgentPort 为 8000

找到此配置文件，然后将 seimiAgentHost 和 seimiAgentPort 修改为自己的地址信息。

SeimiAgentDemo.java

并且使用了 useSeimiAgent() 方法，用于告知 Seimiagent 是否使用 cookie 作为这个请求，若未使用，则以当前 crawler 关于 cookie 的使用条件为默认值。设置所有加载完成后，需给 Seimiagent 设定执行 js 并渲染页面的时间，单位为毫秒，即设置 SeimiAgentRenderTime 为 5000 毫秒，同时设置 SeimiAgentUseCookie 为 true ，然后将 seimiAgentReq 进行推送；在获取网页信息时，若出现异常则打印异常信息，正常情况下则打印响应的内容。

找到这个 demo 文件，要注意.useSeimiAgent()。这表明除了能分析动态网页之外，还可以设置 cookie、param 和 meta。我们利用这些参数通过 getHtml()这个回调函数来打印网页信息，然后进行比较，查看分析是否成功。

分析原始网页代码

我们使用 chrome 浏览器来查看网页的原始代码，是通过 network 进行查看的。

图(2)