基本爬虫存爬能力弱 怎么用多进程多线程提高效率

前言

早些时候，我们提到基本爬网包括三个部分：请求，提取和保存。这是基本爬虫应该拥有的一部分。目前，这个爬行者具有纠正的能力并可以存储，但是这种能力非常弱。弱点主要反映在这三个点中：①鲁棒性本身并不高，并且有很多情况不一定考虑； ②爬行的爬行非常慢，效率非常低。

在这篇博客文章中，我们将讨论如何使用多线程和多流程来提高爬行者的工作效率。

多线程

多过程

首先，有必要声明一个要点。多进程和多线程是两个不同的概念，不要混淆。

该过程的时间表：当并行执行中有多个过程时，获得的每个过程的时间都不同。哪个过程接受哪些请求和完成时间是不确定的，因此，如果不处理，则输出将输出。

Python中使用的模块是多处理（Python是模块...一些基本的，常用的模块...），多处理[以下简称MP]使用相同的API作为螺纹模块作为螺纹模块。

只有Linux Fork（）是一个真正的多过程，因此在Linux上使用多处理库是很好的

多核CPU中MP的性能比线程要好得多，因为它可以完全运行多核。

如果操作数量不大（大约十打），则可以使用多个过程来动态生成多处理。过程类别，但是如果数量很大（一百），则手动限制过程的数量特别麻烦。此时使用