C++网络爬虫实战：从零到一

在当今信息爆炸的时代，网络爬虫成为了获取数据的重要工具。尽管Python在网络爬虫领域占据主导地位，但C++以其高效的性能和强大的底层控制能力，同样可以构建出高效的网络爬虫。本文将带你走进C++网络爬虫的世界，从零开始，逐步实现一个简单的爬虫项目。

C++网络爬虫实战：从零到一

一、准备工作

在开始编写爬虫之前，我们需要准备一些必要的工具和库。首先，确保你的开发环境中已经安装了C++编译器，如GCC或Clang。其次，我们需要引入一些第三方库来简化网络请求和HTML解析的工作，常用的库有CURL和Gumbo。

安装CURL

CURL是一个强大的库，用于处理网络请求。在Linux系统中，可以通过以下命令安装：

sudo apt-get install libcurl4-openssl-dev

安装Gumbo

Gumbo是Google开发的一个HTML解析库，可以帮助我们解析网页内容。可以通过以下命令安装：

sudo apt-get install libgumbo-dev

二、编写爬虫框架

1. 引入必要的头文件

首先，我们需要在C++代码中引入CURL和Gumbo的头文件：

#include <iostream>
#include <string>
#include <curl/curl.h>
#include <gumbo.h>

2. 初始化CURL

在主函数中，初始化CURL库：

int main() {
    curl_global_init(CURL_GLOBAL_ALL);
    // 爬虫逻辑
    curl_global_cleanup();
    return 0;
}

3. 发送HTTP请求

定义一个函数用于发送HTTP请求并获取网页内容：

static size_t WriteCallback(void *contents, size_t size, size_t nmemb, void *userp) {
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

std::string fetch_url(const std::string &url) {
    CURL *curl;
    CURLcode res;
    std::string readBuffer;

    curl = curl_easy_init();
    if(curl) {
        curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);

        if (res != CURLE_OK) {
            std::cerr << "CURL error: " << curl_easy_strerror(res) << std::endl;
            return "";
        }
    }
    return readBuffer;
}

三、解析网页内容

1. 解析HTML

使用Gumbo库解析获取到的HTML内容：

void parse_html(const std::string &html) {
    GumboOutput* output = gumbo_parse(html.c_str());
    // 遍历DOM树，提取所需信息
    gumbo_destroy_output(&kGumboDefaultOptions, output);
}

2. 提取信息

根据需要提取网页中的特定信息，例如标题、链接等：

void extract_info(GumboNode* node) {
    if (node->type == GUMBO_NODE_ELEMENT) {
        GumboAttribute* href;
        if (node->v.element.tag == GUMBO_TAG_A && (href = gumbo_get_attribute(&node->v.element.attributes, "href"))) {
            std::cout << "Found link: " << href->value << std::endl;
        }
        // 递归遍历子节点
        GumboVector* children = &node->v.element.children;
        for (unsigned int i = 0; i < children->length; ++i) {
            extract_info((GumboNode*)children->data[i]);
        }
    }
}

四、整合代码

将上述功能整合到主函数中：

int main() {
    curl_global_init(CURL_GLOBAL_ALL);

    std::string url = "http://example.com";
    std::string html = fetch_url(url);
    if (!html.empty()) {
        parse_html(html);
    }

    curl_global_cleanup();
    return 0;
}