Python批量转换企业年报PDF为TXT文件并保存到数据库的完整教程

之前，我们有过介绍。那就是如何运用 Python 来解析 PDF 文件，也就是对 Python 解析提取 PDF 文件的方法进行了简要介绍。

现在，我们要对企业年报的 PDF 文件进行批量转换操作，并且要从这些文件中提取出文本。

转换方法：

直接进行转换，保存成对应的txt文本文件：

import pdfplumber
import os
[id_1988577731] time
定义一个函数 pdf_to_txt_pdfplumber，它接受一个参数 pdf_path 。
    starttime = time.time()
    print('开始转换',pdf_path)
    output = pdf_path.split('.')[0] +'.txt'
    with pdfplumber.open(pdf_path) as pdf:
        with open(output, 'w', encoding='utf-8') as txt_file:
            for page in pdf.pages:
页面提取出了文本，这个文本就是 page_text 。
                if page_text:
                    txt_file.write(page_text + '\n')
    print('转换完成,耗时:',time.time()-starttime)
# 获取当前目录下所有的pdf文件
files = [i for i in os.listdir() if '.pdf' in i or '.PDF' in i]
for file in files:
    pdf_to_txt_pdfplumber(file)

这里我用两个PDF文件进行测试输出如下：

一般企业的年报大约在 200 到 300 页这个范围，将一个文件进行转换所耗费的时间依然比较长，在这种情况下，目录下生成了与之对应的 txt 文件。

一些想法：

关于如何保存到数据库，这里提供当时我的一些做法。

创建数据库，接着设计所需的字段，像 ID、年份以及企业名称等。

import sqlite3
conn = sqlite3.connect('report.db')  # 允许多线程访问
sql = '''
创建一个表名为 report 的表，该表包含一个名为 id 的整数列，并且该列被设置为主键，同时具有自动递增的属性。
公司的名称用 varchar 表示，年份用 varchar 表示，信息用 varchar 表示。
    ''' 
cursor = conn.cursor()
cursor.execute(sql)
conn.commit()

以上几行代码就完成了数据库的创建：

在这里，我仅进行示范，就不添加更多字段了。

其次：改写原本的代码，写入数据库即可。

import pdfplumber
import os
import time
import sqlite3
conn = sqlite3.connect('report.db') 
def pdf_to_txt_pdfplumber(pdf_path):
    company = pdf_path.split('-')[0]
    year = ''.join([i for i in pdf_path.split('-')[1] if i.isdigit()])
    starttime = time.time()
    print('开始转换',pdf_path)
    all_page_text = ''
    with pdfplumber.open(pdf_path) as pdf:
        
        for page in pdf.pages:
page 提取出了文本，即 page_text
            if page_text:
page_text 被加到了 all_page_text 中 。
        # 写入SQLITE
        sql = 将数据插入或替换到 report 表中，包含公司、年份以及信息这几个字段。
                    values("%s","%s","%s")
                        '''在 (company, year) 中，所有页面文本.strip()的情况为 % 。
        cursor = conn.cursor()
        cursor.execute(sql)
        conn.commit()
    print('写入完成,耗时:',time.time()-starttime)
files = [i for i in os.listdir() if '.pdf' in i or '.PDF' in i]
for file in files:
    pdf_to_txt_pdfplumber(file)
conn.close()

执行结果：

可以看到，保存至数据库时更为简洁，这样更有利于对数据进行管理以及后续的数据分析。

我们读取文件目录下的所有 PDF 来进行转换，所以能够把转换完成后的 pdf 文件进行移动或者删除。这样一来，即便因为特殊原因需要重新转换，也不会重复转换相同的文件。例如：

import shutil
# 移动到当前目录下done文件下
shutil.move(file_dir + '\/' + file, file_dir + '/done')