某天项目组来了个需求说需要提取 PDF 文件中数据作为数据沉淀使用,这是因为第三方系统不提供数据接口所以只能够出此下策。
就据我所知,PDF 文件内数据提取目前有 3 种解决方案:
第一种,资金足够的话可以直接通过人工智能对 PDF 内容进行解析,按照你需要的规格数据进行输出即可;
第二种,采用 OCR 识别技术对内容进行提取;
第三种,通过工具实现(也是我将为您呈现的)。在开源社区中 PDFbox 人气很高,文字的识别率也很不错,但是对于表格支持不太友好,涉及到表格数据提取的我选用了 Tabula 来实现;
Tabula 是什么?
Tabula是一个开源工具,用于从PDF文档中提取表格数据。它的主要技术包括:
怎么用 Tabula?
首先肯定是引入 pom 文件依赖,如下图:
technology.tabula
tabula
1.0.5
接着就可以创建 PDF 工具类了(PdfUtil)
public class PdfUtil {
...
private static final SpreadsheetExtractionAlgorithm SPREADSHEEET_EXTRACTION_ALGORITHM = new SpreadsheetExtractionAlgorithm();
private static final ThreadLocal THREAD_LOCAL = new ThreadLocal();
...
/**
* @description: 解析pdf表格(私有方法)
* 使用 tabula-java 的 sdk 基本上都是这样来解析 pdf 中的表格的,所以可以将程序提取出来,直到 cell
* 单元格为止
* @param {*} String pdf 路径
* @param {*} int 自定义起始行
* @param {*} PdfCellCallback 特殊回调处理
* @return {*}
*/
private static JSONArray parsePdfTable(String pdfPath, int customStart, PdfCellCustomProcess callback) {
JSONArray reJsonArr = new JSONArray(); // 存储解析后的JSON数组
try (PDDocument document = PDDocument.load(new File(pdfPath))) {
PageIterator pi = new ObjectExtractor(document).extract(); // 获取页面迭代器
// 遍历所有页面
while (pi.hasNext()) {
Page page = pi.next(); // 获取当前页
List tableList = SPREADSHEEET_EXTRACTION_ALGORITHM.extract(page); // 解析页面上的所有表格
// 遍历所有表格
for (Table table : tableList) {
List rowList = table.getRows(); // 获取表格中的每一行
// 遍历所有行并获取每个单元格信息
for (int rowIndex = customStart; rowIndex < rowList.size(); rowIndex++) {
List cellList = rowList.get(rowIndex); // 获取行中的每个单元格
callback.handler(cellList, rowIndex, reJsonArr);
}
}
}
} catch (IOException e) {
LOGGER.error(MARKER,
"function[PdfUtil.parsePdfTable] Exception [{} - {}] stackTrace[{}]",
e.getCause(), e.getMessage(), e.getStackTrace());
} finally {
THREAD_LOCAL.remove();
}
return reJsonArr; // 返回解析后的JSON数组
}
...
}
这里我们先按照官网样例代码来实现 pdf 表格解析先。大致的思路就是:
创建一个空的 JSONArray 对象 reJsonArr ,用于存储解析后的表格数据;
使用 PDDocument.load 方法加载指定路径的 PDF 文件,并使用 try-with-resources 语句创建一个 PDDocument 对象 document ;
使用 ObjectExtractor 从 document 中提取页面迭代器 pi ;
使用 while 循环遍历每个页面,使用 pi.hasNext 方法判断是否还有下一个页面,如果有则进入循环;
使用 pi.next 方法获取当前页面对象 page ;
使用 SPREADSHEEET_EXTRACTION_ALGORITHM 解析 page 中的所有表格,并将结果存储在 tableList 中;
使用 for 循环遍历 tableList 中的每个表格,对于每个表格执行以下操作:
a. 使用 table.getRows 方法获取表格中的每一行,并将结果存储在 rowList 中;
b. 使用 for 循环遍历 rowList 中的每一行,从 customStart 位置开始,对于每一行执行以下操作:
i. 使用 rowList.get 方法获取行中的每个单元格,并将结果存储在 cellList 中;
ii. 将 cellList 、 rowIndex 和 reJsonArr 作为参数传递给回调函数 callback 的 handler 方法进行处理;
使用 try-catch 语句捕获可能发生的 IOException 异常,并记录错误信息;
使用 finally 语句移除 THREAD_LOCAL 中的数据;
返回解析后的 JSONArray 对象 reJsonArr ;
这里要加上一个 callback.handler 回调函数主要的目的是为了将“单元格操作”跟 pdf 解析两部分代码进行解耦,那么这个回调接口的接口定义如下:
@FunctionalInterface
public interface PdfCellCustomProcess {
/**
* @description: 自定义单元格回调处理
* @return {*}
*/
void handler(List cellList, int rowIndex, JSONArray reJsonArr);
}
其中 cellList 传入的是这一行的所有单元格的集合,rowIndex 传入的是当前行码,reJsonArr 是返回值。具体的实现代码如下:
public class PdfUtil {
...
/**
* @description: 解析 pdf 中简单的表格并返回 json 数组
* @param {*} String PDF文件路径
* @param {*} int 自定义起始行
* @return {*}
*/
public static JSONArray parsePdfSimpleTable(String pdfPath, int customStart) {
return parsePdfTable(pdfPath, customStart, (cellList, rowIndex, reArr) -> {
JSONObject jsonObj = new JSONObject();
// 遍历单元格获取每个单元格内字段内容
List headList = ObjectUtil.isNullObj(THREAD_LOCAL.get()) ? new ArrayList()
: THREAD_LOCAL.get();
for (int colIndex = 0; colIndex < cellList.size(); colIndex++) {
String text = cellList.get(colIndex).getText().replace("\r", " ");
if (rowIndex == customStart) {
headList.add(text);
} else {
jsonObj.put(headList.get(colIndex), text);
}
}
if (rowIndex == customStart) {
THREAD_LOCAL.set(headList);
}
if (!jsonObj.isEmpty()) {
reArr.add(jsonObj);
}
});
}
...
}
代码的主要部分是一个 Lambda 表达式,它作为参数传递给 parsePdfTable 方法。Lambda 表达式做了PdfCellCustomProcess 接口的实现。Lambda 表达式的代码块首先创建一个 JSONObject 对象,然后遍历单元格列表,获取每个单元格的文本内容。
如果当前行索引等于自定义起始行索引,将文本内容添加到 headList 列表中;否则,将文本内容作为键值对添加到jsonObj 对象中。最后,如果 jsonObj 对象不为空,则将其添加到 reArr 数组中。 代码还包含了一些其他操作。如果当前行索引等于自定义起始行索引,将 headList 列表设置为 THREAD_LOCAL 线程局部变量。最后,返回 reArr数组作为方法的结果。
最后只需要补上 main 方法调用即可获取到解析后的 JsonArray 集合。但是直接输出 JsonArray 数据并不直观,于是我又写了一个解析 JsonArray 数据的方法,并将里面的数据转换为 Markdown 格式,如下图:
private static String outputMdFormatForVerify(JSONArray jsonArr) {
StringBuilder mdStrBld = new StringBuilder();
StringBuilder headerStrBld = new StringBuilder("|");
StringBuilder segmentStrBld = new StringBuilder("|");
for (int row = 0; row {
headerStrBld.append(" ").append(k).append(" |");
segmentStrBld.append(" ").append("---").append(" |");
});
headerStrBld.append("\n");
segmentStrBld.append("\n");
mdStrBld.append(headerStrBld).append(segmentStrBld);
}
rowObj.forEach((k, v) -> bodyStrBld.append("").append(v).append("|"));
bodyStrBld.append("\n");
mdStrBld.append(bodyStrBld);
}
return mdStrBld.toString();
}
这个应该比较好理解吧,这里就不再详述了。
以上的代码对于一般的 PDF 表格解析是基本没有问题的,但是对于带有合并单元格的解析就不能满足了。合并单元格需要考虑横向合并、纵向合并和混合合并三种合并模式,不是说 tabula-java 的 sdk 不能做只是比较麻烦,在 tabula-java 方案中我们可以获取到单元格的高和宽,那么先做一次全遍历获取二维数组对于单元格定位后,根据高和宽进行虚拟表格的建设,最后根据二维数组对数据进行回填即可。这也是用回调将单元格操作分离的原因之一,为了后面做合并单元格解析做准备的。
但其实上面说这么多,合并单元格解析的代码我还没写呢(以上都是我吹的),等完成后再给大家分享。