CAIE注册人工智能工程师

公众号作者

CAIE，全称 Certifed Artifcial Intelligence Engineer（人工智能工程师），简称 CAIE（赛一） ，是人工智能领域的技能等级认证。旨在评估和培养具备人工智能理论基础与实战能力的职业人士。

想从一份PDF里精准提取内容，结果一解析出来全是乱套的。表格碎了，阅读顺序是乱的，多栏排版直接给你拼成一坨，图片更是完全丢了。

更烦的是那种扫描件PDF，明明看着全是字，你复制出来却是一堆乱码，还得自己再跑一遍OCR。搞RAG的朋友应该深有体会，数据清洗这一步有时候比调模型还费劲。

今天介绍一个曾拿下Github每日最佳的开源OpenDataLoader PDF，专门为AI数据提取打造的PDF解析器。 

开源地址：https://github.com/opendataloader-project/opendataloader-pdf

你可以把它理解成一台超级精准的PDF拆解机，不管你的PDF多复杂，它都能把里面的文字、表格、图片、公式、标题层级一层一层剥出来，整理得干干净净，直接喂给大模型用。

在目前公开的PDF解析基准测试里，OpenDataLoader PDF的综合准确率拿到了第一名，总分0.907，这个成绩甩了第二名不少。

目前，很多PDF解析器最大的问题就是不知道先读哪后读哪，尤其是多栏排版的学术论文或者杂志页面，经常把左栏和右栏的内容混在一起，读起来前言不搭后语。

我之前处理过一份双栏排版的行业报告，用某款付费工具解析完，第一段还没讲完突然跳到第三段去了，后面又绕回来，整段逻辑完全支离破碎。

OpenDataLoader用了一种叫XY-Cut++的算法来处理这个问题，简单来说就是模拟人类看页面的方式，先确定大的区域划分，再逐步细化到每个段落和句子。

用起来最直观的感受就是，解析出来的Markdown读起来是通顺的，不会出现上一句还是第一段的内容下一句突然跳到第三段的情况。

你在处理学术论文、技术白皮书这类双栏排版的PDF时，这个能力的价值会体现得非常明显。

表格提取这块OpenDataLoader PDF是真的强，这个要重点说一下，因为表格真的是PDF解析里的老大难问题。

有边框的表格还好说，最怕那种无边框的，纯靠空格和对齐来区分行列的表格，很多工具直接就放弃了，提取出来就是一坨挤在一起的文字。

做数据分析的人应该懂那种绝望，你明明知道PDF里有张关键的数据表，却怎么都拿不出来。

OpenDataLoader在混合模式下可以处理各种复杂表格，包括合并单元格、嵌套表格这些。

而且提取出来不是一坨纯文本，是带着行列结构的JSON数据，每个单元格的坐标都有，这意味着你可以精确定位到PDF里的任意一个格子。

做文档问答或者数据分析的时候，这个能力特别关键，因为大模型拿到结构化表格之后理解能力会大幅提升。

从基准测试数据来看，它表格提取的准确率做到了0.928，这个数字在目前的PDF解析工具里基本没有对手。

所以你几百页满是表格的PDF报告丢进去，出来的数据是能直接用的，不用再花一两个小时手动对齐和清洗了，大概几分钟就能迅速完成。

扫描件也能啃得动，还支持80多种语言。有些PDF其实就是几张图片扫描出来的，传统解析器面对这种文件基本无能为力。

你复制出来的全是空白，或者提示该文档没有可选择文本特别抓狂。

OpenDataLoader的混合模式内置了OCR引擎，支持超过80种语言，300DPI以上的扫描质量就能正常工作。

而且这个OCR不是简单地把文字识别出来就完了，它识别出来的内容同样会带有页面坐标信息，和正常PDF解析出来的数据格式完全一致。

也就是说，不管你的PDF是纯文本的还是扫描件，最终拿到的数据结构是一样的，下游处理的时候不用针对不同来源写两套逻辑。

这一点对需要批量处理大量历史文档的朋友来说特别友好，因为你根本不知道哪份是文本PDF哪份是扫描件。

感兴趣的小伙伴可以试试这个开源，Python、Node.js、Java三个SDK都有，pip装一下五分钟就能跑起来。

想系统掌握AI核心技能、获取行业认可资质？

CAIE注册人工智能工程师认证

助你拓宽职业赛道，成为AI领域持证实力派

微信小程序

CAIE 认证

CAIE认证

以上内容来自微信小程序

企业、高校及渠道合作

请联系微信：FYLlaoshi