最新开源的PDF版面分析工具 PDF-Extract-Kit
最近有一个新开源的版面分析的模型，做PDF版面分析效果非常好。而且对公式的解析效果比较好。虽然现在star数量不高，但是绝对会涨起来的。我们调研对比过很多开源的工具，效果都强差人意，这个是我看到的最满意的一个。甚至要比我们生产环境的都要好一些。这里分享一下详细的安装过程。github上的的教程太粗糙了。我把遇到的问题和解决方法都写了出来。这篇文章分享的 是在windows10下安装的案例。且以cpu启动。最终可以成功启动。
GitHub - opendatalab/PDF-Extract-Kit: A Comprehensive Toolkit for High-Quality PDF Content Extraction
关于PDF-Extract-Kit
由于文档类型的多样性，现有开源的布局检测和公式检测很难处理多样性的PDF文档，为此我们内容采集多样性数据进行标注和训练，使得在各类文档上取得精准的检测效果，细节参考布局检测和公式检测部分。对于公式识别，UniMERNet方法可以媲美商业软件，在各种类型公式识别上均匀很高的质量。对于OCR，我们采用PaddleOCR，对中英文OCR效果不错。
效果展示
结合多样性PDF文档标注，我们训练了鲁棒的布局检测和公式检测模型。在论文、教材、研报、财报等多样性的PDF文档上，我们的pipeline都能得到准确的提取结果，对于扫描模糊、水印等情况也有较高鲁棒性。
论文
公式
试卷
conda
为了隔离环境，减少版本冲突问题，这里推荐使用conda来隔离环境。如果有conda可以跳过这一步，如果没有conda，可以参考下边的链接，来安装conda。
Windows下的Anaconda详细安装教程(2023/10/7)_windows安装anaconda-CSDN博客
初始化环境
拉取代码
conda create -n pdf-extract python=3.10
conda activate pdf-extract
pip install -r requirements+cpu.txt
pip install https://github.com/opendatalab/PDF-Extract-Kit/raw/main/assets/whl/detectron2-0.6-cp310-cp310-win_amd64.whl
这个从github上拉取，可能会拉不到，多试几次。或者使用科学上网解决。
修改配置文件
修改 configs/model_configs.yaml 文件，把 cuda 改为 cpu：
修改 modules/layoutlmv3/layoutlmv3_base_inference.yaml 文件中的 DEVICE 为 cpu：
安装环境必备环境
需要安装imagemagick
如果不安装，就会有报错如下
需要下载imagemagick，但是这个域名打不开
在github上，可以找到安装包
Releases · ImageMagick/ImageMagick · GitHub
这个是windows环境的
下载完点击文件安装即可！
下载模型
模型，这里是模型没有下载，会报错如下
这里为了方便，我使用git来从魔搭上拉取
git clone https://www.modelscope.cn/wanderkid/PDF-Extract-Kit.git
加下载后的的models目录，剪切到PDF-Extract-Kit下，替换原来的 models
运行解析，进行测试
还是在 PDF-Extract-Kit 目录下，创建一个demo的文件夹，放一个pdf测试文件
启动测试
conda activate pdf-extract
python pdf_extract.py --pdf demo/page1.pdf
可以看到正常在解析了！
解析1页搞了35s
默认把json结果输出到output目录下了
这里只有版面分析的结果如果想要把PDF直接转成 md结构，或者json，看这篇文章
windows10 环境 安装超牛的PDF解析工具MinerU （CPU跑）-CSDN博客
minerU 的版面分析使用的 Extract-kit的结果。