> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 用MonkeyOCR解析复杂PDF
- URL: https://www.hubwiz.com/blog/parse-complex-pdf-with-monkeyocr/
- Published: 2026-02-08T09:55:19.000Z
- Updated: 2026-02-08T09:55:19.000Z
- Description: 如果你曾经处理过真实的扫描文档或PDF，可能会遇到这样或那样的混乱情况。
- Author: admin
- Tags: MODEL-ZOO, MONKEYOCR, #Import 2026-10-14 14:41

如果你曾经处理过真实的扫描文档或PDF，你可能会遇到这样的混乱情况：一个表格嵌套在另一个表格中，尴尬地跨越页面分割，图像或公式夹杂在行间。你运行OCR，结果突然发现单元格缺失，阅读顺序错乱，或者内容完全分类错误。这不仅仅是bug，而是一个结构性难题。

这篇文章可能提供了一个有用的视角。

## 1、为什么文档解析在2025年仍然是个难题

以下是解析真实文档比看起来更难的原因：

- **复杂表格是痛点：** 嵌套表格、合并或拆分的单元格、跨页布局，以及嵌入的内容如图像或公式，都会给解析过程带来脆弱性。其中任何一个都可能破坏结构识别或导致内容与布局错位。
- **传统流水线很脆弱：** 传统的OCR流水线通常将工作分成几个阶段（布局检测、公式检测、文本识别、表格解析和阅读顺序预测），每个阶段独立处理。问题在于？一个阶段的错误往往会蔓延到下一个阶段。如果布局阶段的边界框稍有偏差，下游的阅读顺序或表格结构就别想正确了。
- **端到端模型计算量巨大：** 有人可能希望端到端的大模型能一次性解决所有问题。但高分辨率文档图像会转化为数万个视觉token，自注意力层呈二次方扩展。这很快就会消耗大量计算资源。即使是最好的基础模型，在面对密集文档时也难以平衡速度和保真度。

![文档解析方法的快速增长](https://www.hubwiz.com/blog/content/images/2026/02/0-rvW7SA_bHVAIEnx7.png)

图1：自2025年6月以来文档解析方法的快速增长。\[[来源](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)\]。

所以真正的挑战不在于模型是否存在。而在于该模型能否处理真实文档的复杂、不可预测的布局，并且能够持续运行而不会陷入停顿。MonkeyOCR v1.5正是为这种现实检验而构建的。

## 2、MonkeyOCR v1.5：先见全局再精细节

图2很好地展示了它的工作原理：第一阶段查看整个页面以确定结构和阅读顺序。第二阶段深入到每个检测到的区域以理解其中的实际内容。

![MonkeyOCR v1.5整体流程](https://www.hubwiz.com/blog/content/images/2026/02/0-QpB0IYrv6oC7oOr-.png)

图2：MonkeyOCR v1.5的整体流程，首先检测所有带有顺序索引的布局元素，然后使用VLM并行识别内容。\[[来源](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)\]。

新版本将过去的三部分流程简化为两个步骤。每个阶段都比以前更具视觉感知能力：

#### 第一阶段：布局检测和阅读顺序预测

不再将布局和顺序分成独立的任务，而是让单一的视觉语言模型（VLM）处理整页图像以识别布局元素及其顺序。输出是一个结构化的JSON列表，包括边界框、标签（如文本、表格、公式）、阅读顺序索引和旋转角度。这种格式确保了语法有效性和几何一致性，有助于保持一致的空间顺序。

简单来说，这一步将页面切成块，并按正确的顺序排列。

#### 第二阶段：区域级内容识别

然后，第一阶段的每个块根据其预测的角度被裁剪并旋转回正常方向。根据内容类型，系统将patch传递给**同一个VLM**进行语义解码，以特定区域类型（文本、公式或表格）为条件。最后，识别的内容按照阅读顺序拼接在一起。

可以把它想象成用放大镜放大每个块，仔细阅读，然后像拼图一样重新组装所有内容，现在顺序正确了。这些区域被**并行**处理以提高效率。图像区域通常被保留/裁剪以供导出，而文本/公式/表格区域由VLM解码。

总之，这种两阶段设计将全局布局理解与精确的高保真区域识别结合起来。它避免了传统流水线的级联错误，同时规避了全页端到端模型的计算密集型特性。

## 3、深度解析：处理混乱表格的三个针对性修复

MonkeyOCR v1.5不仅仅止步于更智能的两阶段流水线。真正让它与众不同的是三个专门构建的工具，专门用于处理文档解析中最混乱的部分之一：复杂表格。

### 3.1 视觉一致性强化学习：通过渲染-比较进行训练

对于复杂表格，结构就是一切，但仅使用基于文本的指标评估却非常困难。v1.5不是仅依赖基于文本的ground-truth指标，而是使用现有标注数据训练奖励模型，然后通过RL在大规模未标注表格上进行改进，无需额外的标注。

![基于视觉一致性的GRPO](https://www.hubwiz.com/blog/content/images/2026/02/0-Ilh78gvKZaKSEyao.png)

图3：基于视觉一致性的GRPO。对于每个包含原始图像I O的输入x，策略模型生成响应y。渲染器产生I R。三元组（I O, y, IR）由组合奖励评估，该奖励结合了基于规则的检查和VLM奖励模型。\[[来源](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)\]。

这个想法很简单：获取模型的输出，将其渲染回图像，然后与原始图像进行比较。奖励模型学会判断渲染结果看起来是否正确。在训练期间，这成为强化学习的核心信号。使用GRPO（广义强化策略优化），系统被优化为生成与原始图像视觉上匹配的输出，利用大规模**未标注数据**而无需**额外的**人工标注。

换句话说：一旦奖励模型在标注示例上训练完成，系统就可以通过简单学习如何重现表格应有的外观，利用大量未标注文档进行自我改进。

### 3.2 图像解耦表格解析（IDTP）：恢复嵌入的视觉元素

真实世界的表格通常包含图标或缩略图，传统OCR系统倾向于将这些元素视为噪声。IDTP方法采取更慎重的路线：先分离，后识别，最后恢复。

![包含嵌入图像的表格流程](https://www.hubwiz.com/blog/content/images/2026/02/0-o_90UQfRkEwhx0St.png)

图4：包含嵌入图像的表格流程。该流程检测嵌入图像，用尺寸精确的占位符替换它们，执行识别以生成带标签的HTML，最后重新插入原始图像以重建表格。\[[来源](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)\]。

以下是它的工作原理：

- 使用YOLOv10检测表格内部的嵌入图像。
- 将每个图像区域替换为占位符mask，并存储占位符与原始图像之间的映射。
- 对mask版本运行表格识别，生成包含占位符位置`<img>`标签的HTML。
- 在后处理期间，将原始图像插回其占位符。

结果是一个视觉上完整的表格，结构和嵌入图像都正确恢复。

### 3.3 类型引导表格合并（TGTM）：重建跨页或跨列的拆分表格

![跨页/跨列模式](https://www.hubwiz.com/blog/content/images/2026/02/0-gDhEJ5oJ6AreAHEA.png)

图5：三种跨页/跨列模式。模式1：完整表头重复。模式2：无表头的连续表格。模式3：行分割延续。\[[来源](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)\]。

长表格经常跨页面或列断开，使得解析器难以理解它们是单个结构。TGTM通过将这些情况分类为三种常见模式来处理（见图5）：

- **模式1：** 下一段重复完整的表头。
- **模式2：** 表格继续但不重复表头。
- **模式3：** 一行跨边界分割。

TGTM结合了基于规则的匹配和语义检查。模式1通过直接的表头比较捕获。对于其他两种，BERT分类器确定下一段的第一行是否延续前一段最后一行的含义。如果是，则触发行合并（模式3）；如果不是，则仅连接各段（模式2）。

## 4、评估

![OMNIDOCBENCH V1.5评估](https://www.hubwiz.com/blog/content/images/2026/02/0-E0iPRg8x26zCxwBI.png)

图6：OMNIDOCBENCH V1.5上的评估。\[[来源](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)\]。

在OmniDocBench v1.5基准测试中，MonkeyOCR v1.5夺得榜首。如图6所示，它比PPOCR-VL高出0.15%，比MinerU2.5高出2.34%。

与最强的基于流水线的方法PP-Structure v3相比，差距更大，MonkeyOCR v1.5领先6.38%，凸显了其精简两阶段设计的优势。

![表格识别方法对比评估](https://www.hubwiz.com/blog/content/images/2026/02/0-VMeW0WEzL_991VGk.png)

图7：表格识别方法的对比评估。\[[来源](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)\]。

真正的差距体现在鲁棒性上。如图7所示，虽然MinerU2.5在简单表格上表现异常出色（比v1.5高出0.7%），但在复杂场景中明显下降。相比之下，MonkeyOCR v1.5保持高度稳定，在复杂子集上超越MinerU2.5达2.5%，比PaddleOCR-VL高出9.2%。

## 5、思考

MonkeyOCR v1.5最有意义的贡献在于其统一的两阶段设计。它将整页结构和阅读顺序与区域级内容识别分离，让每个步骤专注于自己最擅长的事情。在此基础上，它引入了三个针对性模块（视觉一致性强化学习、IDTP和TGTM），以处理一些最痛苦的现实案例，如复杂表格和跨页布局。

但是，从实际角度来看，我有几点担忧。

第一点是第一阶段仍然依赖大型视觉语言模型联合预测布局和阅读顺序。虽然MonkeyOCR v1.5强调效率与准确性之间的平衡，但在实际部署中，特别是面对高分辨率输入、多语言内容或高度模板化文档时，计算成本和提示稳定性可能成为限制因素。

第二点担忧是强化学习阶段使用的奖励信号。由于它基于渲染-比较策略，模型被训练为优化视觉相似性而非真正的语义或结构正确性。**虽然它提到了包括基于规则检查的组合奖励**，但严重依赖渲染仍可能在边缘情况下引入风险，即输出可能看起来正确但破坏了逻辑结构——这是一种奖励偏差甚至奖励黑客攻击的形式。

参考：[MonkeyOCR v1.5技术报告：解锁复杂模式的鲁棒文档解析](https://arxiv.org/pdf/2511.10390v2?ref=hubwiz.com)。

---

原文链接：[MonkeyOCR v1.5: Making Complex PDFs Parseable](https://levelup.gitconnected.com/monkeyocr-v1-5-making-complex-pdfs-parseable-65b6ca67937c?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处