百度Unlimited OCR：让AI一次性读完整本书成为可能

OCR（光学字符识别）技术发展至今，单页文档解析早已不是什么难题。无论是PDF、扫描件还是照片，现代端到端视觉语言模型（VLM）都能较好地完成文字、公式、表格的识别任务。然而，当我们将视野扩展到整本书、论文集或长合同这样的多页文档时，技术瓶颈便显现出来。传统方案通常采用逐页处理的「for-loop」模式：每一页独立编码、独立解析、独立拼接。这种方式虽然可行，但效率低下——页面边界上下文断裂、输出越长解码越慢、显存持续膨胀。如何让模型像人类阅读一样，能够连续、流畅地处理整份长文档，一直是学术界和工业界共同关注的难题。

R-SWA的技术原理

百度最新开源的Unlimited OCR技术，正是为了解决这一痛点而来。该技术的核心创新在于提出了一种名为Reference Sliding Window Attention（简称R-SWA）的注意力机制。这一机制的设计思路相当优雅：在解码过程中，每个输出token仍然能够完整访问视觉token和prompt等参考信息，但对已经生成的文本历史，只保留最近一段窗口（默认宽度128个token）。换句话说，模型始终「看着」原始文档图像，而对已生成的内容则采用「软遗忘」策略——只记住最近写的一小段。

KV缓存：从线性增长到常量上界

从技术实现角度看，R-SWA将注意力范围划分为两个部分：第一部分是prefix，即视觉token和prompt，长度记为P，这部分在一次推理中保持固定，所有后续token都能访问；第二部分是decode region的滑动窗口，宽度记为W，只包含当前token之前最近的一段输出。这种设计的精妙之处在于，它没有发明新的算子或改变注意力计算本身，而是重新定义了「attention能看到哪些位置」。相比普通的Sliding Window Attention，R-SWA将参考token排除在状态转移之外——视觉信息长期静态保留，模型始终能看清原图，只对输出历史做软遗忘。这一特性对OCR任务至关重要，因为文档版面的空间关系需要参照原始图像来理解，而非依赖不断累积的输出历史。

性能验证：单页基准与长文档实测

R-SWA带来的最直接影响是KV缓存管理方式的根本改变。在标准Multi-Head Attention中，cache长度随输出token总数线性增长——生成的文本越长，占用的显存越多，解码速度也越慢。而在R-SWA架构下，模型只保存完整的prefix cache，同时只保留最近W个输出token。假设prefix包含P个token，输出长度为L，标准MHA的cache复杂度为O(P+L)，而R-SWA仅为O(P+W)。当L远大于W时（这正是长文档场景的典型情况），两者的差距变得极为显著。这意味着，处理一份50页的合同和处理10页的合同，显存占用和解码延迟几乎相同。

在单页文档基准测试OmniDocBench v1.5上，Unlimited OCR相比原版DeepSeek-OCR实现了全面提升：Overall分数从87.01跃升至93.23，提升6.22分；Text Edit Distance从0.073降至0.038；Formula CDM从83.37升至92.61；Table TEDS从84.97升至90.93；Reading Order Edit Distance从0.086降至0.045。尤其值得注意的是，在报纸、杂志、笔记等版面复杂的材料上，模型依然保持了稳定表现，没有因滑动窗口机制而出现明显短板。这说明窗口宽度128在OCR任务中找到了一个恰到好处的平衡点——足够保存局部生成状态以避免重复和跳行，又足够短以控制缓存增长。 长文档实测同样令人鼓舞。在内部测试集上，从2页到20页范围内，Distinct-20基本维持在97%以上；即使到了40+页，Distinct-35仍有96.90%，Edit Distance为0.1069。更关键的是，输出过程没有出现重复循环或速度急剧下降，R-SWA从架构层面压制了长文档场景下的典型失效模式。

如有侵权，请联系删除。