ThinkParse 2.0发布：基于MinerU 4.0打造可扩展的企业级文档解析系统
在大模型应用落地过程中，文档解析是构建高质量知识库的第一道门槛。无论是合同抽取、报告解析还是多格式文档处理，解析的稳定性与吞吐量直接影响下游RAG系统的效果。ThinkParse作为一个开源的文档解析服务框架，近期发布了2.0版本，该版本将解析引擎升级至MinerU 4.0，并从任务编排、持久化存储、分布式部署等多个维度进行了架构重构，旨在为大批量生产环境提供一套可扩展、可观测、可恢复的文档解析基础设施。
从队列服务到可扩展系统的架构演进
ThinkParse 1.x的核心形态是FastAPI配合Celery异步队列运行MinerU Worker，能够满足基本的文档解析需求，但在生产环境中暴露出几个关键瓶颈：任务状态偏易失、多机部署依赖复杂配置、解析引擎与业务接口耦合度高等问题。2.0版本的变化不仅是把MinerU升级到4.0，更在于重新定义了系统的架构边界。核心改进包括：解析引擎从MnierU 3.x升级至4.0并支持Docling等后端扩展；任务总线从Celery加Redis替换为网关配合协调器的架构；任务持久化从结果偏易失升级为PostgreSQL完整记录；扩容方式从多Worker抢同一队列优化为多引擎地址加槽位控制。这种架构设计让ThinkParse从「把MinerU做成可排队的服务」进化为「把文档解析做成可扩展、可恢复、可观测的系统」。
任务持久化与故障恢复的工程实现
大批量文档处理场景中，任务的可恢复性是生产级系统的必备能力。ThinkParse 2.0将任务状态完整记录在PostgreSQL中，原始文档按SHA-256哈希值存入对象存储，网关服务保持无状态设计。这意味着即使协调器重启，也能从数据库中恢复任务上下文继续执行；如果MinerU解析引擎异常中断，系统可以从对象存储重新获取原始文件重新投递任务，同时保持对外暴露的task_id不变。对于需要处理几十万份文档的长跑任务而言，任务有记录、输入可重取、结果可追踪，这三点构成了可靠故障恢复的基础。此外，系统还实现了取消状态的持久化，重启后不会导致取消操作失效；本地磁盘空间不足时会直接返回507错误，避免继续接收任务引发连锁故障。
文档解析的成败，不在单次解析的精度里、不在炫技的功能里，而在海量任务稳定运行、故障可恢复的每一个生产细节里
“行业观察”积墨企业专属知识库
混合检索 + 重排序技术，支持多源文档一键向量化导入，为企业打造专属高精度知识大脑。
分层架构与多GPU分布式部署实践
从产业落地经验来看，企业级文档解析系统需要解决的核心问题不仅是解析准确性，还包括系统的弹性伸缩能力。ThinkParse 2.0将对外服务和重计算执行进行了清晰的分层：网关层负责API接入、鉴权和健康检查，不持有模型也不执行解析；协调器层负责任务领取、引擎选择、结果拉取和投影，同时处理重试与取消逻辑；持久化层使用PostgreSQL保存任务状态和批次信息，对象存储保存原文和解析产物；执行层则由MinerU 4.0或Docling Serve负责真正的文档解析。在多GPU部署场景下，CPU机器可以只运行API和协调器服务，GPU机器专门运行解析引擎，通过共享PostgreSQL和外部S3实现协调，多个MinerU服务地址可以按负载和能力档位分摊请求。并发控制不再简单依赖进程数量，而是结合槽位数量和在途字节数设定水位，避免文档量突增时内存和本地磁盘被撑满。这种分层带来的直接好处是各层可以独立扩容，CPU服务和GPU引擎按需配置，资源利用率显著提升。
API契约设计与生产调优策略
MinerU 4.0提供了flash、basic、standard、advanced四档解析能力，支持更丰富的文档格式和统一文档模型，但其架构和接口也发生了显著变化。ThinkParse在解析引擎和业务系统之间增加了一层稳定的服务契约，负责档位发现、任务投递、状态管理和结果投影，将解析结果整理为业务侧熟悉的markdown、content_list、middle_json等形态。这样一来，即使MinerU引擎内部协议持续演进，使用ThinkParse的RAG系统、知识库和抽取应用也无需频繁修改调用逻辑。在API设计上，2.0版本同时保留了/api/v1兼容接口和新的/api/v2接口，前者继续使用submit加轮询方式兼容老客户端，后者覆盖上传、建任务、取文件、批次统计等完整流程，更适合新集成与大批量运营场景。在生产调优实践中，建议优先使用异步提交接口，并通过调整并发上限贴近引擎槽位、让提交侧略高于处理能力的方式避免GPU空等。调优时应同时观察引擎槽位利用率、在途字节是否接近安全水位、单份文档各环节耗时以及失败任务是否能自动恢复且不重复污染结果。
ThinkParse 2.0以MinerU 4.0为执行引擎，用网关、协调器、PostgreSQL和对象存储重新组织任务系统，将大批量、多GPU、分布式、可恢复和可观测等企业级需求内化为平台基础能力。对于正在构建RAG系统、企业知识库或AI智能体应用的技术团队而言，这套架构提供了长期稳定运行的文档解析基础设施选择。