中国AI真正输给美国的，从来不是算力

过去几年，中美AI竞争的话题持续升温。提到中国AI落后美国的根本原因，许多人第一反应是算力不足——高端GPU芯片受限、训练成本居高不下。然而，一位长期观察中国AI实验室的海外研究者近日指出，中国数据产业远没有美国成熟，这一看法往往被忽视。这句话点出了一个长期被低估的问题：我们在数据基础设施建设上的短板，可能比芯片禁令更致命。

概述

让我们把时间拨回到2023年初。GPT-4发布后，国内AI实验室面临的压力可想而知。投资人期待在半年内看到对标产品，而不少团队甚至还没完成基础架构搭建。在这种极端的时间压力下，蒸馏（distillation）成为最务实的选择：通过调用API生成SFT数据，使用开源指令数据集进行微调，而这些开源数据本身也大量来自GPT-4等闭源模型。

蒸馏策略：一剂有效的止痛药

必须承认，蒸馏策略在那个阶段效果显著。Benchmark分数快速攀升，产品得以按时上线，融资叙事也顺利推进。各大实验室围绕这套方法建立了成熟的工程流程，数据团队的工作重心往往放在收集、清洗和去重其他模型生成的内容，而非组织专家生产原生数据。 然而，这剂止痛药也带来了副作用。当学生模型（student）始终从教师模型（teacher）的输出中学习时，它的知识分布永远是教师分布的一个子集。虽然可以高效迁移回答风格、知识表达和部分解题模式，但长尾能力和探索多样性会逐渐丧失。更为隐蔽的是，一些模型的拒答方式、措辞习惯乃至prompt模板，都可能悄然带上teacher model的印记。

o1时刻：当蒸馏不再够用

2024年9月，OpenAI发布o1；2025年1月，DeepSeek开源R1。Reasoning model的出现，让蒸馏策略的局限性暴露得更加明显。 蒸馏的本质是让student模型模仿teacher模型的输出。而Reasoning能力的训练走的是完全不同的路径：强化学习配合可验证奖励（RL with verifiable rewards）。模型需要反复生成解题轨迹，再根据可验证的奖励信号进行筛选、修正和强化。能力不仅来自对正确答案的模仿，更来自大量试错，以及对错误路径的持续淘汰。 这类训练需要什么？答案是明确的：答案明确、能够自动验证的题目；专家级的难度分布；区分"推理过程正确"和"碰巧得到正确答案"的评价方法。这些条件几乎不可能从公开互联网获取，普通众包标注也难以胜任，合成数据更是无能为力。

专家数据：被推迟的那门课

可以说，蒸馏时代最大的遗留问题，就是数据生产能力的建设被系统性地推迟了。当instruction tuning仍是主要战场时，这项投入的紧迫性并不明显。但当reasoning能力成为新的竞争焦点，没有专家参与、没有可验证奖励信号支撑的团队，开始感受到切肤之痛。 判断一家实验室是否真正具备数据能力，有一个朴素的检验标准：前沿模型在它的测试集上会不会失败，失败得是否具体。如果一道数学题前沿模型五次作答的平均得分只有1.6分，失败原因清晰可循——比如把一个可以初等求解的积分草率判定为"非初等"，然后在错误前提下完成整套推导——那么这道题的价值就远超分数本身。它暴露的不是知识欠缺，而是判断力的缺陷，而这恰恰是强化学习训练最需要的那种信号。 未来18个月，模型差距可能更多地集中在四类任务上：多步数学与科学推理、长程agent任务、医疗法律金融等专业问题，以及需要复杂判断的开放性任务。这四类恰好是蒸馏最无能为力、专家数据最不可替代的地带。在这些任务上持续掉队的团队，大概率可以反推出它的数据基建出了问题。

如有侵权，请联系删除。