如何真正判断一个新AI模型的实力？

每隔一段时间，AI行业就会迎来一个"史上最强模型"。官方榜单刷新，编程能力提升多少个百分点，推理成绩超过多少人类专家。紧接着，社交平台上开始出现大量炫酷演示：一句话生成网站、复刻某款产品、制作SVG动画，或者在几十秒内写出一个小游戏。然而，看完这些演示之后，我们依然很难回答一个最基本的问题：这个新模型，到底比上一个模型强在哪里？当主流模型都能生成漂亮网页时，单纯展示最终效果，已经越来越难反映它们的真实差距。

炫酷Demo的三大局限

用前端页面测试新模型确实足够直观。不需要解释复杂的评测指标，也不需要理解模型原理，一张精美截图、一段流畅动画，就能让人立刻产生"这个模型好强"的感觉。但这种测试的局限也很明显。

Karpathy的评测方法

首先是任务通常很短。模型接收一段提示词，生成几百行代码，一个页面很快就完成了。这能证明模型具备一定的代码和审美能力，却无法测试它能不能处理一个持续数小时、包含多个阶段的复杂项目。其次，很多前端任务具有高度相似的模式。渐变背景、玻璃拟态、三栏卡片和滚动动画，已经成为AI建站Demo中反复出现的视觉语汇。模型生成的是一个看起来不错的标准答案，却未必真正理解了用户要解决的问题。更重要的是，我们看到的往往只有最成功的结果。测试者尝试了多少次？中间修改了多少轮？模型犯过哪些错误？有没有大量人工介入？这些过程通常不会出现在最终演示中。于是，一个原本应该用于判断模型能力的测试，很容易变成产品营销。

真实能力的试金石

最近，一位知名AI研究者做了一个很有意思的实验。他没有让模型再生成一个常规网站，而是给它设计了一个开放、复杂，并且没有标准答案的任务。他把《指环王》的开篇文字交给当时的大模型，给出100万token预算、成本约10美元，然后要求模型用Three.js把这段文字变成一个三维世界。模型持续工作了大约两个小时，最终写出5500行代码，通过程序搭建场景、放置各种多边形物体，并为它们编排动画。

这个实验测到了什么

最终作品并不精致。一些场景看起来很粗糙，部分动画也不够自然。如果把它和专业游戏团队的作品放在一起比较，差距当然非常明显。但真正令人惊讶的并不是画面质量，而是模型居然能把这个项目整体运行起来。因为这项任务远不只是写一个Three.js网页。模型需要先理解文学描述，再把抽象文字转换成空间关系：场景里应该出现什么，物体应该放在哪里，角色如何移动，镜头如何变化，故事又该按照怎样的顺序演出。随后，它还要把这些决定落实成数千行代码，并尽量保证前后逻辑一致。这是一个由语言理解、任务规划、空间推理、视觉表达、动画设计和软件工程共同组成的综合任务。

如有侵权，请联系删除。