菜单
English articles本文暂无译文
积墨AI

积墨AI

RTX Spark 对决 M5 Max:本地跑 Agent 谁更强?长上下文才是真正的分水岭

端侧 AI 笔记本正在进入「顶配对决」时代:一边是搭载 RTX Spark 的 Surface Laptop Ultra,128G 统一内存,官方售价四万八;另一边是 M5 Max 芯片的 16 英寸 MacBook Pro,同样 128G 统一内存,售价五万三。两台机器外观相似、定位相同,跑本地大模型到底谁更快?此前我们首发评测 RTX Spark 时,125B 的 Qwen3.8-Flash-Next 经 Q4 量化后体积高达 104G,Windows 下 GPU 最多只能分到 96G,约两成权重被迫挤进系统内存由 CPU 与 GPU 协同计算,实测在 MTP 草稿模型加持下仍能跑出每秒约 25 个 token。评论区问得最多的却是:和 M5 Max 的 MacBook Pro 比,谁更强?

算力与带宽:两条技术路线

要回答这个问题,先要看清两台机器各自的核心优势。RTX Spark 的底气来自英伟达 Blackwell 架构算力与 CUDA 生态,官方标称 FP4 算力达 1 PFLOPS,开源社区的模型与加速工具也大多优先围绕 CUDA 构建。Mac 的杀手锏则是内存带宽:M5 Max 达到 614GB/s,而当前这一代统一内存 PC 产品——包括 RTX Spark——都还在 300GB/s 以内,差距超过一倍。一边算力强、一边带宽高,落到本地大模型推理上,究竟谁更快,需要实测说话。

两组实测数据:各赢一半

科技博主 Matthew Moniz 用华硕 ProArt P16 与惠普 OmniBook Ultra 16 两台 RTX Spark 笔记本,对战 128G 的 M5 Max MacBook Pro,统一使用 llama.cpp,从 9B、27B、35B 一路测到 120B。结论是各赢一半:处理提示词时 RTX Spark 更快,9B 模型上 ProArt 每秒处理 2678 个 token,Mac 为 2353 个,27B 上领先约 28%;但生成速度 Mac 明显领先,9B 模型每秒 86 对 47,27B 为 27 对 16,120B 为 96 对 64。长文档测试中,27B 读 50 页文档,RTX Spark 45 秒即开始回答,Mac 等了 68 秒,但答案写完两边总耗时均为 117 秒;换成 120B 模型,RTX Spark 总耗时 42 秒,Mac 52 秒,这次 RTX Spark 赢了。

端侧 AI 设备的胜负,不在参数表里、不在峰值跑分里,而在真实工作负载的每一个上下文里。

“行业观察”
积墨 AI 核心产品

积墨 AI 智能体开发平台

快速搭建具备商业价值的 AI 智能体,支持复杂工作流编排、50+ 主流模型接入与私有化部署。

预填充拼算力,解码拼带宽

从多年产业实践经验来看,理解这组数据的关键在于拆解大模型回答问题的两个阶段。第一步是预填充:模型把你发送的内容从头到尾读一遍,这一步拼的是算力,决定了按下回车后要等多久才看到第一个字。第二步是解码:模型逐字生成答案,每写一个字都要把权重从内存里搬一遍,拼的是内存带宽,决定了每秒能吐出多少 token。读题拼算力、写答案拼带宽,恰好对应两台设备的各自长板。所以 27B 读 50 页文档那组数据就好理解了:RTX Spark 读题快了 23 秒,Mac 写答案又把 23 秒追了回来,最终打平。而 Agent 场景正好反转——它完成一个任务要调用模型几十上百次,每轮都要把系统提示、工具说明、历史对话和工具返回结果重新喂给模型,输出往往只是几十个字的工具调用指令,读是写的几十倍甚至上百倍。这也是 AgentPerf 测试中,同样跑 Qwen3.8 27B,RTX Spark 用时 18.9 分钟,M5 Max 用了 24.74 分钟、被远远甩开的原因。任务跑得越久、上下文越长,读题在总时间里占比越大,120B 读长文档那组,RTX Spark 生成慢了三成,总时间反而快 10 秒,道理相同。

持续负载与两个待解疑问

对跑 Agent 的用户来说,持续负载比峰值跑分更有参考价值。Matthew Moniz 让 27B 模型连续运行 10 分钟,Mac 的生成速度从每秒 30 个 token 掉到 24 个,而 ProArt 一直稳在 16.5 个——Agent 往往一跑就是几个小时甚至一整夜,速度稳定比瞬时峰值更重要。当然,海外评测也留下了两个未解问题:其一,M5 Max 在每个 GPU 核心里加了神经网络加速器,苹果称 AI 算力是上一代的 4 倍以上,llama.cpp 未必吃得满这部分算力,若换成苹果自家的 MLX 框架,Mac 的读题速度能否追上来?其二,我们此前评测 125B 模型时,RTX Spark 上有两成权重挤在系统内存里,而 Mac 一行命令就能把 GPU 可用内存调到 120G 左右,整个模型放得下——这种情况下 RTX Spark 读题快的优势还剩多少?这些变量都可能改写结论。

回到标题的问题:RTX Spark 跑 Agent 真比 Mac 强吗?从目前的实测数据看,答案是肯定的,尤其在长上下文与 Agent 场景下优势明显。但如果你主要用本地模型聊天、写作,Mac 的带宽优势反而更爽。买哪台,先想清楚自己让它干什么活。

#端侧大模型#RTX Spark#M5 Max#llama.cpp#长上下文#AgentPerf
分享文章

相关文章推荐

试用咨询
企业微信二维码

扫码添加企业微信