英伟达推出Qwen3.6-27B量化版：显存节省2.5倍，但性能表现参差不齐

英伟达官方近日发布了Qwen3.6-27B的NVFP4量化版本（nvidia/Qwen3.6-27B-NVFP4），采用NVIDIA ModelOpt工具链进行4位量化处理。这一版本最大的亮点在于将参数位宽从16bit压缩至4bit，使得磁盘和GPU显存需求降低约2.5倍，同时模型权重和激活值均纳入量化范围。从纸面参数来看，这似乎是一个极具吸引力的优化方案——Apache 2.0开源协议、支持vLLM直接部署、官方背书的量化流程，都让它看起来像是本地部署玩家的理想选择。

精度表现：基本稳住，但需区分场景

然而，仔细审视模型卡文档和社区反馈后，情况远比表面复杂。这个量化方案在某些场景下确实表现出色，但在另一些场景中却可能适得其反。英伟达官方的评测数据显示，NVFP4与FP8版本在各项基准测试中的差距大多在0.5个百分点以内，甚至在MMLU Pro上还略有提升（86.3 vs 86.1），这说明精度层面的损失基本可控。

性能测试：不同场景差异显著

从官方公布的精度数据来看，NVFP4版本在MMLU Pro、GPQA Diamond、HLE、τ²-Bench等多个基准测试中与FP8版本表现接近，差值均在0.5以内。社区用户进行的7项质量测试也印证了这一结论：诗歌创作、投诉邮件撰写、HTML代码生成、逻辑题转换等任务中，两个版本的输出质量基本相当。值得注意的是，在长文档处理（59KB文档转JSON）等场景下，NVFP4甚至略有优势。 不过，在涉及确定性代码生成任务时，情况有所不同。有测试显示，在thinking mode下，NVFP4版本在处理一个简单的Python任务时，未能在16K token预算内完成函数编写，而FP8版本则能正确完成。这意味着在需要精确代码生成的场景中，用户需要谨慎评估NVFP4的适用性。

已知问题：重复token与兼容性

不同测试条件下，NVFP4和FP8的性能表现呈现出有趣的分化。在一组RTX PRO 6000 Blackwell 96GB的测试中，NVFP4版本的decode速度普遍在200 tokens/s左右，而FP8版本则在111-119 tokens/s区间，NVFP4领先明显。然而，在prefill场景下，FP8反而更具优势。以pp4096/tg32/d0为例，FP8达到9,785 tokens/s，而NVFP4仅为6,782 tokens/s。TTFT（首token时间）测试也显示类似趋势。 另一组更完整的对比测试则给出了不同结论：在单条小prompt decode场景中，FP8反而快约10%；大prompt decode场景下，FP8领先约12%。综合来看，FP8在decode-bound场景中稳定快8-12%，而NVFP4仅在大prompt并发（prefill-bound场景）中小幅领先。关键在于，显存占用的降低并不自动等价于吞吐量的提升。

实用建议：场景驱动的选型策略

社区反馈中最值得关注的问题是重复tokenbug。用户在B200、DGX Spark、RTX PRO 6000 Blackwell等Blackwell架构硬件上多次遇到输出满屏"!"或"d"的情况。虽然从vLLM nightly版本切换到v0.24.0官方Release后有所缓解，但问题并未完全消除。此外，v0.24.0版本中flashinfer 0.6.12会导致AutoTuner出现数百次重复调优，虽然升级到0.6.13后有所改善，但在chain-of-thought输出中仍可能出现异常token。 部署方面，官方推荐使用vLLM serve加载模型，启用modelopt量化方式和qwen3推理解析器。对于需要工具调用、推测解码（MTP）、前缀缓存等高级功能的场景，社区也提供了更详细的配置参数供参考。

如有侵权，请联系删除。