十倍参数增长与GPU推理落地：广告转化率模型的架构升级实践

在数字广告领域，转化率（CVR）预估模型的精度直接影响着广告收入与用户体验。随着深度学习技术的快速发展，广告预估模型正经历从「稀疏特征+轻量MLP」向「更大稠密网络、更复杂特征交互、更长用户行为序列」的演进。某头部视频平台的实践表明，过去两年间其CVR模型参数量增长超过10倍，稠密计算量从5~8 MFLOPs跃升至60~70 MFLOPs。这一变化使得原有TensorFlow+CPU算力链路逼近成本与算力瓶颈，模型迭代空间出现明显制约。

框架迁移与效果对齐

面对这一挑战，技术团队选择将框架升级至PyTorch+GPU方案。之所以选择这一路径，核心在于PyTorch在矩阵计算上的显著优势——GPU在矩阵乘、batch matmul、归一化等高并行算子上具有天然优势，特别适合处理参数矩阵越来越大、序列越来越长的复杂模型。同时，PyTorch提供的动态图体验、成熟的CUDA算子生态、混合精度训练支持以及模型导出工具，可以让复杂结构从实验到上线的链路更短。此外，行业与开源生态也正朝着同一方向快速演进。

稠密模型Scaling Up架构设计

框架迁移并非简单的代码改写，而是需要在TensorFlow与TorchRec之间建立效果等价。TorchRec采用分布式同步更新模式（梯度all-reduce），而TensorFlow使用异步更新模式；Dense参数和Sparse参数的配置逻辑也存在差异；部分API的默认值处理更是需要严格比对。建设初期，两个框架的模型存在接近1个百分点的AUC差异。技术团队通过系统性的调优解决了这一问题：稠密层权重采用Glorot均匀初始化、稀疏Embedding采用uniform unit scaling策略；多值稀疏特征的聚合方式从sum调整为mean以对齐期望；针对PyTorch的同步更新模式，将损失函数在batch维度调整为mean方法聚合；Dense参数与Sparse参数的优化器拆分，并采用更稳定的AdamW优化器。经过多轮迭代，TorchRec模型离线AUC成功打平线上基线。

推理性能优化

效果对齐后，技术团队开始对模型本身进行深度升级。整体模型架构自上而下分为三层：特征输入层、特征交互层与多任务预测层。特征输入层处理两类输入——用户历史交互序列（如实时点击、点击空间、离线转化序列）经Embedding后concat表示；非序列特征（用户、Item、上下文）经Embedding后concat。为降低查表开销，多组序列共用底层ID嵌入表。特征交互层借鉴Query Decoding与Query Boosting思路，将交互过程拆解为两个阶段：并行输入准备阶段将异构输入拉齐到同一维度，非序列特征采用多头化Tokenization方式保留语义多样性；序列特征经过SwiGLU网络映射至同一隐空间。相比自注意力，SwiGLU以线性复杂度完成逐位置变换，在长序列场景下更具优势。Query Decoding阶段以非序列为「问句」检索序列信息，通过调整注意力温度系数保证注意力权重的「有效秩」维持在高位。Query Boosting阶段则将序列解码Token与非序列Token合并后送入Token Mixer模块执行「解构→融合→重构」，实现全局信息融合与语义校准。预测层采用PLE+MLP结构

未来展望

完成模型升级后，技术团队针对推理性能进行了系统性优化。在数据搬运环节，通过批量concat操作与GPU Buffer复用减少冗余拷贝；在Sparse查表环节，合并多组Embedding Lookup、特征对齐、变长序列处理等操作为更少的GPU算子，减少Kernel Launch开销；在Dense计算环节引入TensorRT做图优化、算子融合和kernel选择，并采用BF16推理降低显存带宽开销；在Kernel调度环节使用CUDA Graph捕获稳定kernel launch序列进行重放，减少CPU侧调度成本；在请求合并环节，Triton Server支持User/Item混合批处理，通过延迟User特征复制的「Lazy」策略减少显存占用。此外，技术团队还建立了基于大模型的自动化性能调优Workflow，将人工调优耗时减少50%。优化后，机器成本降低15%，超时率从0.15%降至0.03%。

如有侵权，请联系删除。