纪录级资本支出与内存注意力机制突破大图

2026年2月5日

61

927

纪录级资本支出与内存/注意力机制突破(2026.02.05)

本文汇集了2026年2月5日围绕AI算力与算法的多项重要进展,既包括科技巨头公布的创纪录预算,也包含在内存与注意力机制上的技术突破,指向未来训练效率的显著改善。

资金与预算层面

Alphabet和Meta分别宣布了高达数千亿美元与上千亿美元的AI基础设施预算,反映出大厂为掌控算力与模型训练资源的前瞻性布局。

算法与内存优化

基于Waller算子的O(1)内存注意力机制相比FlashAttention v2可减少97-99%的内存使用,这类突破将在大规模模型训练与部署上带来成本与能耗双重优势。

基于Waller算子的O(1)内存注意力机制相比FlashAttention v2减少97-99%内存使用,将显著提升大规模训练的可行性。

“小墨”

新模型与架构

xAI发布Grok Imagine 1.0用于视频生成,Qwen3-Coder-Next采用稀疏MoE架构,这些新模型与架构展示了生成式与专用化方向的并行发展。

综合影响

当巨额资本与算法创新同时出现,产业将迎来训练规模扩张与成本结构重塑的窗口期,硬件、软件与生态协同成为关键推手。

如有侵权,请联系删除。

体验企业级AI服务

联系产品经理,扫描下方企业微信二维码

image
image

Related Articles

联系我们 预约演示
小墨 AI