训练一个前沿大模型需要的算力,以"万卡"为单位起步:Meta 训练 Llama 3 405B 用了 16,384 块 NVIDIA H100(据 Meta 官方论文);xAI 训练 Grok 的 Colossus 集群从 10 万块 GPU 起步,据公开报道 2025 年底已超 23 万块。但数字背后有三个真相:第一,芯片到货不等于可用算力,互联、电力、散热任一环节掉链子,GPU 只能闲置;第二,"等效算力""物理 GPU""互联集群"是不同口径,不能直接比较;第三,增加资源不等于增加有效智能——Grok 一次迭代能力指数涨 9 点,代价是 API 费用涨 2.47 倍、耗时涨 2.01 倍。(信息截至 2026-10-13)
| 模型 / 集群 | 算力规模 | 来源与口径 |
|---|---|---|
| Llama 3 405B(Meta) | 16,384 块 H100 | Meta 官方论文披露的训练配置 |
| DeepSeek-V3 | 2,048 块 H800 | 公开训练技术报告 |
| Colossus(xAI,初建) | 10 万块 Hopper GPU,122 天建成 | NVIDIA 官方声明 |
| Colossus(扩容后) | 20 万块 GPU | xAI 官方披露 |
| Colossus 1(2026 年 5 月) | 超 22 万颗混合 GPU(H100/H200/GB200) | xAI 合作披露 |
| xAI 全集团(2025 年末) | 超 100 万 H100"等效算力" | 200 亿美元 E 轮融资披露口径 |
注意最后一行的"等效算力"四个字:它是把不同型号、不同精度的芯片折算成的统一口径,不等于物理 GPU 数量。《xAI 深度研究报告》特别提醒,"百万等效算力""百万实际设备""一个互联集群""集团所有机房"是四个不同概念,混合型号、精度、带宽、利用率都会影响换算——看到"百万级"先问口径,再谈规模。
为什么有了 GPU 还不等于有了算力?报告列出了计算服务的六个瓶颈:芯片与 HBM(芯片到货不等于配套完成)、互联(拓扑、有效带宽、故障恢复决定多少设备能真正协同训练)、稳定电力、散热、计算需求与调度(训练、推理、外部租赁不能重复计算同一容量)、资本回收。
Colossus 的建设速度本身就是一个案例:首批 10 万块 GPU 在 122 天内建成投运,92 天后扩容到 20 万块。但报告强调,设备库存必须转成"可使用的计算"才有意义——算力优势与模型优势必须分别计算,设备总量不能直接等同于某个模型可独占的训练资源。更有意思的是,xAI 还把 Colossus 1 的访问权卖给了竞争对手 Anthropic,用于改善后者的订阅服务容量:基础设施可以服务竞争者,这恰恰说明"拥有 GPU"和"用 GPU 训练出领先模型"是两回事。
电力是另一个硬约束。据 IEA 报告预计,全球数据中心耗电将由 2025 年的 485 TWh 增至 2030 年的 950 TWh。Colossus 满负荷运行时每天需要数百万加仑冷却水和约 150 兆瓦电力——算力的天花板,最后往往是电网和变电站说了算。据公开报道,xAI 甚至从海外整建制采购 2GW 级燃气发电能力为未来训练供电,电力已成为和 GPU 同等重要的战略资源。
算力只是 Scaling 的一维。Seed2.0 Pro 的官方训练数据摘要披露,其预训练文本超过 10 万亿 Token、图像超过 10 亿张——数据规模同样是天文数字。而算法效率的差异更为惊人:DeepSeek-V3 用 2,048 块 H800 就达到了接近前沿的水平,靠的是架构与工程创新,而非堆卡。
《xAI 深度研究报告》第五章的标题就是结论:"增加资源不等于增加有效智能"。今天的 Scaling 对象已经扩大:除了预训练参数、数据和计算,还包括执行时长、并行实验、工具、记忆、反馈与验证。报告把"研发转化率"——每单位完整研发投入产生的、经任务验证的新能力增量——看作比"GPU 数"更接近智能增长本质的指标,只是目前没有任何公司公开过可计算这一指标的数据。资源之间还存在替代关系——更好的验证器可减少无效搜索,更好的记忆可减少重复检索。正确的问题不是"堆了多少卡",而是"在固定预算下,增加哪一种资源,结果如何变化"。
报告引用了 Artificial Analysis 的独立评估:Grok 从 Build 4.6 迭代到 4.7,Agent 能力指数从 47 涨到 56,但平均 API 费用涨到约 2.47 倍、运行时间涨到约 2.01 倍。能力分数提高不等于效率提高——如果只看成功率,会错过资源消耗同步膨胀的事实。
报告还提出了一个"研发转化率"概念:每单位完整研发投入产生的、经任务验证的新能力增量。它比"GPU 数"更接近智能增长的本质,但遗憾的是,没有任何一家公司公开过可计算这一指标的数据。
讨论算力时还要分清训练和推理。训练是一次性的巨额投入,推理是持续的水电煤。Colossus 这类集群的容量要在训练、推理、外部租赁、验证实验之间分配,不能重复计算——同一块 GPU 同一时间只能干一件事。
一个趋势是:随着模型投入使用,推理算力的占比越来越高。Grok 要服务 X 平台的海量用户,每次对话都要消耗算力;Agent 模式下,一个任务可能调用模型几十上百次,推理开销随之膨胀。xAI 把 Colossus 访问权租给 Anthropic,某种程度上也是在用外部收入对冲这笔持续开支。所以"训练用了多少卡"只是故事的一半,另一半是"每天在线服务烧掉多少卡"。对普通用户而言,推理成本最终会体现在 API 价格和订阅费里——这也是各家拼命优化推理效率的根本动力。
公开数字很少。按 2026 年 9 月云厂商行情,H100 按需租用约 1.8–5.4 美元/小时/卡。16,384 块 H100 跑一个月,仅 GPU 租金就是数千万美元量级——这还不包括电力、网络、人力和失败重试的成本。据公开报道,xAI 为 Colossus 配套从海外采购了 2GW 级燃气发电能力,基建投入同样巨大。
训练前沿基座模型基本没戏,但微调和蒸馏是另一回事:7B–70B 级别的模型微调用几块 H100 就能做;DeepSeek-V3 证明 2,048 块 H800 也能训出前沿模型。算力门槛在"预训练"环节最高,在"后训练"环节低得多。
不一定。这是报告点名的"最容易出现的误读":集群大,所以模型一定领先。模型决定判断质量,系统决定实际工作范围,基础设施决定可扩展程度——算力是可持续优势的候选,而非"算力=智能"的简单等式。DeepSeek-V3 就是反例。
还早。SpaceX 向 FCC 申请了最多 100 万颗卫星的轨道数据中心系统,但受理不等于许可,更不等于稳定算力。报告的判断是:需要高带宽同步的巨大模型训练,与延迟容忍的在轨任务不是同一种计算市场;以 GW 为尺度,热管理仍是大型系统工程。轨道算力值得作为 2026–2036 年的选项研究,但当前不足为据。
想系统理解算力与智能增长的关系,推荐阅读《xAI 深度研究报告》。报告以十六章的篇幅解剖了 xAI 的算力体系:Colossus 三档官方数字的口径辨析、设备库存如何转为可用计算、六个算力瓶颈、"增加资源不等于增加有效智能"的完整论证,以及轨道算力的工程现实检验——是中文世界对"算力军备竞赛"最冷静的一次拆解。
阅读 《xAI 深度研究报告》 全文