zhudong.si中文EN
热词解读 · TOPIC

大模型训练需要多少算力?数字一次讲清

关键词 大模型训练需要多少算力更新 2026-10-13
直接答案:

训练一个前沿大模型需要的算力,以"万卡"为单位起步:Meta 训练 Llama 3 405B 用了 16,384 块 NVIDIA H100(据 Meta 官方论文);xAI 训练 Grok 的 Colossus 集群从 10 万块 GPU 起步,据公开报道 2025 年底已超 23 万块。但数字背后有三个真相:第一,芯片到货不等于可用算力,互联、电力、散热任一环节掉链子,GPU 只能闲置;第二,"等效算力""物理 GPU""互联集群"是不同口径,不能直接比较;第三,增加资源不等于增加有效智能——Grok 一次迭代能力指数涨 9 点,代价是 API 费用涨 2.47 倍、耗时涨 2.01 倍。(信息截至 2026-10-13)

先看数字:前沿模型训练的算力规模

模型 / 集群 算力规模 来源与口径
Llama 3 405B(Meta) 16,384 块 H100 Meta 官方论文披露的训练配置
DeepSeek-V3 2,048 块 H800 公开训练技术报告
Colossus(xAI,初建) 10 万块 Hopper GPU,122 天建成 NVIDIA 官方声明
Colossus(扩容后) 20 万块 GPU xAI 官方披露
Colossus 1(2026 年 5 月) 超 22 万颗混合 GPU(H100/H200/GB200) xAI 合作披露
xAI 全集团(2025 年末) 超 100 万 H100"等效算力" 200 亿美元 E 轮融资披露口径

注意最后一行的"等效算力"四个字:它是把不同型号、不同精度的芯片折算成的统一口径,不等于物理 GPU 数量。《xAI 深度研究报告》特别提醒,"百万等效算力""百万实际设备""一个互联集群""集团所有机房"是四个不同概念,混合型号、精度、带宽、利用率都会影响换算——看到"百万级"先问口径,再谈规模。

芯片到货不等于可用算力:六个瓶颈

为什么有了 GPU 还不等于有了算力?报告列出了计算服务的六个瓶颈:芯片与 HBM(芯片到货不等于配套完成)、互联(拓扑、有效带宽、故障恢复决定多少设备能真正协同训练)、稳定电力、散热、计算需求与调度(训练、推理、外部租赁不能重复计算同一容量)、资本回收。

Colossus 的建设速度本身就是一个案例:首批 10 万块 GPU 在 122 天内建成投运,92 天后扩容到 20 万块。但报告强调,设备库存必须转成"可使用的计算"才有意义——算力优势与模型优势必须分别计算,设备总量不能直接等同于某个模型可独占的训练资源。更有意思的是,xAI 还把 Colossus 1 的访问权卖给了竞争对手 Anthropic,用于改善后者的订阅服务容量:基础设施可以服务竞争者,这恰恰说明"拥有 GPU"和"用 GPU 训练出领先模型"是两回事。

电力是另一个硬约束。据 IEA 报告预计,全球数据中心耗电将由 2025 年的 485 TWh 增至 2030 年的 950 TWh。Colossus 满负荷运行时每天需要数百万加仑冷却水和约 150 兆瓦电力——算力的天花板,最后往往是电网和变电站说了算。据公开报道,xAI 甚至从海外整建制采购 2GW 级燃气发电能力为未来训练供电,电力已成为和 GPU 同等重要的战略资源。

算力、数据、算法:Scaling 的三驾马车

算力只是 Scaling 的一维。Seed2.0 Pro 的官方训练数据摘要披露,其预训练文本超过 10 万亿 Token、图像超过 10 亿张——数据规模同样是天文数字。而算法效率的差异更为惊人:DeepSeek-V3 用 2,048 块 H800 就达到了接近前沿的水平,靠的是架构与工程创新,而非堆卡。

《xAI 深度研究报告》第五章的标题就是结论:"增加资源不等于增加有效智能"。今天的 Scaling 对象已经扩大:除了预训练参数、数据和计算,还包括执行时长、并行实验、工具、记忆、反馈与验证。报告把"研发转化率"——每单位完整研发投入产生的、经任务验证的新能力增量——看作比"GPU 数"更接近智能增长本质的指标,只是目前没有任何公司公开过可计算这一指标的数据。资源之间还存在替代关系——更好的验证器可减少无效搜索,更好的记忆可减少重复检索。正确的问题不是"堆了多少卡",而是"在固定预算下,增加哪一种资源,结果如何变化"。

一个反直觉的证据:能力涨了,效率没涨

报告引用了 Artificial Analysis 的独立评估:Grok 从 Build 4.6 迭代到 4.7,Agent 能力指数从 47 涨到 56,但平均 API 费用涨到约 2.47 倍、运行时间涨到约 2.01 倍。能力分数提高不等于效率提高——如果只看成功率,会错过资源消耗同步膨胀的事实。

报告还提出了一个"研发转化率"概念:每单位完整研发投入产生的、经任务验证的新能力增量。它比"GPU 数"更接近智能增长的本质,但遗憾的是,没有任何一家公司公开过可计算这一指标的数据。

训练算力 vs 推理算力:两笔不同的账

讨论算力时还要分清训练和推理。训练是一次性的巨额投入,推理是持续的水电煤。Colossus 这类集群的容量要在训练、推理、外部租赁、验证实验之间分配,不能重复计算——同一块 GPU 同一时间只能干一件事。

一个趋势是:随着模型投入使用,推理算力的占比越来越高。Grok 要服务 X 平台的海量用户,每次对话都要消耗算力;Agent 模式下,一个任务可能调用模型几十上百次,推理开销随之膨胀。xAI 把 Colossus 访问权租给 Anthropic,某种程度上也是在用外部收入对冲这笔持续开支。所以"训练用了多少卡"只是故事的一半,另一半是"每天在线服务烧掉多少卡"。对普通用户而言,推理成本最终会体现在 API 价格和订阅费里——这也是各家拼命优化推理效率的根本动力。

常见问题

训练一个大模型到底要花多少钱?

公开数字很少。按 2026 年 9 月云厂商行情,H100 按需租用约 1.8–5.4 美元/小时/卡。16,384 块 H100 跑一个月,仅 GPU 租金就是数千万美元量级——这还不包括电力、网络、人力和失败重试的成本。据公开报道,xAI 为 Colossus 配套从海外采购了 2GW 级燃气发电能力,基建投入同样巨大。

个人或小公司能训练大模型吗?

训练前沿基座模型基本没戏,但微调和蒸馏是另一回事:7B–70B 级别的模型微调用几块 H100 就能做;DeepSeek-V3 证明 2,048 块 H800 也能训出前沿模型。算力门槛在"预训练"环节最高,在"后训练"环节低得多。

GPU 数量越多模型一定越强吗?

不一定。这是报告点名的"最容易出现的误读":集群大,所以模型一定领先。模型决定判断质量,系统决定实际工作范围,基础设施决定可扩展程度——算力是可持续优势的候选,而非"算力=智能"的简单等式。DeepSeek-V3 就是反例。

轨道算力能解决算力瓶颈吗?

还早。SpaceX 向 FCC 申请了最多 100 万颗卫星的轨道数据中心系统,但受理不等于许可,更不等于稳定算力。报告的判断是:需要高带宽同步的巨大模型训练,与延迟容忍的在轨任务不是同一种计算市场;以 GW 为尺度,热管理仍是大型系统工程。轨道算力值得作为 2026–2036 年的选项研究,但当前不足为据。

想深入了解?

想系统理解算力与智能增长的关系,推荐阅读《xAI 深度研究报告》。报告以十六章的篇幅解剖了 xAI 的算力体系:Colossus 三档官方数字的口径辨析、设备库存如何转为可用计算、六个算力瓶颈、"增加资源不等于增加有效智能"的完整论证,以及轨道算力的工程现实检验——是中文世界对"算力军备竞赛"最冷静的一次拆解。

阅读 《xAI 深度研究报告》 全文