扎克伯格说Meta训练Llama 4所需的计算能力是Llama 3的10倍

Meta 公司开发了最大的基础开源大型语言模型之一 Llama，该公司认为未来将需要更强的计算能力来训练模型。马克-扎克伯格（Mark Zuckerberg）在本周二的 Meta 第二季度财报电话会议上表示，为了训练 Llama 4，公司需要比训练 Llama 3 多 10 倍的计算能力。但他仍然希望 Meta 能够提高训练模型的能力，而不是落后于竞争对手。

扎克伯格说：“训练 Llama 4 所需的计算量很可能是我们训练 Llama 3 所需的计算量的近 10 倍，而且未来的模型还将继续增长。很难预测未来几代人的发展趋势。但在这一点上，考虑到启动新推理项目的筹备时间较长，我宁愿冒险在需要之前建设能力，而不是为时已晚。”

Meta于今年 4 月发布了拥有 800 亿个参数的 Llama 3。该公司上周发布了该模型的升级版，名为Llama 3.1 405B，拥有 4 050 亿个参数，成为 Meta 最大的开源模型。

Meta 公司首席财务官苏珊-李（Susan Li）也表示，公司正在考虑不同的数据中心项目，并建设能力来训练未来的人工智能模型。她说，Meta 预计这项投资将在 2025 年增加资本支出。

训练大型语言模型是一项成本高昂的工作。在服务器、数据中心和网络基础设施投资的推动下，Meta 的资本支出从去年同期的 64 亿美元增至 2024 年第二季度的 85 亿美元，增长了近 33%。

根据The Information 的报道，OpenAI 在训练模型上花费了 30 亿美元，另外还以折扣价从微软租用了 40 亿美元的服务器。

"随着我们扩大生成式人工智能的训练能力，以推进我们的基础模型，我们将继续以灵活的方式建设我们的基础设施。这将使我们能够将训练能力用于基因人工智能推理或我们的核心排名和推荐工作，当我们预计这样做会更有价值时，我们就会这样做，"李开复在电话会议上说。

在电话会议上，Meta 还谈到了面向消费者的Meta AI 的使用情况，并表示印度是其聊天机器人的最大市场。但李开复指出，公司并不指望 Gen AI 产品能对收入做出重大贡献。