「DeepSeek R1 671B」本地运行要消耗电1000W？

不二如是

DeepSeek在训练阶段的能源效率较高，其R1模型的训练成本较低，且使用了更节能的Nvidia H800芯片。

然而，在推理阶段，DeepSeek的能耗表现并不如训练阶段显著。

根据MIT Technology Review的测试：

游客，如果您要查看本帖隐藏内容请回复

在线学习：



DeepSeek的671B模型在本地运行时，对硬件资源要求极高。例如，完整的671B模型需要至少512GB的内存和显存。

本地运行时，系统通常会限制其功耗。例如，一些测试表明，即使是高性能的推理系统（如配备RTX 4090或H100的设备），其功耗也通常限制在260瓦左右。

对于大规模推理任务，DeepSeek的能耗可能会因生成较长答案而增加。

关于“一整千瓦”的说法，这种说法可能被夸大了！

根据现有测试，即使是运行大规模模型的高性能设备，其功耗也通常在几百瓦的范围内。

例如，一个典型的推理任务可能消耗几十瓦到几百瓦的电力，具体取决于硬件配置和任务复杂性。

DeepSeek在训练阶段的能源效率较高，但在推理阶段，尤其是生成长答案时，其能耗可能会显著增加。

本地运行时，硬件的功耗限制和实际任务需求会影响电力消耗，通常不会达到“一整千瓦”的水平。

快速收敛

感谢分享