把八台「NVIDIA DJX Spark」(每台128GB内存)用高速网络组成1TB显存集群!能干啥?!
过程中踩了不少坑:买错了QSFP线缆型号、交换机端口被硬编码为50G、还得花1300美元买MicroTik交换机……
在线学习:
https://www.bilibili.com/video/BV1ejfxBCE2x
好在有Claude AI当远程运维助手,SSH登录交换机帮忙排查问题,最终实现了**** Hidden Message *****
测试结果:
小模型(Qwen3 4B)集群加速不明显,但大模型表现亮眼——Qwen3 VL 32B从单节点3.58 tok/s飙到四节点11.36 tok/s,扩展性近乎线性
最炸裂的是成功在八节点上运行了800GB的Qwen 3.5(3970亿参数)和600GB的Kimi K2,分别达到24和13.35 tok/s。
评论区聊聊你的想法吧{:10_330:}
https://xxx.ilovefishc.com/forum/202505/12/120451wiv7viv5iebupbbr.png
>>万能兑换C币许愿池<<
如果有收获,别忘了评分{:10_281:} :
https://xxx.ilovefishc.com/forum/202011/20/092334ggd6inlzfisfrdir.png.thumb.jpg
https://xxx.ilovefishc.com/forum/202505/21/111710rvxgdn90vaub5gag.gif
感谢分享!!鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛!朕超喜欢这里{:13_438:} 感谢分享!!鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛!朕超喜欢这里{:13_438:} 感谢分享!!鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛!朕超喜欢这里{:13_438:} 感谢分享!!鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛!朕超喜欢这里{:13_438:}
页:
[1]