开源项目「EXO」+限制Mac、手机==本地超强AI集群！

不二如是

开源项目 EXO 提供了一种创新的解决方案，使用户能够利用日常设备（如手机、平板、电脑等）组建分布式 AI 集群，从而以较低成本运行大型模型。

在线学习：



EXO 的核心技术是 动态模型分区，它根据当前网络拓扑和可用设备资源，优化地将模型分割并分配到各个设备上运行。

这意味着，即使单个设备的性能有限，通过将多个设备连接在一起，仍然可以运行比单个设备所能承载的更大的模型。

此外，EXO 具备 自动设备发现 功能，能够自动检测同一网络中的其他设备，无需手动配置，简化了集群的搭建过程。

在实际应用中，EXO 支持多种模型，包括 LLaMA、Mistral、LlaVA、Qwen 和 Deepseek 等。 用户只需确保所有设备的总内存满足所需模型的要求，即可运行大型模型。

例如，运行 LLaMA 3.1 8B（fp16）模型需要总计 16GB 的内存，这可以通过多台设备的内存总和来满足。

EXO 的设计考虑了设备性能的异构性，即使添加性能较低的设备，虽然可能会增加单次推理的延迟，但整体上会提高集群的吞吐量。

通过 EXO，用户可以充分利用现有的日常设备，构建一个低成本且可扩展的 AI 集群。

这对于希望探索 AI 技术但受限于硬件资源的个人或小型团队而言，提供了一种可行的途径。

EXO 的开源性质也鼓励社区的持续贡献和改进，推动 AI 技术的普及和发展

sunshine_8205

不二如是

感谢分享

不二如是

sunshine_8205 发表于 2024-12-17 17:48

搭建一下

某一个“天”

感谢分享

tomok

感谢分享