Exo - HOX开源项目库

Exo 让你可以将家中闲置的电子设备（如 iPhone、iPad、MacBook、Windows PC 等）组合成一个强大的 AI 集群。通过动态显存分配技术，它能让单台显存不足的设备合力运行 70B+ 的大参数模型。

Exo 分布式集群示意图

描述

项目简介

Exo 让你可以将家中闲置的电子设备（如 iPhone、iPad、MacBook、Windows PC 等）组合成一个强大的 AI 集群。通过动态显存分配技术，它能让单台显存不足的设备合力运行 70B+ 的大参数模型。

为什么选择 Exo？

变废为宝：无需购买昂贵的 H100 显卡，利用闲置设备算力
隐私安全：所有推理过程都在本地局域网完成，数据不出户
跨平台：支持 macOS, Linux, Windows, iOS, Android 混合组网

技术参数

适用场景 Home Cluster

开发语言 Python

平台支持 All Platforms

核心技术 Dynamic VRAM

硬件要求

8GB+ RAM Python 3.10+ Wi-Fi 6 (推荐)

快速上手

# 1. 安装 exo

pip install exo-core

# 2. 启动主节点

exo start --role master

# 3. 在其他设备上加入集群

exo join <master_ip>

# 4. 运行模型

exo run llama-3-70b

性能表现

3x MacBook Air (M1, 8GB)

在三台入门级 MacBook Air 组成的集群上，运行 Llama-3-70B 模型的推理速度可达 4-5 tokens/s。

虽然速度不如专业 H100 显卡，但对于个人学习、实验和非实时应用来说，这是一种零成本运行超大模型的有效方案。

Llama-3-8B 25 t/s

Llama-3-70B 4.5 t/s

资源下载

Docs

官方文档

包含详细的安装指南、配置说明和常见问题解答。

阅读文档

Source

GitHub 仓库

查看源码、提交 Issue 或贡献代码。

访问仓库

加入开发者社群

获取 PCB 源文件、BOM 表及技术支持。

项目成员

Alex

发起人

Exo 核心调度算法设计者。

Bob

网络优化

负责 P2P 通信与延迟优化。

Charlie

前端开发

负责 Dashboard 可视化界面开发。

加入开发者社群

描述

项目简介

为什么选择 Exo？

技术参数

硬件要求

快速上手

性能表现

3x MacBook Air (M1, 8GB)

资源下载

官方文档

GitHub 仓库

加入开发者社群

项目成员

评论