**FreeToken:面向边缘设备的带宽自适应MoE推理系统**

_FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution_

> FreeToken是一款专为个人机器设计的边缘原生MoE推理系统,通过协同优化模型布局、专家驻留、CPU-GPU执行和内存管理等全栈组件,动态适配异构硬件资源。该系统支持20余种MoE模型,可在8GB笔记本GPU上运行35B模型,在游戏本上服务284B模型,单工作站GPU更可部署753B的GLM-5.2,将开源模型转化为实用的本地推理平台。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-08-19 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2608.16157)