**DumpsterCluster:用退役GPU集群低成本服务LLaMA-70B推理** _DumpsterCluster: From Dumpster Di
原帖
**DumpsterCluster:用退役GPU集群低成本服务LLaMA-70B推理**
_DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs_
> 论文研究将数据中心退役的二手GPU组成集群(DumpsterCluster)以提供LLM推理服务。团队用二手组件构建了128-GPU集群,成本仅2.2万美元,远低于新一代8-GPU B200系统的60万美元。通过流水线并行优化,基于V100的集群可实现有竞争力的LLaMA-70B吞吐量。但旧GPU能耗较高,在电网平均碳强度下,二手系统碳排放比新硬件高4倍(8B模型)至40倍以上(70B模型)。研究指出,仅在清洁能源和有利能源经济条件下,二手GPU复用才兼具经济性与可持续性。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-08-18 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2608.14614)