**在单块RTX 5090上运行Qwen 35B MoE模型实现45万token上下文窗口的设置指南**

_Show HN: Best setup local LLM found for a 5090 (llama.cpp fork + turboquant)_

> 本文详细介绍了在配备32GB显存的NVIDIA RTX 5090上，使用llama.cpp社区分支（支持TurboQuant）和YaRN缩放技术，成功运行Qwen 3.6 35B Mixture of Experts（MoE）模型（Q6\_K量化），并将上下文窗口扩展至45万token的具体配置、内存校准和性能权衡。指南涵盖模型选择、KV缓存3-bit量化、RoPE缩放设置以及多模态投影器加载，同时指出了极端上下文长度下的推理精度下降问题。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：tip
- **发布时间**：2026-06-07 17:36（北京时间）
- **原文**：[打开原文](https://local-llm.utop.workers.dev/)