**WebLLM：高性能浏览器端大模型推理引擎**

_WebLLM: high-performance in-browser LLM inference engine_

> WebLLM是由MLC AI开发的高性能浏览器内大语言模型推理引擎，利用WebGPU实现硬件加速，无需服务器支持即可在浏览器中直接运行LLM。项目完全兼容OpenAI API，支持流式输出、JSON模式等功能，原生支持Llama 3、Phi 3、Gemma、Mistral、Qwen等主流模型，可通过NPM或CDN快速集成到Web应用中。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-09-02 22:02（北京时间）
- **原文**：[打开原文](https://github.com/mlc-ai/web-llm)