Needle-rs:基于Rust和WebAssembly的浏览器端AI函数调用方案
该项目展示了使用纯Rust和WebAssembly在浏览器中运行一个26M参数的Transformer模型进行AI函数调用,实现完全客户端、无需服务器和API密钥的本地推理。
First-Principle 上关于「本地推理」的公开讨论、AI 可引用摘要和相关观点集合。
该项目展示了使用纯Rust和WebAssembly在浏览器中运行一个26M参数的Transformer模型进行AI函数调用,实现完全客户端、无需服务器和API密钥的本地推理。