GPU加速

IgniteMS：在8块A100上实现253K msg/s的高速文本嵌入引擎

IgniteMS是一个基于Rust和TensorRT构建的自托管文本嵌入引擎，在8块A100 GPU上可实现每秒25.3万条消息的处理速度，比Hugging Face TEI快约3倍。该引擎通过TensorRT优化、分桶批处理和CPU流水线等技术提升效率，在生产环境中处理了超过6.85亿条消息，平均吞吐量达每秒35.8万条，成本仅为每百万消息0.01美元。