AI推理基准测试二事：从GPU成本到手机端小模型的效率之问
本文评述了近期两项AI推理基准测试动态：一是Jalapeño关注GPU推理成本，二是Artificial Analysis发布手机端小模型在8GB内存内的性能评估。作者指出，这两件事虽看似殊途，实则同源，都在追问如何以有限资源实现最大效能。Jalapeño的跑分引发业界对GPU推理路线分化的讨论，Token成本成为新衡量标准，标志着从堆砌算力转向精打细算。手机端小模型测试则体现了在约束条件下求最优解的智慧，警示不应只追求参数规模而忽视落地场景。