Lambda 在模型卡中引入 NVIDIA AI AIPerf 基准测试
Lambda 宣布更新其[模型卡](https://lambda.ai/inference-models),新增基于 NVIDIA AI 的 AIPerf 基准测试套件在 Lambda 最低硬件配置上测得的基准结果。
这些指标旨在评估模型部署在不同用户并发阈值下的表现,评估系统交互性,并在单并发 Token 吞吐量之外指明何时需要增加副本。
CODEX / SIGNAL STUDIO
Lambda 宣布更新其[模型卡](https://lambda.ai/inference-models),新增基于 NVIDIA AI 的 AIPerf 基准测试套件在 Lambda 最低硬件配置上测得的基准结果。
这些指标旨在评估模型部署在不同用户并发阈值下的表现,评估系统交互性,并在单并发 Token 吞吐量之外指明何时需要增加副本。