SambaNova 在 SambaCloud 上为 MiniMax M3 推出提示词缓存
SambaNova 已在 SambaCloud 上为 MiniMax M3 启用提示词缓存,无需进行任何代码修改。
SambaNova 在其[公告](https://bit.ly/4emDQ71)中表示,在长上下文智能体工作流中复用缓存前缀,可将首字延迟(TTFT)缩短 35% 至 88%,整体速度最高提升 4.7 倍,并将输入成本降低 90% 至每百万缓存 Token 0.06 美元。
CODEX / SIGNAL STUDIO
SambaNova 已在 SambaCloud 上为 MiniMax M3 启用提示词缓存,无需进行任何代码修改。
SambaNova 在其[公告](https://bit.ly/4emDQ71)中表示,在长上下文智能体工作流中复用缓存前缀,可将首字延迟(TTFT)缩短 35% 至 88%,整体速度最高提升 4.7 倍,并将输入成本降低 90% 至每百万缓存 Token 0.06 美元。