TTFT / TPS
用户发送一条 AI 请求,页面需要区分首个反馈何时出现,以及首 token 之后答案生成得有多快。
AI 与智能体约 10 分钟 · 从真实需求理解
1为什么首 token 快,不代表答案生成也快?
TTFT / TPS · PERFORMANCE METRICS首 token 是分界线
START → FIRST TOKEN → OUTPUT先测等多久开始输出,再测开始后每秒输出多少。
TTFT 和 TPS 测量的是一次生成的两个阶段。TTFT(Time to First Token)看请求发出后等到首个 token 的时间;TPS(Tokens Per Second)看首 token 之后,模型持续输出的速度。
- 请求开始到首 token 出现之前,页面主要在等待,记录这段时间得到 TTFT。
- 首 token 出现后,才有持续输出可以采样,TPS 用每秒 token 数描述生成速度。
- 低 TTFT 只说明开始反馈快,不保证后续 TPS 高;排查性能时要分开看两个数字。
2TTFT / TPS 不是一个总耗时,也不是流式 chunk 计数
TTFT 只看首个 token 之前的启动等待,TPS 只看开始生成之后的输出速率。它们不是把整段请求压成一个总耗时,也不是用 chunk 到达顺序代替性能指标。
- TTFT 高、TPS 高:用户既要等很久才看到反馈,开始后生成也慢,应该分别排查启动和生成阶段。
- TTFT 低、TPS 低:首 token 很快出现,但后续输出速度不高,不能只看首屏反馈判断体验。
比较模型、区域或提示词时,要说明采样条件、输出长度和模型版本;单个数字不能脱离这些条件直接下结论。
3TTFT / TPS 的五个测量边界
拆开一次测量,可以看到请求起点、TTFT 等待窗口、首 token 分界线、TPS 速率窗口和最后的指标解读。
- REQUEST START 是计时起点,必须在请求真正发出时记录。
- TTFT WINDOW 直到首 token 到达为止;首 token 到达后这段等待才可以冻结成 TTFT。
- TPS WINDOW 从首 token 之后开始,用持续输出的 token 数和时间计算速度。
- READ THE METRICS 把两个数字放回各自阶段,避免用低 TTFT 推断高 TPS。
4怎样把 TTFT / TPS 需求交给 Agent?
请做一个 TTFT / TPS 教学示例:从 POST /chat 发出开始测 TTFT,等首 token 到达后显示 820 ms 并画出 FIRST TOKEN 分界线;从这之后再测 TPS,显示 42 tok/s 和已完成状态。请在页面上明确低 TTFT 不代表高 TPS,不要做成流式 chunk 逐段生命周期或 Token 分段流程;支持共享重播、Anatomy 键盘操作、暗色主题和 390px、320px 窄屏。
5不用背,看看你能不能判断
1 / 3
TTFT 主要测量哪一段时间?
请选择一个最符合题意的答案
社区延伸
看别人真实遇到过什么
社区帖子还没有关联到这个词条。