SPT术语库

TTFT / TPS

用户发送一条 AI 请求,页面需要区分首个反馈何时出现,以及首 token 之后答案生成得有多快。

AI 与智能体约 10 分钟 · 从真实需求理解

1为什么首 token 快,不代表答案生成也快?

TTFT / TPS · PERFORMANCE METRICS首 token 是分界线

先测等多久开始输出,再测开始后每秒输出多少。

START → FIRST TOKEN → OUTPUT
REQUESTPOST /chat计时从请求发出开始
FIRST TOKENwaiting…从这里开始计算输出速率
DONEgenerating…用阶段而不是模糊快慢判断
TTFT820 ms · waiting首 token 前的等待时间MEASURING
TPSwarming…首 token 后的持续生成速度NOT STARTED
READ THE METRICS低 TTFT ≠ 高 TPS
启动快和持续生成快是两个问题

TTFT 和 TPS 测量的是一次生成的两个阶段。TTFT(Time to First Token)看请求发出后等到首个 token 的时间;TPS(Tokens Per Second)看首 token 之后,模型持续输出的速度。

  • 请求开始到首 token 出现之前,页面主要在等待,记录这段时间得到 TTFT。
  • 首 token 出现后,才有持续输出可以采样,TPS 用每秒 token 数描述生成速度。
  • 低 TTFT 只说明开始反馈快,不保证后续 TPS 高;排查性能时要分开看两个数字。

2TTFT / TPS 不是一个总耗时,也不是流式 chunk 计数

TTFT 只看首个 token 之前的启动等待,TPS 只看开始生成之后的输出速率。它们不是把整段请求压成一个总耗时,也不是用 chunk 到达顺序代替性能指标。

  • TTFT 高、TPS 高:用户既要等很久才看到反馈,开始后生成也慢,应该分别排查启动和生成阶段。
  • TTFT 低、TPS 低:首 token 很快出现,但后续输出速度不高,不能只看首屏反馈判断体验。

比较模型、区域或提示词时,要说明采样条件、输出长度和模型版本;单个数字不能脱离这些条件直接下结论。

3TTFT / TPS 的五个测量边界

REQUEST STARTPOST /chat开始计时
TTFT WINDOW820 ms首 token 前
FIRST TOKENtoken 01冻结 TTFT
TPS WINDOW42 tok/s首 token 后持续输出
READ THE METRICS低 TTFT ≠ 高 TPS分开判断两个阶段

拆开一次测量,可以看到请求起点、TTFT 等待窗口、首 token 分界线、TPS 速率窗口和最后的指标解读。

  • REQUEST START 是计时起点,必须在请求真正发出时记录。
  • TTFT WINDOW 直到首 token 到达为止;首 token 到达后这段等待才可以冻结成 TTFT。
  • TPS WINDOW 从首 token 之后开始,用持续输出的 token 数和时间计算速度。
  • READ THE METRICS 把两个数字放回各自阶段,避免用低 TTFT 推断高 TPS。

4怎样把 TTFT / TPS 需求交给 Agent?

请做一个 TTFT / TPS 教学示例:从 POST /chat 发出开始测 TTFT,等首 token 到达后显示 820 ms 并画出 FIRST TOKEN 分界线;从这之后再测 TPS,显示 42 tok/s 和已完成状态。请在页面上明确低 TTFT 不代表高 TPS,不要做成流式 chunk 逐段生命周期或 Token 分段流程;支持共享重播、Anatomy 键盘操作、暗色主题和 390px、320px 窄屏。

5不用背,看看你能不能判断

1 / 3

TTFT 主要测量哪一段时间?

请选择一个最符合题意的答案

选择答案后自动进入下一题

社区延伸

看别人真实遇到过什么

社区帖子还没有关联到这个词条。