SPT术语库

AI 幻觉 AI Hallucination

AI 旅行助手说博物馆周一营业到晚上十点,应用需要查官方页面并保留来源,避免用户按错误时间安排行程。

AI 与智能体约 10 分钟 · 从真实需求理解

1模型说得很确定,就代表事实吗?

AI HALLUCINATION · VERIFY THE CLAIM自信的回答,先查证据

语气可以很确定,事实必须能追溯。

CONFIDENCE ≠ PROOF
USER QUESTION博物馆周一营业到几点?
MODEL CLAIMUNVERIFIED
周一营业到 22:00
confidence 0.92source —
OFFICIAL SOURCEWAITING
official record
museum.example/hoursupdated —

先找到能追溯的页面。

GROUNDED ANSWER等待证据确认
没有来源,就不能把主张当作事实。

AI 幻觉不是模型故意骗人,而是模型可能用很确定的语气生成没有依据的内容。比如旅行助手说“博物馆周一营业到晚上十点”,在查到官方页面前,这句话只能算未核验的主张。

  • 模型可以提出答案,但 confidence 或流畅语气都不能证明答案是真的。
  • 应用或用户要查权威来源,记录来源链接和更新时间,并把冲突值明确修正。
  • 只有经过核验、能追溯到证据的内容,才应该作为行程或决定的依据。

2自信不是证据,幻觉也不等于故意撒谎

幻觉描述的是输出没有被事实支持,不是在判断模型有没有主观意图。一个答案即使语法正确、细节丰富、confidence 很高,也可能和官方记录冲突。

  • “模型说得像真的”是表达风格,不是来源证明。
  • “查到一个网页”也不够,来源要尽量权威,并保留链接和更新时间。

当问题涉及营业时间、价格、政策、库存或其他会变化的事实时,看到没有来源的确定回答,就应该把它当作待核验主张,而不是直接展示为结论。

3一次事实核验由哪些部分组成?

USER QUESTION博物馆周一营业到几点?
MODEL CLAIM22:00未核验 · confidence 0.92
OFFICIAL SOURCE周一 CLOSEDupdated Jul 28 · 10:15
GROUNDED ANSWER周一闭馆 · museum.example/hours

拆开一次旅行问答核验,可以看到用户问题、模型主张、权威证据和核验答案四个部分。缺少来源或更新时间时,答案就不能直接当作事实使用。

  • USER QUESTION 是需要回答的事实问题,例如“博物馆周一营业到几点?”。
  • MODEL CLAIM 是模型生成的候选答案,必须带上未核验边界。
  • OFFICIAL SOURCE 提供可追溯的页面、记录或工具结果,并说明什么时候更新。
  • GROUNDED ANSWER 只保留证据支持的内容,冲突时要修正模型原话。

4怎样把核验要求交给 Agent?

请做一个旅行问答核验流程:用户问博物馆开放时间时,先显示模型答案但标记为未核验;应用查询官方页面或预约页,保留来源链接和更新时间,遇到冲突就修正答案,并让用户看见原主张为什么不能直接采信。请支持键盘操作、暗色主题和 390px、320px 下不横向滚动。

5不用背,看看你能不能判断

1 / 3

模型说得很确定时,最应该先判断什么?

请选择一个最符合题意的答案

选择答案后自动进入下一题

社区延伸

看别人真实遇到过什么

社区帖子还没有关联到这个词条。