AI 幻觉 AI Hallucination
AI 旅行助手说博物馆周一营业到晚上十点,应用需要查官方页面并保留来源,避免用户按错误时间安排行程。
AI 与智能体约 10 分钟 · 从真实需求理解
1模型说得很确定,就代表事实吗?
AI HALLUCINATION · VERIFY THE CLAIM自信的回答,先查证据
CONFIDENCE ≠ PROOF语气可以很确定,事实必须能追溯。
museum.example/hoursupdated —
先找到能追溯的页面。
GROUNDED ANSWER等待证据确认
没有来源,就不能把主张当作事实。AI 幻觉不是模型故意骗人,而是模型可能用很确定的语气生成没有依据的内容。比如旅行助手说“博物馆周一营业到晚上十点”,在查到官方页面前,这句话只能算未核验的主张。
- 模型可以提出答案,但 confidence 或流畅语气都不能证明答案是真的。
- 应用或用户要查权威来源,记录来源链接和更新时间,并把冲突值明确修正。
- 只有经过核验、能追溯到证据的内容,才应该作为行程或决定的依据。
2自信不是证据,幻觉也不等于故意撒谎
幻觉描述的是输出没有被事实支持,不是在判断模型有没有主观意图。一个答案即使语法正确、细节丰富、confidence 很高,也可能和官方记录冲突。
- “模型说得像真的”是表达风格,不是来源证明。
- “查到一个网页”也不够,来源要尽量权威,并保留链接和更新时间。
当问题涉及营业时间、价格、政策、库存或其他会变化的事实时,看到没有来源的确定回答,就应该把它当作待核验主张,而不是直接展示为结论。
3一次事实核验由哪些部分组成?
拆开一次旅行问答核验,可以看到用户问题、模型主张、权威证据和核验答案四个部分。缺少来源或更新时间时,答案就不能直接当作事实使用。
- USER QUESTION 是需要回答的事实问题,例如“博物馆周一营业到几点?”。
- MODEL CLAIM 是模型生成的候选答案,必须带上未核验边界。
- OFFICIAL SOURCE 提供可追溯的页面、记录或工具结果,并说明什么时候更新。
- GROUNDED ANSWER 只保留证据支持的内容,冲突时要修正模型原话。
4怎样把核验要求交给 Agent?
请做一个旅行问答核验流程:用户问博物馆开放时间时,先显示模型答案但标记为未核验;应用查询官方页面或预约页,保留来源链接和更新时间,遇到冲突就修正答案,并让用户看见原主张为什么不能直接采信。请支持键盘操作、暗色主题和 390px、320px 下不横向滚动。
5不用背,看看你能不能判断
1 / 3
模型说得很确定时,最应该先判断什么?
请选择一个最符合题意的答案
社区延伸
看别人真实遇到过什么
社区帖子还没有关联到这个词条。