#模块八：评测、幻觉、安全与可观测性知识点

• Q85 perplexity 是什么？它为什么不能代表一切？：知识点包括语言建模困惑度；偏底层分布拟合；和指令跟随、事实性、用户体验不强等价。
• Q86 hallucination 的常见来源有哪些？：知识点包括参数知识不足、检索失败、上下文利用失败、解码过度补全、任务模糊。
• Q87 faithfulness 和 helpfulness 有什么区别？：知识点包括是否忠于证据 vs 是否对用户有帮助；两者可能冲突；企业场景常优先 faithfulness。
• Q88 什么是 LLM-as-a-Judge？：知识点包括用模型做自动评审；优点是规模化快；风险是偏见、稳定性和被提示攻击。
• Q89 什么是 red teaming？：知识点包括主动构造攻击/越狱/不安全输入；寻找系统薄弱点；安全评测而不是功能评测。
• Q90 guardrail 在系统中指什么？：知识点包括输入输出约束、策略引擎、敏感内容拦截、结构化校验；它是系统层护栏。
• Q91 为什么离线 benchmark 很强，线上体验却不一定好？：知识点包括分布偏移；任务定义不同；产品链路包含检索、工具和交互，不只是模型本体。
• Q92 用户说模型经常胡说，如何定位是模型、RAG 还是提示问题？：知识点包括按链路分层排障；先看是否检索到，再看是否用对证据，最后看模型和 prompt。
• Q93 你怎么看 LLM-as-a-Judge 的优点和风险？：知识点包括自动化效率；和人工评审的相关性；偏差传播；需要抽样人工校正。
• Q94 生产系统要做哪些线上监控才算可观测？：知识点包括延迟、错误率、成本、命中率、工具成功率、引用率、安全拦截、用户满意度。
• Q95 如何处理 prompt injection、数据泄露、不安全输出？：知识点包括最小权限、隔离工具、内容过滤、引用边界、敏感信息策略和日志审计。
• Q96 如何为企业知识助手建立评测集？：知识点包括真实业务问题采样；答案标准与证据引用；分层指标；持续更新和难例回流。