指标看板V1.1 迭代设计
RAG 评估历史 出参 PageResult:total 由 count 查询得出
本库共 52 次评估 · 服务端上限 50 条/页 · 本表只渲染 5 行 —— 两道截断都在这里说出口(发现 146/149)
| 时间 | 题数 | faithfulness | answer_relevancy | context_precision | 指标出处 | 操作 |
|---|
「只看可引用」是服务端查询参数,不是前端 filter——否则等于把取值域抄第二份。
路由判定质量(生产臂三跑)
同一批语料、同一代金标 · 每跑独立落盘
放行数29 / 29 / 30
严格点对率100% / 100% / 100%
召回85.3% – 88.2%
误复用0 / 0 / 0
语料代指纹
3bdae7671097⚠️ 单跑读数不得当点估计:判定不是确定函数(同一条边界查询补测十次 = 6 次 WIKI + 4 次 COLD)。引用时必须写"几跑 / 区间 / 分母"。
知识图谱规模(三口径)
引用前必须点名是哪一个,且带抽取轮次
表内行800
未删742
生效边(论文口径)437
已失效边305
其中 161 条(52.8%)失效时刻与写入时刻同一微秒——是同一次抽取内部多宾语互相顶替,不是事实随时间被推翻。所以「取值历史」只能叫「写入 / 失效时刻」,不许说成双时间轴时序图谱。
换代防护
金标与语料必须同代,否则拒跑
金标声明指纹
3bdae7671097当前语料指纹
3bdae7671097状态一致 · 允许出数
不一致时两条出数路径(实时跑分 / 离线重算)都必须拒跑并点名"逐条读新正文重取金标"——发现 123 就是重算那条没接守卫,照样打出 100%。
规则与验收
- R14 三个指标可空:
null= 未测得 → 渲染「—」;不得补 0、不得参与阈值着色(null>=0.7恒 false 会再补一层红)。 - R15
scorer四态必须互不相同:ragas/heuristic(不可引用)/unknown(自报未知,不是未标注)/null(未标注)。 - R16 出处由服务端解一次随 DTO 出到线上,前端不 parse
resultJson。 - R17 每个指标旁显示分母
n=;三个分母不同必须连分母引用。 - R18 删除是物理删除(该表无
deleted列)→ 门 + 审计 + 回滚点三件齐全,审计写被删行的属性而不是"删了 1 条"。 - R19 出参自带
total;预览切片必须自己说出口。
- AC 指标缺席 → 显示「—」且无红色;
0与null在 DOM 上可区分。 - AC
scorer=unknown的行显示「自报未知」,与「未标注」不同文案。 - AC 列表头三数(52 / 50 / 5)与接口
total、size、本页行数一致。 - AC 指纹不一致时,实时与离线两条出数路径都拒绝出表,报错点名下一步。
- AC 删除一行后:审计新增一行且 detail 含被删行的三指标与出处;回滚点存在且可
pg_restore -l。 - AC 界面任何位置不出现"置信度 98%"这类模型自报分数——判定只出离散标签。