智能问答V1.1 迭代设计
RAPTOR 和 GraphRAG 在多文档综合上的差别是什么?我们库里那篇综述怎么评价?
sourceType = COLD
answerability = ANSWERABLE
知识库:科研语料库(26 篇 / 911 分块)
模型:deepseek-v4-flash
RAPTOR 通过对语料做递归摘要构建树形索引,在需要跨章节汇总的问题上占优;GraphRAG 先抽取实体关系建图,再做社区级摘要,更适合"谁和谁有什么关系"这类多跳问题。库内那篇综述(编号 3)指出两者在长文档全局问答上的差距主要来自摘要层是否保留细节……
引用(4 条 · 每条标注由哪一路召回,量纲不同不做算术)
① 递归摘要树形索引方法综述.pdf · 分块 #12向量命中 62% kind=CHUNK
"RAPTOR recursively embeds, clusters and summarizes chunks, forming a tree that supports both high-level and detailed queries."
点卡片滚到原文:
chunkId + chunkIndex 定位(现网已有能力)② 知识图谱问答实践.pdf · 分块 #3词面命中 1% kind=CHUNK
"GraphRAG builds an entity graph and produces community summaries, which improves global sensemaking over the corpus."
⚠️ 这个 1% 是 PG
ts_rank,不是余弦相似度——它和上面那个 62% 不能比大小(发现 110)③ 条目:多文档综合方法对比编译知识 kind=WIKI
"两类方法在分块级召回上表现接近,在文档级汇总任务上差距拉大。"
chunkId=null —— Wiki 来源没有分块锚点,所以这张卡不可滚动定位(发现 111)④ 未标注量纲的一条量纲未知 无评分
(生产侧没带
matchedBy)缺席就显示「量纲未知」,不补默认值——补一个等于把"上游没给"伪装成"上游给的是余弦"
原型新增 这条回答怎么样?
未选择类型时不可提交——空反馈对金标没有价值。
原型新增 bad case 队列(本会话 · 服务端出队列,前端不自己筛)
| 反馈类型 | answerability | 备注 | 状态 | 操作 |
|---|---|---|---|---|
| 还没有反馈。提交后会出现在这里。 | ||||
「送进金标候选」会带上当前语料代指纹;指纹与金标不一致时服务端拒跑,不会拿旧标签给新语料出分(发现 123)。
其余三种状态(静态示例,都是现网真会遇到的)
| 状态 | 界面 |
|---|---|
| 库里没有答案 | NOTHING_IN_LIBRARY → 不生成答案,显示「本库内没有可支撑该问题的条目或分块」+ 三个下一步:换库 / 补文献 / 改用 TOPIC_ONLY 看方向。不是"抱歉我无法回答" |
| 只有主题没有细节 | TOPIC_ONLY → 给条目清单不给结论,明说"以下条目主题相关,但正文未直接回答该问题" |
| 命中限流 | HTTP 200 + code=1004 的 application/json 响应(不是 SSE)。客户端按 Content-Type 分支才看得到,否则界面是空白回答 + 零提示(发现 56) |
| 越权访问别人的私有库 | 3003,message 点名"仅知识库创建者可读该库",不泄露库是否存在 |
交互规则
- R1 反馈类型是五档枚举,不是"点赞/点踩"两档。"引用不支撑"与"答非所问"必须分开——前者打检索与闸门,后者打生成 prompt,混在一起就没人能据此改东西。
- R2 未选类型不可提交;备注可选但引导填写。提交率本身是护栏指标,低于 5% 说明控件是装饰。
- R3 队列由服务端出(跨会话、按 kbId 与状态),前端
filter状态等于把取值域写第二遍(FR-10)。 - R4 每条引用卡必须同屏显示
matchedBy;score=null显示「无评分」,不显示 0%。 - R5
kind=WIKI的卡不给"定位原文"按钮——它没有分块锚点,按钮存在就是假入口(发现 89 同族)。 - R6 金标提升动作要写审计(谁把哪条送进评测集),否则评测集变成无人负责的杂物堆。
为什么这一页排 V1.1 第一
现在系统里没有任何一条来自使用者的反馈:评测金标全部由我自己写。这意味着"精确率 100%"是我对我自己的判断打分。加上这五档反馈,才有第二种人往评测里投东西——这也是唯一能让指标文档第五节那串"测不了"开始解锁的动作。
验收要点
- 未勾选类型 → 按钮禁用且点击区给提示,不静默失败
- 提交后刷新页面 → 队列仍有这条(服务端持久,不是组件 state)
Content-Type: application/json的 200 响应 → 界面显示message,不得走完 0 帧后报"完成"