回答缺少证据路径
用户看到结论，却无法确认内容来自哪篇文献、哪个章节，以及引用是否真正支持该结论。
TRUST GAPAI PRODUCT CASE · STROKE REHABILITATION
让医学回答，
能够回到证据。
一套面向脑卒中康复的循证知识与 Agentic RAG 产品。将公开医学文献转化为可治理的知识资产， 通过标准检索、复杂问题拆解、证据充分性判断和引用校验，生成可核验的中文回答。
- Role
- 产品定义、技术架构、原型开发、评估迭代
- Users
- 医学研究、康复治疗、循证内容与知识管理团队
- Scope
- 100 篇精选开放文献 · 30 题评估集 · 标准 / Agentic RAG
CLINICAL QUESTION
脑卒中后上肢功能康复有哪些文献支持的方法？
01
PLAN问题拆解与检索规划
4 queries02
RETRIEVE混合检索与证据重排
5 sources03
VERIFY充分性与引用校验
validated任务导向训练、辅助神经调控及部分技术辅助干预已有相关研究，但不同方法的适用人群与证据强度并不相同。
[1][2][3]
TRACEABILITY
Claim → Citation → PMCID
CURATED CORPUS100篇开放医学文献
RECALL@5100%目标文献进入前五
MRR0.917目标证据平均首位排名
ANSWER RUNS26/26Round 4 完成
01 / PROBLEM FRAMING
问题不是“模型不会回答”，
而是回答无法被可靠核验。
医学知识产品需要同时处理答案质量、证据覆盖、数据边界与用户信任，而不只是生成一段流畅文本。
复杂问题覆盖不完整
一个问题可能同时包含运动、平衡、跌倒风险等多个维度，单次向量检索容易只覆盖其中一部分。
COVERAGE GAP隐私、速度与成本冲突
本地模型保护数据边界，但可能较慢；外部 API 提升生成效率，却需要明确内容发送范围与成本上限。
DELIVERY TRADE-OFFPRODUCT GOAL
让用户知道“答案是什么”，也知道“为什么可以相信”。
产品目标
- 重要结论能够回到真实文献来源
- 复杂问题能够识别并补充证据缺口
- 模型、检索与引用过程可观察、可评估
明确非目标
- 不提供个体化诊断或康复处方
- 不替代医生、治疗师或系统综述
- 当前公开案例不处理患者隐私数据
02 / PRODUCT ARCHITECTURE
不同问题，使用不同检索深度。
不是所有请求都需要 Agentic RAG。产品通过双模式设计，在响应速度、证据覆盖和调用成本之间做选择。
FOR FOCUSED QUESTIONS
一次混合检索，快速返回有引用答案。
适合目标明确、证据维度单一的问题。减少模型调用和等待时间，并通过引用校验保证来源可追溯。
- Best for
- 单一干预、单一结局、文献定位
- Trade-off
- 复杂问题可能存在证据覆盖不足
- 01Query embedding本地 Qwen 生成查询向量
- 02Hybrid retrieval向量 + 关键词候选检索
- 03Evidence rerank直接性、研究类型与领域重排
- 04Answer + validate生成回答并校验引用编号
DECISION 01
标准模式与 Agentic 模式并存
简单问题优先速度；只有复杂、包含多个证据维度的问题才承担问题拆解和多轮检索的额外成本。
SpeedCoverage
DECISION 02
本地 embedding，生成后端可切换
文档和查询向量由本地 Qwen 处理；回答可选择本地 Ollama 或 DeepSeek，以适配隐私、速度和成本场景。
PrivacyQuality
DECISION 03
证据不足时，明确暴露边界
系统不把相关性当作因果证据。缺少直接证据时保留不确定性，而不是让模型补全一个更“完整”的答案。
FluencySafety
03 / PRODUCT EXPERIENCE
引用不是装饰，而是用户的核验入口。
点击回答中的编号，会定位并持续高亮对应证据片段。下面是公开案例中的静态交互示意。
Source-grounded response引用已校验
脑卒中后上肢功能康复有哪些文献支持的方法？
指南总结了卒中后上肢运动恢复的一般方法、技术辅助康复与痉挛管理建议 。 对部分慢性上肢功能障碍患者，迷走神经刺激联合康复训练显示出改善上肢功能的证据 。
案例内容仅用于展示引用交互，不构成治疗建议。[1] PMC11276617Clinical guideline
Recommendations for Upper Limb Motor Recovery: An Overview of UK and European Rehabilitation after Stroke Guidelines
The authors summarise guidelines relating to upper limb motor recovery after stroke and describe general approaches, technology-assisted rehabilitation and spasticity management.
直接支持 · 上肢功能 · 2024[2] PMC10097830Randomized trial
Vagus Nerve Stimulation Paired With Rehabilitation for Upper Limb Motor Impairment
Vagus nerve stimulation paired with rehabilitation improved upper extremity impairment and function in people with chronic arm weakness after stroke.
直接支持 · 慢性期 · 上肢功能04 / EVALUATION
不以“是否返回答案”代替正确性。
评估拆分为检索、生成、引用映射和人工质量审核。指标既展示成果，也暴露下一轮最重要的问题。
ROUND 4 · AGENTIC RAG
26 道可评估问题全部完成，
但“有引用”仍不等于“引用支持结论”。
程序校验保证每个引用编号都能映射到真实文献；八维人工审核进一步判断该证据是否真正支持具体结论。
查看失败案例01Retrieval ground truth
为问题人工标注预期 PMCID，以 Recall@K 与 MRR 判断检索是否找到目标证据。
02Answer run
保存回答、全部证据、实际引用、分阶段耗时和可追踪的 run_id。
03Eight-field review
审核证据支持、引用对应、完整性、不确定性、安全边界和必含概念。
结构引用校验有效率 100%回答里的每个编号都能找到来源卡片；该检查不判断来源是否支持相邻断言。
引用—来源精确匹配度 30.8%人工审核判断引用卡片是否直接支持相邻断言；这是当前需要修复的引用对应问题。
05 / FAILURE CASE
“改善平衡”不能自动推导为“降低跌倒”。
一个真实失败案例推动产品从“检索相关内容”升级为“判断证据是否覆盖问题的每个维度”。
USER QUESTION
脑卒中早期核心肌群训练，对躯干控制、平衡能力和跌倒风险有什么影响？
把相关证据当作完整答案
检索到了躯干控制和平衡研究，但模型可能进一步推断训练能够降低跌倒风险。
人工审核发现替代终点外推
平衡改善是相关结局，但不能替代跌倒发生率；原始证据没有直接回答该维度。
显式标记缺失证据
Agentic 流程拆分三个问题维度，补充检索后仍不足时，明确回答“跌倒风险证据不足”。
PRODUCT LEARNING
医学 AI 的价值，不是把答案写得更完整，而是知道什么时候不能补全。
06 / ITERATIONS
从数据管道，到可评估的 Agentic RAG 产品。
每一轮新增能力都对应上一轮暴露的问题，而不是为了堆叠技术名词。
-
MVP
Ingestion → Index
建立可追溯知识资产
PubMed/PMC 摄取、BioC 解析、版本与内容哈希、chunk 和本地 embedding。
-
R2
Retrieve → Validate
从向量检索升级为质量控制
混合检索、低相关度拒答、引用校验和公开访问范围。
-
R3
Answer → Evaluate
建立回答评估闭环
DeepSeek 生成后端、30 题基准集、26 题自动运行和八维人工审核。
-
R4
Plan → Retrieve → Reflect
处理复杂问题的证据缺口
Query Planner、多查询检索、证据充分性判断和补充检索。
-
NOW
Observe → Improve
将过程变成可解释产品
证据画像与重排、引用重映射、运行监控、评估看板和证据文字高亮。
NEXT PRIORITIES
下一步不再增加更多模型，
而是提高结论与证据的精确对应。
质量
运行 Round 5、提升 claim–evidence support、实现句子级证据定位。
体验
流式回答、完整证据展开、版本指标对比与状态中文化。
生产化
身份认证、机构权限、敏感数据治理、集中监控与成本控制。