# RAG 方案与评估清单

路灯 · 配套阅读：https://robinzhu.top/guides/rag/
用途：将专题中的设计思路落实到自己的项目。这里是待填写的检查模板，不代表任何项目已经通过验收。

## 1. 业务与边界

- [ ] 写明目标用户、问题范围和不支持的场景。
- [ ] 定义无法回答、文档冲突、超出权限时如何处理。
- [ ] 记录文档来源、使用权限、更新负责人和删除规则。

项目：____　负责人：____　评审日期：____

## 2. 检索链路

- [ ] 记录解析方式、切分规则、片段长度与元数据。
- [ ] 固定 Embedding 模型及版本，记录索引构建版本。
- [ ] 对照有/无重排的检索结果，不只检查最终回答。
- [ ] 检查跨租户、过期文档和已删除内容是否可能被检索到。
- [ ] 为答案提供可追溯到原文的引用。

方案与取舍：____

## 3. 评估设计

- [ ] 覆盖常见问题、长尾问题、不可回答问题和冲突文档。
- [ ] 区分调参样本与保留测试样本，记录去重规则。
- [ ] 写清样本量、标注口径、模型版本、提示词版本和评估时间。
- [ ] 分开统计检索命中、答案正确性、引用支撑与拒答表现。
- [ ] 比较成本、时延和人工接管情况；阈值由业务要求确定。
- [ ] 报告失败样本，避免只展示平均指标或一次成功案例。

样本数：____　基线：____　目标阈值及依据：____

## 4. 更新与恢复

- [ ] 验证新增、修改、删除文档的完整链路。
- [ ] 模拟解析失败、Embedding 超时和索引写入失败。
- [ ] 明确何时切换版本，如何避免新旧内容不一致。
- [ ] 演练回滚，记录恢复时间和数据一致性结果。

回滚入口：____　验证证据：____

## 5. 评审结论

- 通过项及证据：____
- 待解决项、负责人、时间：____
- 当前适用范围与限制：____

建议先选一条业务问题走通，再扩大数据和用户范围。