通用大模型 RAG 项目 · 标注规则文档

RAG（Retrieval-Augmented Generation，检索增强生成）是一种通过「外部知识检索 + 大模型生成回答」提升模型准确性、时效性与可解释性的技术框架。它的核心作用，是让模型在回答问题前先参考外部知识，而不是只依赖参数记忆进行输出。

本项目的核心目标，是构建一批高质量 RAG 训练数据，用于提升模型在「借助参考材料回答问题」场景下的能力，包括材料阅读理解能力、答案与证据一致性能力、多材料冲突分辨能力、在材料不足时谨慎表达的能力，以及高质量回答生成能力。

1.1 项目目标

2.1 一句话理解

RAG 让 AI 先查资料，再组织回答。相比单纯依赖大模型记忆，RAG 可以显著改善知识过时、专业知识不足和结果不可解释等问题。

2.2 三维判断优先级

评估时从顶层向下逐层执行，顶层优先级最高。发现高优先级问题即可停止向下评估，直接判定该条数据结果。

2.3 数据来源类型

2.4 RAG 解决的四大问题

2.5 RAG 三步流程

3.1 数据来源

• 在线数据：搜索引擎结果、网页摘要、API 查询结果
• 离线数据：本地文档、FAQ、制度文件、产品手册、企业知识库
• 问题数据：真实用户 query、客服问答日志、多轮对话抽样
• 候选回答：由基座模型或参考模型预先生成的回答1 / 回答2 / 回答3

3.2 项目规模（示例）

3.3 单条数据输入 / 输出形式

本项目的标注目标，不是单纯「写一个答案」，而是从 问题、材料、回答 三个维度进行综合判断，决定该条数据是否可用、材料是否足以支撑回答，以及候选回答中是否存在可直接采纳或可改写的答案。

每条数据完成审核后，标注员必须在「标志位」字段中选择 一个且仅一个 结果，表示该条数据的最终处理方式。

5.1 标志位选项与决策路径

6.1 问题维度规则

6.2 材料维度规则

6.3 回答维度规则

7.1 单条数据完整操作流程

8.1 抽检比例与准确率

8.2 质检维度

8.3 重点检查项

9.1 人员配置

9.2 人效预估

以下为项目实际表格字段示意。标注员需基于「历史对话 + 材料1~3 + 回答1~3」对样本做最终判断，并填写「标志位、改写文本、原因备注」。

以下情况需提交质检或组长仲裁，不允许标注员自行拍板：

• 多材料互相冲突，且无法判断哪个更可信
• 问题依赖上下文，但上下文本身也含歧义
• 材料过于专业，标注员无法可靠判断
• 医学、法律、金融等高风险场景中，候选回答存在明显扩写争议
• 规则表未覆盖的新类型边界样本