RAG 流水线:从文档到回答的 11 步
一条「K8s 排查手册」从入库到回答走完全程:离线 4 步(清洗→切分→向量化→入库)+ 在线 7 步(改写→两路宽召回 30-50 → RRF 融合 → cross-encoder 精排 5-10→扩展→注入→生成)。左边文档窗看每一步的真实内容,右边面板讲每一步的为什么。
1x2x
待播放
RAG 流水线:离线入库(清洗→切分→向量化→入库)+ 在线两级漏斗(改写→dense+BM25 各 30-50→RRF→精排 5-10→注入生成)
光点 = 当前环节 · 离线段(n1-n4)在线段(n5-n7)
📄 文档处理窗 K8s 故障排查手册 · 每一步看内容怎么变
就绪点 ▶ 播放,看一条运维手册从入库到回答走完 11 步。离线
⚡ 运行时动作:正在发生什么💡 知识讲解:为什么这么设计
知识点一句话总结:RAG 是把知识外置的检索增强——离线把文档切成 chunk(结构感知切分:wiki 按 ## 标题、表格单独成块、段落边界;固定 500 字硬切会切断关键信息)、向量化(BGE-M3 1024 维)入库;在线是两级漏斗:查询改写(HyDE,并保留原词)→ dense 与 BM25 各召回 30-50 条 → RRF(k=60)按名次融合(两路分值尺度不同不可比,所以用名次;bi-encoder 擅长改述、弱在型号/错误码/专名等精确串,BM25 正好相反)→ cross-encoder 精排 5-10 条(query 与文档拼在一起过模型,每个候选一次前向传播,成本与候选数成正比,所以不可能扫全库)→ 按注意力预算截断到 3-6 条进上下文 → 上下文扩展 → 注入 → 生成带引用回答。它本质是「搜索引擎召回 + 数据库存储 + 两级排序」;质量看 RAGAS 的 Faithfulness 与 Context Recall(Recall 低先修检索层,召回为空时加重排是无效动作)。分块是第一个质量旋钮:块小检索准但会切断答案,块大完整但稀释相似度——先按结构切、长度兜底(中文技术文档 300–800 token 是经验起点),重叠最后才加。