为什么发消息立马就开始干活——流式四层机制
场景:用户发"帮我修复 login 报错"。你以为它"秒懂秒干",实际是四层机制叠加:消息即时触发 → 渲染流式 → 执行流式 → 事件驱动。核心辨析:渲染流式(token 回显给用户)vs 执行流式(tool_call 闭合即执行)是两个不同层面的流式。
1x2x
待播放
消息到达 → 渲染流式(TTFB) → 执行流式(增量解析) → 工具执行 → 事件驱动后续 → 结果回显
光点 = 当前环节 · 渲染流式 vs 执行流式:一个给用户看,一个给框架跑
流式四层叠加(为什么"秒懂秒干")—
① 消息即时触发消息一到立即启动新 Agent 运行,不等确认QueryLoop
② 渲染流式SSE 逐 token 回显,首 Token 目标 <800ms,先看到字在蹦给用户看
③ 执行流式tool_call JSON 收完整立即入队执行,不等响应结束给框架跑
④ 事件驱动工具事件/进度事件驱动后续,flatMap 并发多个调用QueryLoop
就绪点 ▶ 播放,看"修复 login 报错"如何被四层流式机制秒速推进。流式四层
⚡ 运行时动作:正在发生什么💡 知识讲解:为什么这么设计
流式日志首 Token 目标 <800ms,用户感知延迟取决于 TTFB
知识点一句话总结:"发消息立马干活"是四层机制叠加:① 消息即时触发(消息一到立即启动新 Agent 运行 QueryLoop,不等确认)| ② 渲染流式(SSE 逐 token 回显,首 Token <800ms,用户先看到字在蹦)| ③ 执行流式(tool_call 的 JSON 用状态机增量解析 WAITING→GATHERING→READY,收完整立即入队执行,不等整个响应结束)| ④ 事件驱动(工具事件/进度事件驱动后续,flatMap 并发多个调用同时跑)。关键辨析:渲染流式 = token 回显给用户;执行流式 = tool_call 闭合即执行——是两个不同层面的"流式"。首 Token 目标 <800ms:用户感知延迟取决于首 Token 到达时间,而不是总生成时长。