Skip to content

从 token 输出到实时信号

当模型以 token by token 的方式输出时,内容本质上是自然语言片段,难以被系统直接当作“信号”来编排。工程上通常只能等完整结果出来,再由人或程序去理解与处理。

随着行业对“规划能力”和“指令遵循”的共识形成,结构化输出成为模型训练与优化的重要方向:它把自然语言收敛为可解析的数据结构,让系统可验证、可消费。Agently 在此基础上进一步强化工程级的结构化输出稳定性(即使是小参数模型),把输出控制变成系统能力。

但结构化输出仍有一个延迟瓶颈:只在完整结果生成后才可解析。为解决这一点,Agently 引入 Instant 模式,在保证结构化输出的前提下,对生成过程进行流式解析,让结构化数据中的局部信息能被即时提取并作为实时信号。

为什么“局部信号”很关键

当局部信息可以及时被解析,就可以在“结果未完成”时做出响应:提前分支、触发任务、更新状态。这让模型的流式输出不再只是“文本流”,而变成可驱动系统的信号流。

与 TriggerFlow 的关系

TriggerFlow 的核心是“事件驱动”。当结构化局部信息变成实时信号后,就可以被 emit() 发出、被 when() 监听并编排。于是,模型输出的流式过程可以直接进入事件系统,构建更复杂的信号驱动解决方案。

业务场景中的价值

具身智能
在机器人/设备场景里,单次请求可能同时产生:推理信息、行动指令、以及面向用户的文字/语音内容。即时的结构化信号让“动作决策”“语音反馈”“安全策略”等可以并行触发,显著降低人机反馈延迟。

Agent 系统
规划结果经常需要被拆成多个并行任务。通过即时解析局部结构化信息,可以提前触发工具调用、检索与子任务执行,而不是等待完整输出再集中调度,从而让编排更灵活、并发更充分。

工程含义

  • 更早的反馈:不用等完整结果,系统即可响应关键字段。
  • 更强的编排能力:流程不再依赖“完整文本”,而是依赖“结构化信号”。
  • 更稳的交付:结构化输出的稳定性 + Instant 的实时解析,使得复杂信号系统可落地。