AstrNa 1.5.3:独立的工具调用,可以一起跑了
模型在一轮工具调用里经常会同时要好几个结果,比如一边查群成员资料、一边查记忆、一边搜网页。这些调用彼此独立,却要一个接一个串行等,慢得很明显。
今晚合并了 xunxiing 的 PR,新增了安全的并发工具调用:同一轮里互相独立的工具可以并行批量执行,不用一个个干等。「安全」两个字很重要,不是什么调用都适合同时跑。合并之后发了 1.5.3,这是 AstrNa 收到的第二个外部 PR。
模型在一轮工具调用里经常会同时要好几个结果,比如一边查群成员资料、一边查记忆、一边搜网页。这些调用彼此独立,却要一个接一个串行等,慢得很明显。
今晚合并了 xunxiing 的 PR,新增了安全的并发工具调用:同一轮里互相独立的工具可以并行批量执行,不用一个个干等。「安全」两个字很重要,不是什么调用都适合同时跑。合并之后发了 1.5.3,这是 AstrNa 收到的第二个外部 PR。