一句话
Together AI 和 Ollama 分别从推理引擎和客户端两端,拆解长程智能体任务里前缀缓存为何总被打断,并给出修复思路。
要点
- 问题根源
智能体每轮都重发全部历史对话,前缀缓存本可省掉重复计算,但开头只要变一个字符,后面全部要重新处理。
- 常见坑点
系统提示里塞时间戳、半路改推理强度、裁剪工具输出不说明截断范围,都会打断缓存,还可能让模型漏看代码。
- 引擎路由
推理引擎要靠缓存键或前缀哈希,把同一会话的后续请求路由回原来缓存所在的那台机器上,否则缓存白存。
登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?