Re: [心得] token maximum

楼主: pacino (carry me)   2026-03-07 10:12:44
看了这两串, 充满了疑问..
想讨论一下这个主题: token
(1) 每个LLM 都有自己的max. tokens
这是在training model时就要决定的
(2) max output tokens是让agent在送给LLM 之前处理用的,避免超过LLM model的max. to
(3) rules 没被执行,有可能是context可能超过LLM model的max. tokens, agent 主动压?
这样不就解释了两串原po的问题?
麻烦指正,若我的了解有误。
作者: DrTech (竹科管理处网军研发人员)   2026-03-07 14:26:00
1. LLM什么时后会停止回答,跟你设定多长的 max output token无关。2.max output token不是写在prompt里面。

Links booklink

Contact Us: admin [ a t ] ucptt.com