各位前辈好，不晓得在这个版可不可以讨论这种问题?如果不行还请版主帮我把这篇删掉
(我记得这边好像不能自删?)
在国外论坛中，时常看到token这个字，但我始终不清不楚它的定义。
例如，在ISO/IEC 9899:1990这个规范，对argument的定义中:
An expression in the comma-separated list bounded by the parentheses in a
function call expression. or a sequence of preprocessing tokens in the
comma-separated list bounded by the parentheses in a function-like macro
invocation. Also known as “actual argument” or “actual parameter.”
上网查到了这篇stack overfolow:
https://stackoverflow.com/questions/4448661/what-is-the-exact-definition-of-token
看完一遍后，对token这个字的定义还是很模糊。
请问，token这个意思用中文表达的话，是代表着什么意思呢?

以前再看yacc/lex时有看到，跟语法分析有关？

https://en.wikipedia.org/wiki/Lexical_analysis我自己的简单理解是"一个有意义的最小单位" (?)

counter的感觉？

在讲 token 的时候 我们一般不会说它具有语意因为程式码是一个连续的位元流 没有实体的切割

衍生物（误

所以我们要定义一组规则去把程式码切断成数个单元这个过程叫做 tokenization 来提供语法分析器调用一但语法分析器建立出语法树后 程式码变有了意义

就代币(误个人的理解 "一片小东西上面有写字"

就是能证明你身份的一样物品啊

证明身分那是写网络程式的时候好吗token就如上述 程式码是一个大字串 把这个大字串依照规则切成小段 就是token考虑意义 你可以称它为“单字” 反正电脑语言的WORD是别的意思不会混淆 而token是合乎语法的基本片段(syntactic element) 称为“单字”也并无问题叫“字汇”或更模糊的“片段”也行 “字串”也勉强类似很难搞的词还有"handle" 那比token还头大

原来我那个解释还真的可以用在写程式上啊 XDDD

在分析运算式时，算子、运算子、括号 等都是 token。

规格书不好看是一定的啊 准备一些基础知识才比较好看

让我想到 latex3

那不是随便找就有PDF吗Sorry正式的PDF是要钱的 但是你搜寻ISO 9899:1990就有一堆非常接近的版本了 还可能在中国有意外惊喜

我是印出来慢慢看