楼主:
zzss2003 (brotherD)
2017-10-23 18:12:30各位前辈好，不晓得在这个版可不可以讨论这种问题?如果不行还请版主帮我把这篇删掉
(我记得这边好像不能自删?)
在国外论坛中，时常看到token这个字，但我始终不清不楚它的定义。
例如，在ISO/IEC 9899:1990这个规范，对argument的定义中:
An expression in the comma-separated list bounded by the parentheses in a
function call expression. or a sequence of preprocessing tokens in the
comma-separated list bounded by the parentheses in a function-like macro
invocation. Also known as “actual argument” or “actual parameter.”
上网查到了这篇stack overfolow:
https://stackoverflow.com/questions/4448661/what-is-the-exact-definition-of-token
看完一遍后，对token这个字的定义还是很模糊。
请问，token这个意思用中文表达的话，是代表着什么意思呢?
作者:
Lipraxde (Lipraxde)
2017-10-23 18:32:00以前再看yacc/lex时有看到，跟语法分析有关？
作者:
chuegou (chuegou)
2017-10-23 20:03:00counter的感觉？
在讲 token 的时候 我们一般不会说它具有语意因为程式码是一个连续的位元流 没有实体的切割
所以我们要定义一组规则去把程式码切断成数个单元这个过程叫做 tokenization 来提供语法分析器调用一但语法分析器建立出语法树后 程式码变有了意义
作者: longlongint (华哥尔) 2017-10-24 00:42:00
就代币(误个人的理解 "一片小东西上面有写字"
作者:
CoNsTaR ((const *))
2017-10-24 03:12:00就是能证明你身份的一样物品啊
证明身分那是写网络程式的时候好吗token就如上述 程式码是一个大字串 把这个大字串依照规则切成小段 就是token考虑意义 你可以称它为“单字” 反正电脑语言的WORD是别的意思不会混淆 而token是合乎语法的基本片段(syntactic element) 称为“单字”也并无问题叫“字汇”或更模糊的“片段”也行 “字串”也勉强类似很难搞的词还有"handle" 那比token还头大
作者:
CoNsTaR ((const *))
2017-10-24 04:29:00原来我那个解释还真的可以用在写程式上啊 XDDD
在分析运算式时，算子、运算子、括号 等都是 token。
规格书不好看是一定的啊 准备一些基础知识才比较好看
作者:
sppmg (sppmg)
2017-10-24 22:15:00让我想到 latex3
那不是随便找就有PDF吗Sorry正式的PDF是要钱的 但是你搜寻ISO 9899:1990就有一堆非常接近的版本了 还可能在中国有意外惊喜
作者:
descent (“雄辩是银，沉默是金”)
2017-10-26 13:02:00我是印出来慢慢看