※ 引述《alihue (wanda wanda)》之铭言：
: 原始文章: https://nee.lv/2021/02/28/How-I-cut-GTA-Online-loading-times-by-70/
: 如何减少 GTA Online 70% 加载时间?
: 作者觉得 GTA Online 加载时间机八久，因此想要一探究竟
: 首先作者做 benchmark 发现
: Story mode load time: ~1m 10s
: Online mode load time: ~6m flat
: 然后看看 cpu usage 同时在这段时间燃烧
: 第一步，作者先做 profiling 可以得知哪一些 function 占了最多 CPU 资源
: 第二步，用 disassembler 去看程式码
: 问题1. It’s… strlen?!
: 好像会 parse 一个高达 10MB 的 json 档案，其中包含 63k items
: 这些资料是游戏中的线上商城的
: 问题不是 10MB，而是读取资料的方式
: https://i.imgur.com/ZHLlEDJ.png
: 读法是用 sscanf 一次读一个 char，读完马上呼叫 strlen，
: 再继续读下一个 char....
: 然后当要读的档案有 10mb 这么大就有很重的 overhead
是sscanf的function里会呼叫strlen，也不是一次读一个char。
https://opensource.apple.com/source/xnu/xnu-792/libkern/stdio/scanf.c.auto.html
虽然不知微软如何implement sscanf，不过应该大致相同。
这10mb的json是一个string。循环里的sscanf会读一个item(key:value)。
所以这个parser里的strlen的complexity是
strlen(10mb)+strlen(10mb-length(key:value))+strlen(10mb-2*length(key:value)......
这循环会跑63k次。很不幸的一个quadratic time的parser就出现了，因为程式师不知sscanf里有strlen。
GTA的insert也是quadratic time，但这真的蠢，有code review应该都会抓的到
无论如何，json parser不应该自己写。
https://github.com/simdjson/simdjson - 最快的parser
https://rapidjson.org/ - 实际上快又准确，最多人建议的parser
https://github.com/nlohmann/json - 好用也多人建议的parser
google 一下，有超多的选择。
上面任何一个都可以在几秒(0.几秒吧)内处理完10mb 63k的json。
而现在优化的GTA还是需要快一分钟处理！对sscanf is slooooooow。

谢谢补充说明

所以这算是自己造轮子失败的案例吗

推

原来是这样

推

怕找开源的lib商用要付钱吧

mit/bsd/apache license的libs超多，这几个json libs都是

推

这事情有应不应该? 不过M$就不说了不过 XD

事实上我认为他是用 recursive 的方式去处理 json所以才会重复展开 sscanf

https://sourceware.org/bugzilla/show_bug.cgi?id=17577很早就知道sscanf有strlen的问题。跟重复展开无关

推