※ 引述《alihue (wanda wanda)》之铭言:
: 原始文章: https://nee.lv/2021/02/28/How-I-cut-GTA-Online-loading-times-by-70/
: 如何减少 GTA Online 70% 加载时间?
: 作者觉得 GTA Online 加载时间机八久,因此想要一探究竟
: 首先作者做 benchmark 发现
: Story mode load time: ~1m 10s
: Online mode load time: ~6m flat
: 然后看看 cpu usage 同时在这段时间燃烧
: 第一步,作者先做 profiling 可以得知哪一些 function 占了最多 CPU 资源
: 第二步,用 disassembler 去看程式码
: 问题1. It’s… strlen?!
: 好像会 parse 一个高达 10MB 的 json 档案,其中包含 63k items
: 这些资料是游戏中的线上商城的
: 问题不是 10MB,而是读取资料的方式
: https://i.imgur.com/ZHLlEDJ.png
: 读法是用 sscanf 一次读一个 char,读完马上呼叫 strlen,
: 再继续读下一个 char....
: 然后当要读的档案有 10mb 这么大就有很重的 overhead
是sscanf的function里会呼叫strlen,也不是一次读一个char。
https://opensource.apple.com/source/xnu/xnu-792/libkern/stdio/scanf.c.auto.html
虽然不知微软如何implement sscanf,不过应该大致相同。
这10mb的json是一个string。循环里的sscanf会读一个item(key:value)。
所以这个parser里的strlen的complexity是
strlen(10mb)+strlen(10mb-length(key:value))+strlen(10mb-2*length(key:value)......
这循环会跑63k次。很不幸的一个quadratic time的parser就出现了,因为程式师不知sscanf里有strlen。
GTA的insert也是quadratic time,但这真的蠢,有code review应该都会抓的到
无论如何,json parser不应该自己写。
https://github.com/simdjson/simdjson - 最快的parser
https://rapidjson.org/ - 实际上快又准确,最多人建议的parser
https://github.com/nlohmann/json - 好用也多人建议的parser
google 一下,有超多的选择。
上面任何一个都可以在几秒(0.几秒吧)内处理完10mb 63k的json。
而现在优化的GTA还是需要快一分钟处理!对sscanf is slooooooow。