Re: [心得] 如何减少 GTA Online 70% 加载时间?(转)

楼主: oopFoo (3d)   2021-03-29 22:25:07
※ 引述《alihue (wanda wanda)》之铭言:
: 原始文章: https://nee.lv/2021/02/28/How-I-cut-GTA-Online-loading-times-by-70/
: 如何减少 GTA Online 70% 加载时间?
: 作者觉得 GTA Online 加载时间机八久,因此想要一探究竟
: 首先作者做 benchmark 发现
: Story mode load time: ~1m 10s
: Online mode load time: ~6m flat
: 然后看看 cpu usage 同时在这段时间燃烧
: 第一步,作者先做 profiling 可以得知哪一些 function 占了最多 CPU 资源
: 第二步,用 disassembler 去看程式码
: 问题1. It’s… strlen?!
: 好像会 parse 一个高达 10MB 的 json 档案,其中包含 63k items
: 这些资料是游戏中的线上商城的
: 问题不是 10MB,而是读取资料的方式
: https://i.imgur.com/ZHLlEDJ.png
: 读法是用 sscanf 一次读一个 char,读完马上呼叫 strlen,
: 再继续读下一个 char....
: 然后当要读的档案有 10mb 这么大就有很重的 overhead
是sscanf的function里会呼叫strlen,也不是一次读一个char。
https://opensource.apple.com/source/xnu/xnu-792/libkern/stdio/scanf.c.auto.html
虽然不知微软如何implement sscanf,不过应该大致相同。
这10mb的json是一个string。循环里的sscanf会读一个item(key:value)。
所以这个parser里的strlen的complexity是
strlen(10mb)+strlen(10mb-length(key:value))+strlen(10mb-2*length(key:value)......
这循环会跑63k次。很不幸的一个quadratic time的parser就出现了,因为程式师不知sscanf里有strlen。
GTA的insert也是quadratic time,但这真的蠢,有code review应该都会抓的到
无论如何,json parser不应该自己写。
https://github.com/simdjson/simdjson - 最快的parser
https://rapidjson.org/ - 实际上快又准确,最多人建议的parser
https://github.com/nlohmann/json - 好用也多人建议的parser
google 一下,有超多的选择。
上面任何一个都可以在几秒(0.几秒吧)内处理完10mb 63k的json。
而现在优化的GTA还是需要快一分钟处理!对sscanf is slooooooow。
作者: alihue (wanda wanda)   2020-03-29 22:25:00
谢谢补充说明
作者: nh60211as   2021-03-29 23:11:00
所以这算是自己造轮子失败的案例吗
作者: jasonwung (路人JJ)   2021-03-29 23:43:00
作者: viper9709 (阿达)   2021-03-30 00:00:00
原来是这样
作者: Barchem   2021-03-30 14:44:00
作者: tsairay (火の红宝石)   2021-03-30 18:13:00
怕找开源的lib商用要付钱吧
楼主: oopFoo (3d)   2021-03-30 18:36:00
mit/bsd/apache license的libs超多,这几个json libs都是
作者: hduek153 (专业打酱油)   2021-03-30 19:43:00
作者: superpandal   2021-03-30 19:53:00
这事情有应不应该? 不过M$就不说了不过 XD
作者: OppOops (Oops)   2021-03-30 21:48:00
事实上我认为他是用 recursive 的方式去处理 json所以才会重复展开 sscanf
楼主: oopFoo (3d)   2021-03-30 23:01:00
https://sourceware.org/bugzilla/show_bug.cgi?id=17577很早就知道sscanf有strlen的问题。跟重复展开无关
作者: wangm4a1 (水兵)   2021-04-01 16:09:00

Links booklink

Contact Us: admin [ a t ] ucptt.com