觉得小游戏查表好麻烦，做了一个查表器
附上人权
http://i.imgur.com/vzuo7ru.jpg
# 实验成果
v1
https://youtu.be/IcirpEYB2lY
v2,感谢小精灵改scrcpy
https://youtu.be/Nb9cCh4DmgY
# source code
aHR0cHM6Ly9wYXN0ZWJpbi5jb20vajhNY3F4RGE=
# 实验环境
- Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz
- 12G RAM
- MX500 SSD
- Ubuntu 19.10
# 辨识九宫格图示
OpenCV提供大量函式，为此我们使用了 `matchTemplate` 辨识图示，整体流程如下
1. 切割原始图片成单张图示(icon)，大小为106x106px
2. 调整大小至78x78px
3. 用 `matchTemplate` 比对148张既有图示，排序 `min_val`，找出最大值所对应的图
示和ID
得益于Profiling工具的日新月异，我用cProfile分析单执行绪的 python script，发现
最耗时的地方位于`templateMatching`，足足占了整体执行时间97%‧
```bash
~$ python3 -m cProfile -s tottime ./tmp.py
0.7606322765350342
325680 function calls (318751 primitive calls) in 1.289 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno(function)
1287 0.741 0.001 0.741 0.001 {matchTemplate}
28/17 0.162 0.006 0.240 0.014 {built-in method
_imp.create_dynamic}
280 0.045 0.000 0.045 0.000 {built-in method marshal.loads}
2 0.041 0.020 0.041 0.020 {imread}
```
### 全彩转灰阶
试着将全彩图示转换成灰阶再进行比对
```bash
~$ python3 -m cProfile -s tottime ./tmp.py
0.2725179195404053
326034 function calls (319105 primitive calls) in 0.811 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno(function)
1287 0.256 0.000 0.256 0.000 {matchTemplate}
```
看的出 maximum overhead 还是在`templateMatch`，但总执行时间足足少了65%‧
### 缩小图示再比对
将两边要比对的78x78px缩小至26x26px，于是`matchTemplate`让出宝座，整体执行时间
更是来到 0.05s(-80%)，图示辨识率也还是维持100%。
```
0.05796694755554199
326071 function calls (319142 primitive calls) in 0.613 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno(function)
28/17 0.153 0.005 0.234 0.014 {built-in method
_imp.create_dynamic}
280 0.046 0.000 0.046 0.000 {built-in method marshal.loads}
2 0.043 0.022 0.043 0.022 {imread}
1287 0.042 0.000 0.042 0.000 {matchTemplate}
1175/1120 0.021 0.000 0.073 0.000 {built-in method
builtins.__build_class__}
```
为了减少执行时间，我们也测试图片大小和辨识准确率关系，程式有做一些改动(印出正
确率、存测试资料)，下方数据只是作为 Image size 的选取依据并非实际执行时间。测
试脚本如下
```bash
for i in `seq 78 -2 1`;do icon_size=$i python3 tmp.py; done;
```
只用一张游戏画面图片做测试
icon size | elapsed time (sec)| accurate rate %）

看不懂你在干嘛 但好像很厉害 推一下

我做研究都没那么认真 跪了

你的指导教授知道你在作这种东西吗?

这技术用在游戏上，我只能跪了谢谢大大造福群众

三小= =

不好意思请教一下，你在辨识九宫格图示部分，是使用萤

?

我今天流量够了 该睡觉了

看起来很厉害的样子

很好 明天来上班

三小。。

先推，免得其他人以为我看不懂

嗯嗯我也是这么想的

偶先推

所以是萤幕辨识+按键精灵吗

先推，装懂

看不懂你在干嘛 不过你之后要去so-net?

这不就外挂...

科技的力量

看不懂

先推

请问可以把py档放github吗 想clone下来好好研究一下

sonet：你要来我这里报到了吗

不懂，先推再说

太神啦

有没有打算放在 github 开源

哇靠 文组看不懂啊

用 numba 会比较快吗 <-出张嘴

科技始终来自人性

推 如果能找想要的押韵就更猛了

我觉得你在做坏事 但我看不懂

姆咪

现在打电动都要这么硬派写实喔

.......看不懂但先跪再说

你的指导教授知道这件事吗

这算外挂吗XD

先推免得

上次是连点这次是小游戏脚本 某人要高潮了吗

这跟去so-net没一点关系，原po应该会去做影像辨识的公司吧

这就是外挂啊

推

第1行不就是写查表器了

我只是想打手枪，你给我看这个= =

我也是这么想的

跟我想得差不多

窝不知道 你再说蛇某

现在玩公连这么硬的吗

太强啦

我需要git网址 为了研究

玩公连先学影像辨识

嗯嗯 跟我当初想的一样 谢谢付诸行动

嗯嗯跟我想的差不多

IOTA凸了木有发钱辣

这山小...

嗯嗯 跟我当初想的一样

你的got hub勒

讲中文可以吗

python。ai辨识

source code 呢？ (敲碗

说人话

请问有哪些教授有在做upscale的吗？满有兴趣的

请问paper哪里可以找到

我需要网址，为了研究用途。

...我竟然看的懂 推有心去写 又有心分享成果

scale前可以把边界剪掉 外面那一圈白框对辨识没帮助

瑟瑟发抖

有看有推

感觉会被当外挂 还好我打玩了

求github XD

私！

你赢了...

果然等著就有神人，太猛了，求站内codeXD

太神拉 要是我会还是懒得做

电脑白痴的我 连怎样弄和用都不知道

傻眼