[心得] 写了一个把 Test case 变自动化的小工具

楼主: chochola (chochola)   2026-03-31 01:46:02
大家晚安,
最近在开发一个自动化测试的小玩具 OpenTestX,想说来板上取暖
原本是想说现在 AI 这么红,拿来产测试脚本应该很爽?
结果试了几次发现 AI 根本是通灵,产出来的东西语法虽然会动,但商业逻辑乱喷一通,
改那个脚本的时间我拿来手动测还比较快
后来想说换个思路,既然我们本来就有一堆写好的 Test cases 了,为什么不直接喂给 L
LM 叫它帮我转成Skill.md?
这工具大概在干嘛:
1. 把你原本那些 Excel 里的测试案例直接汇入。
2. 用 LLM 去理解内容,把它变成一个一个会动的 Skill。
3. 这样就不用怕 AI 瞎猜逻辑,因为逻辑是你原本就定好的。
这东西现在还超阳春,功能很不完整,很多地方我都还没修好,大概只有 0.1 版的程度
(请轻喷)。UI 很丑,有些边缘情况跑起来会喷错,但我目前还在持续补坑。
也附上GitHub ,让有兴趣的人可以 clone下来玩玩看:
https://github.com/BobChochola/openTestX
想问问板上测试的大大们,现在大家都怎么处理 AI 逻辑乱跳的问题?
或是这种既有案例转 Skill的做法有没有什么我没想到的雷点
手机发文如果排版不优请见谅
编辑:把文章连结移除
作者: labbat (labbat)   2026-03-31 02:10:00
没有头绪,毕竟如果案例有规则那就不是案例了太多需要逐案判断的东西了
作者: peterturtle (peter_turtle2000)   2026-03-31 11:36:00
品质把关的 system test 自己手动弄啦特别是 AI 对一些突然冒出来的“例外”很弱,因为他并不真的知道你的结果看上去要怎么样,太多细节是你文字没办法提供的了,就算你某个按钮按下去会有个兔崽子跑出来跳曼波舞只要该跳的有跳AI也会跟你回报一切正常。
作者: USD5566 (美金五千五百六十六)   2026-03-31 12:10:00
这里不是用来蹭medium点阅的请将文章重点贴出
作者: CoNsTaR ((const *))   2026-03-31 12:19:00
如果是未成年跑出来跳脱衣舞它就会改成回报 I'm a safe and helpful ai assistant 了 /s
作者: gn00273680 (jameslin)   2026-03-31 15:04:00
讲清楚就没有所谓逻辑乱跳的问题~通常都是你讲不清楚
作者: chita0258 (大报社)   2026-03-31 17:31:00
/skill-creator @testcase.xlsx
作者: MOONY135 (谈无欲)   2026-03-31 18:01:00
逻辑好像有点怪,test本来就是看规格决定测试手法。你叫他看code去厘清要QA的项目有点诡异?这应用场景是手测QA还是软件测试的QA? 然后如果某个button原本是方的要测有没有改成圆的 会不会出现时间序错误的问题 导致怎么测都会有问题?
作者: k7ji91ab5m (囧嘻嘻)   2026-03-31 22:55:00
不是这样弄得 AI时代验证的品质和角远比code重要的多
作者: pttano (pttano)   2026-04-01 18:16:00
这个能干嘛?
作者: guanting886 (Guanting)   2026-04-01 21:50:00
不太懂,你的专案Ai帮你写Test会乱跳,但你另外做工具就不会,有没有一种可能原因是你专案的Test本身就有存在一些问题以及给你他的指示不够清楚你给他^
作者: labbat (labbat)   2026-03-31 10:10:00
没有头绪,毕竟如果案例有规则那就不是案例了太多需要逐案判断的东西了
作者: peterturtle (peter_turtle2000)   2026-03-31 19:36:00
品质把关的 system test 自己手动弄啦特别是 AI 对一些突然冒出来的“例外”很弱,因为他并不真的知道你的结果看上去要怎么样,太多细节是你文字没办法提供的了,就算你某个按钮按下去会有个兔崽子跑出来跳曼波舞只要该跳的有跳AI也会跟你回报一切正常。
作者: USD5566 (美金五千五百六十六)   2026-03-31 20:10:00
这里不是用来蹭medium点阅的请将文章重点贴出
作者: CoNsTaR ((const *))   2026-03-31 20:19:00
如果是未成年跑出来跳脱衣舞它就会改成回报 I'm a safe and helpful ai assistant 了 /s
作者: gn00273680 (jameslin)   2026-03-31 23:04:00
讲清楚就没有所谓逻辑乱跳的问题~通常都是你讲不清楚
作者: chita0258 (大报社)   2026-04-01 01:31:00
/skill-creator @testcase.xlsx
作者: MOONY135 (谈无欲)   2026-04-01 02:01:00
逻辑好像有点怪,test本来就是看规格决定测试手法。你叫他看code去厘清要QA的项目有点诡异?这应用场景是手测QA还是软件测试的QA? 然后如果某个button原本是方的要测有没有改成圆的 会不会出现时间序错误的问题 导致怎么测都会有问题?
作者: k7ji91ab5m (囧嘻嘻)   2026-04-01 06:55:00
不是这样弄得 AI时代验证的品质和角远比code重要的多
作者: pttano (pttano)   2026-04-02 02:16:00
这个能干嘛?
作者: guanting886 (Guanting)   2026-04-02 05:50:00
不太懂,你的专案Ai帮你写Test会乱跳,但你另外做工具就不会,有没有一种可能原因是你专案的Test本身就有存在一些问题以及给你他的指示不够清楚你给他^

Links booklink

Contact Us: admin [ a t ] ucptt.com