Re: [闲聊] 回测期间设定应该多长?

楼主: whs2009 (欧森)   2023-10-16 17:03:08
※ 引述《FA88124 (超弩级☆肥宅)》之铭言:
: 最近在做策略回测
: 数位货币的价格变化
: 跟传统股票差异蛮大的
: 以ETH为例从2019年至今
: 价格的跨度其实就不小
: 从数百~好几千 到现在稳定一千多
: 如果是股票指数期货的话
: 可以算一点多少钱
: 然后点数高低的差距也
: 不会像上述ETH价格差异那么大
: 那么开发策略时
: 应该看多长的时间跨度比较好?
: 2022-2023年有效的策略
: 往前经历2019-2020期间or5月大崩
: 可能最后结果就不同
: 从严谨的角度上来说
: 可以考虑资料的结构性变化
: 但从实务上来说
: 会回测多久的期间来认定策略有效呢?
自身也有在开发这块 想说可以回应一下
数位货币变化真的很大 一般来说在会以时段区间里面的最后值
(往往是收盘价)做normalization
小弟蒐集的是2023年9月30前的以USDT为交易对的现货资料
扣除掉低交易量 太过新的交易对 或是稳定币交互的交易对 (剩下334组 65GB资料)
透过币安的API蒐集从开始到现在每分钟的资料 (感恩R CRAN 的 binancer package)
训练策略分成三部分
从创建交易对到2022年12月31日为训练资料集 (训练AI策略用的)
2023年1月开始到2023年12月31日为非实际入场测试(AI策略没学过的资料 给他跑跑看)
以及如果结果还不错
预计2024年1月开始透过API制作auto-trader自行让AI实际入场买卖测试
我个人的经验在测试上很难做长期投资变化预测
一方面波动巨大另一方面各种黑天鹅事件根本无法去由一些资料提前知道入场出场时机
至少以我自行训练的结论是胜率大都在30-55%徘徊 = =
不过短期的预测入出场时机倒是相对可行 AI设计的策略也是在短线操作为主
在一开始的时候 只使用了BNB/BTC/ETH的交易资料对来训练
但出现了严重的overfitting 即使用了drop out/L1/L2 regulerization
还有batch normolization以及layer normolization都无法顺利消除.....= =
以BNB为例 (https://lurl.cc/glZ6J)
前两张是回溯training资料集 confusion matrix其实表现不错
但在后面的第三张是抓2023年9月10月的资料变化就发现差强人意...
但其他月份的资料表现又还不错
所以这样的观察可以知道大事件发生时对AI学习来说资料diversity可能不够
也因为如此才心一横抓了所有USDT交易对让AI尝试学习不同山寨币崩盘等等的时机要退出
(https://lurl.cc/BPBBG) 这张图是当时分析不同交易对最适合进出场cutoff时机
不过这张图是根据交易策略跑出来的 不同策略是不一样的
回到你前面的问题
回溯要看多久这件事情
我的观点是如果以前的资料已经拿来训练了 那回溯其实就不是重点了
因为策略已经学习过了 那他表现可以预期很好
需要判断是否为适当策略应该要给予没见过或是没学习过的资料
我目前大都抓半年到一年 我看其他股票或是加密或币的论文大多抓1年 给你参考
作者: DarkerDuck (達克鴨)   2023-10-16 19:17:00
推经验分享,不过连结可以独立一行,才不会读取错误
作者: sdtty (龙井裘德洛)   2023-10-16 19:53:00
明朝的剑是斩不了清朝的官的,LTCM都不能成功,何况是一般人
作者: pinner (莲踢踢)   2023-10-16 21:15:00
一分钟的K其实一年的资料就可以做出东西了
作者: slayptter ((^_^))   2023-10-17 13:47:00
我也曾经走过你这段思路但可惜....结果上来说并不算成功
作者: sma1033 (死马)   2023-10-18 05:11:00
别再用分k来当训练资料了,偷懒只会得到无效烂结果LTCM失败的原因是过度杠杆加上忽视系统性风险好吗
作者: hideelou (睛)   2023-10-28 04:10:00
回测其实也是过时数据
作者: darkMood (瞬间投射)   2023-11-01 00:06:00
终归还是成败论英雄,赢家就是正确的。

Links booklink

Contact Us: admin [ a t ] ucptt.com