[问题] rolling+apply过慢

楼主: gensation (OoooO)   2022-08-01 08:48:13
各位高手好
想请问df.rolling().apply(fun)有无更快的方式,其中fun部分为rolling数据跟一固定
数据做相关系数,有试过numba,不过好像没有较快,想用cython,看起来有点难度,且
没学过c,不知有何替代方案,或是应专研以上方法,谢谢。
作者: celestialgod (天)   2022-08-01 11:47:00
polars rolling sum应该可以 只是你需要用公式展开计算
作者: chang1248w (彩棠)   2022-08-01 17:04:00
你把前后运算写成矩阵之后乘开,再用numba/cupy炸或者直接装cudf来用你应该有卡吧?运算瓶颈是pamdas single thread,就算你后面call再多的资源,它还是single thread
楼主: gensation (OoooO)   2022-08-01 20:42:00
polars我来试试。我是用colab在玩...,然后df shape 7000휲000完全跑不动roll加apply,请问cupy cudf有什么好懂的教学,本身文组不是太懂..,谢谢
作者: chang1248w (彩棠)   2022-08-02 00:49:00
这和文不文理不理没关系,cupy你就当numpy写就好找 cudf colab应该都有安装程式码可以抄,Nvidiarapids 不是冷门社群这类扩充移植到lib一般都会几乎兼容于原本的版本
作者: celestialgod (天)   2022-08-02 14:54:00
看你要不要弄个可以重现你问题的程式码这样板友也比较好帮你看出哪里是效能瓶颈才好对症下药,帮你解决问题

Links booklink

Contact Us: admin [ a t ] ucptt.com