[问题] import pandas 程式执行速度问题

楼主: Dmix   2022-04-30 13:11:19
用pandas读excel并pandas画图
1, 若把这两个动作写成一个 .py 。import pandas一次
2, 读excel当主程式.py ;画图写成一个module 。 分别import pandas一次
第2种作法执行速度会比第1种慢 对吗?
作者: Hsins (翔)   2022-04-30 15:50:00
非得要说的话,的确会多一个往 sys.modules 找被 import 过的 module/package 是否存在,真正花时间的 loading 只会做一次,然后再根据不同的 module 绑定 namespace这种差异根本微乎其微,如果你真的在意这个速度差异,本来就不应该选择使用 Python 而是其他编译型语言,以 pandas来说也才两秒左右。我说的两秒左右是单单 import pandas 而言,至于你所说的这种在不同 module 引入同一个 package 的时间,是以微秒计的,速度差别大概是 2.x sec 和 (2.x + 0.00000x) sec的差别
作者: lycantrope (阿宽)   2022-04-30 16:55:00
module import后产生__pycache__应该比单档案快?
作者: chang1248w (彩棠)   2022-04-30 17:56:00
pandas的瓶颈应该是单执行绪才对本身也不是多大包的东西
作者: lycantrope (阿宽)   2022-04-30 20:43:00
的确w不过data太大应该也会改用dask或spark
楼主: Dmix   2022-05-01 19:29:00
如果我只是把excel的资料直接画图 需要dado 或spark吗?
作者: Hsins (翔)   2022-05-01 20:24:00
不需要 = =
作者: handsomeLin (DoGLin)   2022-05-02 18:34:00
不需要担心import的执行速度

Links booklink

Contact Us: admin [ a t ] ucptt.com