[问题] python读取大容量csv档方法

楼主: reallife (ray)   2020-03-29 18:55:41
最近在使用python处理一个大容量(几GB)的csv档,但却会显示内存不足的错误,我google一下皆是推从 pd.read_csv 加 chunksize option的方法。
想知道还有无其他读取大容量csv档的方法?
作者: TuCH (谬客)   2020-03-29 19:48:00
加大ram
作者: chuchutaro (啾啾太郎)   2020-03-29 20:01:00
用 readline() 一行一行parsing
作者: swordgun (月光)   2020-03-29 22:46:00
试试看这篇文章的?如何用Python在笔记本上分析100GB数据? - InfoQhttps://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D?fbclid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnOeYYsFISlqVNgh4
作者: ichengshen (IC)   2020-03-29 23:36:00
上面这段网址,可以缩减为https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D
作者: yiche (你若安好,便是晴天)   2020-03-30 01:58:00
hdf5
作者: Starcraft2 (来自星海的你)   2020-03-30 15:57:00
上面讲的Vaex好酷 学习了...https://github.com/vaexio/vaex
作者: ariainaqua (把渚送上本垒吧!)   2020-03-31 15:33:00
Vaex 的 API 让介接呈现资料变得挺方便!感谢分享 :-)

Links booklink

Contact Us: admin [ a t ] ucptt.com