PTT
Submit
Submit
选择语言
正體中文
简体中文
PTT
Python
[问题] python读取大容量csv档方法
楼主:
reallife
(ray)
2020-03-29 18:55:41
最近在使用python处理一个大容量(几GB)的csv档,但却会显示内存不足的错误,我google一下皆是推从 pd.read_csv 加 chunksize option的方法。
想知道还有无其他读取大容量csv档的方法?
作者:
TuCH
(谬客)
2020-03-29 19:48:00
加大ram
作者:
chuchutaro
(啾啾太郎)
2020-03-29 20:01:00
用 readline() 一行一行parsing
作者:
swordgun
(月光)
2020-03-29 22:46:00
试试看这篇文章的?如何用Python在笔记本上分析100GB数据? - InfoQ
https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D?fb
clid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnOeYYsFISlqVNgh4
作者: ichengshen (IC)
2020-03-29 23:36:00
上面这段网址,可以缩减为
https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D
作者:
yiche
(你若安好,便是晴天)
2020-03-30 01:58:00
hdf5
作者:
Starcraft2
(来自星海的你)
2020-03-30 15:57:00
上面讲的Vaex好酷 学习了...
https://github.com/vaexio/vaex
作者: ariainaqua (把渚送上本垒吧!)
2020-03-31 15:33:00
Vaex 的 API 让介接呈现资料变得挺方便!感谢分享 :-)
继续阅读
[问题] 深度学习神经网络
OrzHsien
[问题] django - csrf验证失败
wahahahaaa
[问题] Pandas 读取问题
ttvic
[问题] Python 与文书软件搭配
soap20021013
[问题] Numpy 要考虑overflow吗?
cs410567cs
[问题] opencv cv2.resize
s1010257
[问题] 要如何建构程式递回的概念
Kuba4ma
[问题] 接触Django后的前端学习请益
qazwsx99876
[问题] gmap转html问题
sutekidesune
[问题] 想请问Keras官网example的疑问
zax5566x2
Links
booklink
Contact Us: admin [ a t ] ucptt.com