[问题] 两百万笔资料中拉出固定频率的笔数 steve55987 PTT批踢踢实业坊

[问题] 两百万笔资料中拉出固定频率的笔数

楼主: steve55987 (大家都叫我吠蚊) 2019-10-09 10:42:07

想请问一下各位大神
目前遇到一个困难
目前研究拿到一笔总数蛮大的data 是 CSV档
但当初在蒐集资料时是每一秒蒐集一次
在蒐完之后才发现笔数过大很大软件都没办法一次汇整
是否有办法取出其中固定频率的资料呢
像是原本是一秒一笔资料想从里面大概每五分钟拿一次资料这样其他的删除 (假设其资料
变动幅度不大，这样删除无其他问题)
谢谢!!

作者: outshaker (out) 2019-10-09 11:32:00

for i in range(0,len(list),300):

作者: TitanEric (泰坦) 2019-10-09 11:55:00

用pandas的 pd.read_csv(档名, chunk=一次读几笔)详情可以找官网来看

楼主: steve55987 (大家都叫我吠蚊) 2019-10-09 12:31:00

谢谢两位大大，我再研究看看!!

作者: jiyu520 (不要鲫鱼我) 2019-10-09 13:40:00

pandas resample也可以看看

继续阅读

[问题] Pycharm免费版由原始码产生UML图？dharma [问题] anaconda opencveamansf96xs [问题] partition()去除delimiter及后char一问AmigoSafin [问题] Image dithering 问题materies [问题] pydub 切割音讯yshihyu [问题] 新手请教Turtle问题jovy [问题] 想请问关于用__mul__产生的listlayu19920414 [问题] 请问有人做过climate data 相关project?AmigoSafin Re: [问题] 如何复制stringluckid [问题] SQL MAX()问题yeahhuman