[问题] csv大量时间数据转换

楼主: lattes (拿铁三合一)   2019-04-26 00:29:20
各位大神大家好
小弟是初学的新手 最近拿到一份四百多万笔的时间数据.csv
其时间数据格式大概长这样
A B
1 G1 2018010101
2 G2 2018011101
.......
想请问我想要将时间资讯的字段转换为
2018-01-01 01:00:00.000
2018-01-11 01:00:00.000
并重新产生一份新的csv
我应该用datetime相关函式去处理
还是单纯按照数据规则去加上 - : 等相关符号土法炼钢处理
先感谢各位大大的答复
还请指教教学
作者: roccqqck (ccqq)   2019-04-26 00:34:00
datatime吧
作者: froce (froce)   2019-04-26 00:47:00
用pandas读进去,再用apply将其转换成datetime,并传回strhttps://ideone.com/tWSARC
作者: sma1033 (死马)   2019-04-26 09:53:00
一行一行读,人工split好像也花不了几秒钟?
作者: jiyu520 (不要鲫鱼我)   2019-04-26 11:13:00
你问的应该是效率谁好? 分别处理一次看处理时间差异
作者: froce (froce)   2019-04-26 11:14:00
code的量其实应该没啥差,不过速度应该会慢一点。pandas的处理速度快很多而且一行一行处理,还要考量磁盘IOpandas则是要注意内存够不够
作者: benzxa (Scott)   2019-04-26 15:04:00
time 还是 datetime 有个东西可以自订输入 strftime 然后再转存你要的格式即可
作者: clang (llvm)   2019-04-26 20:54:00
档案太大的话pandas也有chunk可以用
作者: feeya (24 August 升格为乡民)   2019-04-26 21:48:00
先不要管400万笔 先用前1万笔试试看就好啦
作者: yushes920179 (乐冰)   2019-04-27 13:57:00
Google

Links booklink

Contact Us: admin [ a t ] ucptt.com