[问题] 完全新手问题有关csv产出 meichiang PTT批踢踢实业坊

[问题] 完全新手问题有关csv产出

楼主: meichiang (美江) 2018-09-22 01:18:28

手边有一大笔资料 1千多万的资料
第一字段为商品代码之后字段为这商品的其
他资料总共有一千多万笔资料要将一个大的
csv档根据第一栏的商品代码根据商品代码另
存为csv档
由于没写过程式爬文慢慢写出以下东西但感觉错了用小笔资料跑明显的跑错只开了
根据商品别开csv 但csv内没读取到资料
https://i.imgur.com/Tl2oDh9.jpg

作者: shadowfu (shadow) 2018-09-22 01:27:00

可以改用pandas的dataframe来做可能会好做一点

作者: jackwang01 (艾斯比那) 2018-09-22 01:47:00

你的y是有csv副档名的，if y in fcolumn1可能找不到东西？

楼主: meichiang (美江) 2018-09-22 02:15:00

有好的解决方法吗？如果一次跑太多笔资料要怎么防呆

作者: jackwang01 (艾斯比那) 2018-09-22 02:19:00

把y改成column1应该就行了？不知道你想做的是不是这样

作者: DChun (Ding) 2018-09-22 11:25:00

可以试看看pandas

作者: fgghhg (fgghhg) 2018-09-22 12:27:00

跑不了是跑不完吗？还是跑完没结果？这不一样这写法是全部都读到memory做，一千多万笔是有点多，有可能吃不下，还要看一笔有多大

作者: acer1832a (Mike) 2018-09-26 09:43:00

你要不要检查一下CASHVALUE.csv这个档案，看有没有某一行是空白没资料的。因为for in应该是不会有index outof range，比较有可能是在fline.split(',')[1]这里出错

继续阅读

[问题] 超级新手请教接口问题avant [问题] 函数中下标或是呼叫另一个档案majoyun [心得] 用python写了一个Enigma加密机JustBecauseU [问题] 如何持续更新print内容renshin [闲聊] 想跟 Web Scraping 高手请益自动化技术~adwx1973 Re: [问题] 爬虫自动更新程式Hsins [问题] 爬虫自动更新程式WENroger [问题] 枢纽分析+排序buyoption [问题] 在MAC 上用pycharm执行Djangoabcd012345 [问题] 无法成功取字串前4码neil24

[问题] 完全新手问题 有关csv产出

[问题] 完全新手问题有关csv产出