1. PTT
  2. Python

[问题]关于scrapy 和pandas 的问题

楼主: allen511081 (蓝)   2015-03-12 22:35:09
各位好，小弟最近有两个小问题，需要各位帮小弟解答一下
1.scrapy爬虫程式有没有办法在同一个程式码里批次输出网页资料?
EX:我有11万个网页，我想要分成3万3万输出成CSV
2.pandas的to_csv有没有办法将多个dataframe的CSV合并成一个?
作者: ccwang002 (亮)   2015-03-13 01:17:00
回 2：pandas.concat pandas.merge，看是什么方向
作者: ug945 (ug945)   2015-03-13 01:23:00
在Spider内记录笔数 到了就写到不同的档案去
楼主: allen511081 (蓝)   2015-03-14 10:21:00
谢谢，我照你们的方法处理完了
继续阅读
[问题] _tkinter.TclError的问题l1221l[问题] 爬网页 包含图片,css,jsqas612820704[问题] Tkinter checkbox 问题j3234567[问题] apache 执行 pyc noapaov[问题] 请问python 有自动加载的功能吗tas72732002[问题] 请教一下关于其他套件的使用(pyshark)Dong0129[征才][单一案件]征求高手帮忙写一个小程式BookerT[闲聊] python 3 支援的 mysql libtas72732002[问题] 脚本遇到权限问题Dong0129Re: [问题] 关于判断式的问题...apua

Links booklink

Contact Us: admin [ a t ] ucptt.com