[问题]scrapy如何把抓到的资料存成这样格式?

楼主: allen511081 (蓝)   2015-02-09 21:56:13
各位好,小弟上次抓的资料格式已经如我上次发问的样子
title birdName count
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
我的程式码连结:
https://drive.google.com/open?id=0B6SUWnrBmDwSVmlYeWhNMDVCeFU&authuser=0
但是我现在想要把格式改成以下的样子,这样可以方便以后的处理
title title title title birdName count birdName count birdName count
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
.
.
.
.
后面的birdName和count是依据网页资料的笔数决定,每个网页的笔数不一定,
但是都要存成这样的格式,请问各位大大,我该如何做?
作者: ccwang002 (亮)   2015-02-10 12:32:00
可以用 pandas.DataFrame.pivot然后最后用 pd.concat 把每个网页接起来,会自动 join你给的 code 用 BirdItem 存但我看了还是不懂整个流程转换如果能给个更实际的例子会比较好懂,现在都是 xyz

Links booklink

Contact Us: admin [ a t ] ucptt.com