[问题] 档案下载完毕后才继续 MAGICXX PTT批踢踢实业坊

楼主: MAGICXX (逢甲阿法) 2020-11-07 16:15:46

我现在用爬虫去抓资料
可是有时候在下载还没完成之前他就又去重新找新的资料然后就会少抓一笔资料
然后就会跳过一笔资料害我的资料常常会有缺少
请问一下 selenium 有没有 "档案下载完成之后再做接着的动作" 这种机制
谢谢

作者: pig98520 (CheinFeng) 2020-11-07 17:41:00

加一个检查档案是否存在的机制？

楼主: MAGICXX (逢甲阿法) 2020-11-07 18:00:00

可是我下载的档案都是随机的乱码有办法判别吗？而且其实都很小他们下载很快点了下载之后因为他服务器端处理下载会有延迟才会发生下载错误的问题...

作者: lambo (Lambo) 2020-11-07 18:06:00

已经知道延迟不然就sleep一下？

楼主: MAGICXX (逢甲阿法) 2020-11-07 18:27:00

设太短会没用设太长等很久...我刚刚试了一下大概200~300个档案会跳一次很讨厌....

作者: andy19960407 (258698) 2020-11-07 22:49:00

直接先判定好要下载哪些资料在for 起来载勒？

作者: Pieteacher (pieteacher) 2020-11-07 22:52:00

time.sleep()

作者: ripple0129 (perry tsai) 2020-11-08 00:23:00

土炮一下，搜索下载资料夹档案有没有.tmp之类，下载中档案印象chrome会有不同副档名

楼主: MAGICXX (逢甲阿法) 2020-11-08 03:10:00

因为资料名称是乱码没办法先放在for里面给他跑最后我还是给他sleep...虽然我觉得应该有方法才对...

作者: TitanEric (泰坦) 2020-11-08 09:11:00

https://reurl.cc/R1Er7g感觉可以用以上chrome内建机制解

作者: LP9527 (ㄊㄇ抽菸都去) 2020-11-08 11:08:00

用 “档案数量 ”作判断啊..

作者: annheilong (方格子) 2020-11-09 10:22:00

你有办法下载档案就会知道档名吧？

作者: s860134 (s860134) 2020-11-10 09:14:00

档案数量和 .temp 应该是合理解

楼主: MAGICXX (逢甲阿法) 2020-11-11 11:53:00

我最后是去比对如果没有crdownload 就继续抓这样

继续阅读