python长时间不定期运行 如何记录执行位置
举例:
目前我用字典档关键字逐次google搜寻
将结果提取域名储存
但问题关键字有20多万笔
我目前方式是 将有执行过的关键字另外存盘
每次停止脚本时 再去删除关键字已执行的
一直重复 觉得很麻烦
想爬虫也是会遇到这样问题 都要纪录爬到哪里 重新设定页数
有没有什么通用的方式可以解决呢?
最理想希望 我只需要按执行和停止 直到全部运行完毕
麻烦给些思路 感谢各位

list本身就是个queue，需要的只是pivot

结束时记录下一个关键字，下次再开就会从它开始

好 谢谢分享 我再去爬文

记录了关键字就可以用关键字查字典

字典档A不是被你搜寻过就删掉了吗？下次开始执行不就不会重复了？还是你是手动删除阿？用python写一个function负责删查过的不就行了吗上面提到纪录下一个关键字 你随便存在一个档里 下次打开直到搜到那个关键字再开始也行