[问题] 新手请益 爬虫资料停止更新

楼主: faithinu (彩色的肝)   2020-12-09 22:37:42
各位前辈大家好
小弟爬虫新手
因为真的很想去五月天的演唱会
所以写了程式去爬 drama-ticket版
逻辑上大概是每隔一小段时间爬这个版的第一页
如果文章标题有"售"跟"五月天" 就会传line提醒我
只爬第一页是因为没有特殊状况的话
一分钟内的文章数应该不会超过一页
程式码如下
https://ideone.com/Z2psBR
https://i.imgur.com/mFz6oL4.png
执行起来长这样
https://i.imgur.com/SDsWbkL.png
写完测试没问题之后我有包成.exe方便使用
但我发现有时候他就莫名停下来不会在更新了
也不会一直更新等待时间
请问执行过程中有可能出现哪些问题导致这样的情况发生呢?
小弟的理解是 就算网页读取错误 应该只会找不到标签
然后继续往下执行 想不到会在哪里产生runtime error
谢谢
作者: kane111 (kane)   2020-12-09 23:18:00
request的时候要先用try?
作者: TakiDog (多奇狗)   2020-12-10 00:54:00
网页如果是有问题的,后续找标签又index 可能IndexError检查status_code 做好log纪录,方便后续找错
作者: f496328mm (为什么会流泪)   2020-12-10 14:00:00
request 设个timeout
作者: bochengchen (LFII)   2020-12-12 18:01:00
Ptt altert可以看看

Links booklink

Contact Us: admin [ a t ] ucptt.com