[问题] BeautifulSoup连线问题 philipwen PTT批踢踢实业坊

[问题] BeautifulSoup连线问题

楼主: philipwen (匈牙利=Hungary) 2019-07-01 13:33:52

Hi各位强者大大，小弟Python外加IT新手，最近尝试用BeautifulSoup抓取博客来书店资料(ISBN和分类)，目前已经写好一个相对完整的程式但遇到一个问题。
我在程式加了一个判断式判断如果某Class存在才会继续抓取资料。但执行后发现有时候明明网页有资料的却不会去抓取。我试着把连线参数调整后抓的到，但因为要抓8万笔资料不可能让参数放得太宽。
请问如果像这样的状况我该怎么办呢?
附上程式码请各位强者大大参考
https://tinyurl.com/y3yvqshf

作者: kenduest (小州) 2019-07-01 13:59:00

买多台 cloud 有不同 ip 分散连线抓取

作者: rexyeah (ccccccc) 2019-07-01 15:33:00

不先检查status_code吗？

继续阅读

[问题] 请问python有这功能的模块吗?daniem1314 [问题] 新手学习容易忘记Haruna1998 Re: [问题] 新手assign to operator的问题yeuan [问题] powershell还是python？NightStick [问题] Jupyter notebook nbextensionsmartin7887 [问题] Matplotlib module新版问题Dmix [问题] 学习破解验证码?daniem1314 [问题] 新手assign to operator的问题superpaden [问题] 使用python上传档案swwy1661 [问题] matplotlib.pyplot 的y轴数字太长treefrog