[问题] python爬虫抓取资料问题
楼主: blue14753 (blue14753) 2017-08-22 19:18:10
最近想写一个爬虫来抓取家教网的资料，
但目前遇到一个问题是，欲抓取的资料在
class = listContainer 的 ul 里，原本想像是
会抓到 ul 里的 li ，再去抓取 li 里的 colRow
区块，但不知为何用find_all或find都只能抓到第一笔的 li 。以下附图以及程式码，感
谢大大！
程式码：http://codepad.org/N1U5MJnW
程式执行结果：
网页原始码：
但目前遇到一个问题是，欲抓取的资料在
class = listContainer 的 ul 里，原本想像是
会抓到 ul 里的 li ，再去抓取 li 里的 colRow
区块，但不知为何用find_all或find都只能抓到第一笔的 li 。以下附图以及程式码，感
谢大大！
程式码：http://codepad.org/N1U5MJnW
程式执行结果：
网页原始码：
作者: dmjohnny ( ) 2017-08-22 21:49:00
搭配selenium吧
作者: wennie0433 2017-08-22 22:44:00
你应该可以直接抓findAll('div', {'class':'colRow'})然后得到结果后再去find('span', {'class':'col name'记得find_all回传的是list要用for取值你把html.parser换成lxml就可以抓到全部了或是html5lib也可以