[问题] Selenium爬资料时点不到下一页

楼主: timwen (婚前忧郁症)   2019-02-12 03:13:05
小弟爬虫新手
之前看到网络有人分享爬世界杯的队伍资料的程式码
就抄下来练习...
http://zq.win007.com/big/team/TeamSche/19.html
这是我练习的网页,英超Arsenal的球队赛程
我想练习把这52页的赛程抓下来
我的程式码如下:
# -*- coding: UTF-8 -*-
import selenium
import bs4
import traceback
import time
import csv
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common import keys
driver=webdriver.Chrome()
driver.get('http://zq.win007.com/big/team/TeamSche/19.html')
target=driver.find_elements_by_xpath('//div[@id="div_Table2"]/table/tbody/tr')
for index in range(60):
...程式码省略...
print(mergegame)
driver.find_elements_by_link_Text('下一页').click()
driver.close()
我点选不到下一页,执行60次的循环时,
会不断重复抓第一页的资讯
如果不能用link_text,有更好的解决方法吗??
第一次发文,不知道描述的问题跟提供的线索足不足够
搜寻旧文找Selenium时也找不到相关线索
还请大家海涵...
感谢解答
作者: rexyeah (ccccccc)   2019-02-12 08:04:00
find by css selector or by xpath呢?
作者: HenryLiKing (HenryLiKing)   2019-02-12 08:35:00
你要看看是不是已经被当作机器人了,有可能被塞假资料了OAO
作者: wsybu (%小步步%)   2019-02-12 14:47:00
设定一下useragent...因为我记得默认user agent里面有headless的字串..可能会被server发现
作者: max0616 (MAX)   2019-02-13 23:27:00
用用看xpath吧
作者: ntumath (math mad)   2019-02-14 02:14:00
你用的是find_elements,回传的是一个listdriver.find_elements_by_link_text('下一页')[0].click如果你改用css或xpath还是用elements的话,会鬼打墙XD

Links booklink

Contact Us: admin [ a t ] ucptt.com