[问题] Pyhton 爬虫frame看不到 试过Selenium

楼主: ncueBenson (nuceBenson29)   2017-10-29 20:34:31
大家好,第一次碰爬虫
要到某学校帮学生抓取成绩资料,但该学校的网站设计我透过
request,seleium都看不到frame的部份(输入帐密,还有成绩表格部份设计方式一样)
会有隐私问题就不提供帐密(请见谅),仅以相同设计方式的登入页面解说
学校网址登入网址
https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw
以下是code
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw')
print(driver.page_source)
跑出来的结果没有框架的原始码,连frame什么的都没有
请问大神们 我是不是搞错什么?
或是提点我有什么方向该去查的~
谢谢
作者: neil987 (R5大小姐-EX人品崩坏)   2017-10-29 20:36:00
你有没有帐密可以测试 有的话直接丢一次 看开发工具看他把哪些资料 送到啥网页像这样 https://i.imgur.com/THkotup.png不是 不管他form怎处理 到最后一定有个网页收资料上面那张图就是我按登入之后 他送的资料跟目标网页也就是说auth.ischool.com.tw/service/basicauth.php这个就是他收登入资料的网址 送的资料图上有我没有帐密没办法帮你测 反正登入这块这步看起来是没错的
作者: coeric ( )   2017-10-29 21:24:00
楼上的意思是 先去Response 看看到底是显示在哪个页面吧?
作者: vi000246 (Vi)   2017-10-29 21:54:00
看起来是透过basicauth.php判断帐密是否正确 再呼叫登入动作 你再研究看看网页下一步会做什么
楼主: ncueBenson (nuceBenson29)   2017-10-29 21:58:00
好的我明天下班后试试 我习惯十点就寝~~谢谢三位大大
作者: f496328mm (为什么会流泪)   2017-10-30 12:11:00
seleium基本上应该无敌吧!很难遇到看不到的
作者: zerof (猫橘毛发呆雕像)   2017-10-30 13:43:00
switch_to.frame
楼主: ncueBenson (nuceBenson29)   2017-11-03 12:47:00
有透过frame登入了 可是driver抓到的资料好像是还没登入的网页

Links booklink

Contact Us: admin [ a t ] ucptt.com