PTT
Submit
Submit
选择语言
正體中文
简体中文
PTT
Python
[问题] Pyhton 爬虫frame看不到 试过Selenium
楼主:
ncueBenson
(nuceBenson29)
2017-10-29 20:34:31
大家好,第一次碰爬虫
要到某学校帮学生抓取成绩资料,但该学校的网站设计我透过
request,seleium都看不到frame的部份(输入帐密,还有成绩表格部份设计方式一样)
会有隐私问题就不提供帐密(请见谅),仅以相同设计方式的登入页面解说
学校网址登入网址
https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw
以下是code
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw')
print(driver.page_source)
跑出来的结果没有框架的原始码,连frame什么的都没有
请问大神们 我是不是搞错什么?
或是提点我有什么方向该去查的~
谢谢
作者:
neil987
(R5大小姐-EX人品崩坏)
2017-10-29 20:36:00
你有没有帐密可以测试 有的话直接丢一次 看开发工具看他把哪些资料 送到啥网页像这样
https://i.imgur.com/THkotup.png
不是 不管他form怎处理 到最后一定有个网页收资料上面那张图就是我按登入之后 他送的资料跟目标网页也就是说auth.ischool.com.tw/service/basicauth.php这个就是他收登入资料的网址 送的资料图上有我没有帐密没办法帮你测 反正登入这块这步看起来是没错的
作者:
coeric
( )
2017-10-29 21:24:00
楼上的意思是 先去Response 看看到底是显示在哪个页面吧?
作者:
vi000246
(Vi)
2017-10-29 21:54:00
看起来是透过basicauth.php判断帐密是否正确 再呼叫登入动作 你再研究看看网页下一步会做什么
楼主: ncueBenson (nuceBenson29)
2017-10-29 21:58:00
好的我明天下班后试试 我习惯十点就寝~~谢谢三位大大
作者:
f496328mm
(为什么会流泪)
2017-10-30 12:11:00
seleium基本上应该无敌吧!很难遇到看不到的
作者:
zerof
(猫橘毛发呆雕像)
2017-10-30 13:43:00
switch_to.frame
楼主: ncueBenson (nuceBenson29)
2017-11-03 12:47:00
有透过frame登入了 可是driver抓到的资料好像是还没登入的网页
继续阅读
[问题] 空气阻力code问题
hank546288
[问题] vs2017 django __init__ 读app时有时无
ddchris
[问题] Flask Login 一直被当匿名用户
HenryLiKing
Re: [问题] sqlite写入问题
uranusjr
[问题] 学Scikit Learn或是Tensorflow?
liton
[问题] python 与vba的使用搭配疑惑
thomasflee
[问题] 新手发问 跨档案操作UI问题
terryone
[问题] PEP8 空白行 Blank Line
m87dd05
[问题] 为什么有些写法会在前面或后面加底线
zcyee
[问题] sqlite写入问题
rs6000
Links
booklink
Contact Us: admin [ a t ] ucptt.com