Re: [问题] 新手学python想抓网页资料

楼主: alvinlin (林矜业)   2019-07-26 10:25:46
帮你实做了一下顺便当练习。给你参考。
import sys
import bs4 as bs
from PyQt4.QtGui import QApplication
from PyQt4.QtCore import QUrl
from PyQt4.QtWebKit import QWebPage
import urllib.request
import pandas as pd
class Client(QWebPage):
def __init__(self, url):
self.app = QApplication(sys.argv)
QWebPage.__init__(self)
self.loadFinished.connect(self.on_page_load)
self.mainFrame().load(QUrl(url))
self.app.exec_()
def on_page_load(self):
self.app.quit()
url = 'http://ww2.money-link.com.tw/etf/Ranking2.html'
client_response = Client(url)
source = client_response.mainFrame().toHtml()
soup = bs.BeautifulSoup(source, 'lxml')
js_test = soup.find('table', class_='ETF_table_2 sticky-enabled')
print(js_test.text)
https://i.imgur.com/IlD0trt.jpg
要下载PyQt4
https://i.imgur.com/FcPpN6C.jpg
※ 引述《yeeche (yeech)》之铭言:
: 各位前辈好
: 小弟是python新手 程度应该很low
: 想请教一下用python抓网页的功能
: http://ww2.money-link.com.tw/etf/Ranking2.html
: 我想抓取这个网页的
作者: yeeche (yeech)   2019-07-26 12:34:00
真是太感动了 大感谢 我先好好学习!!
作者: HenryLiKing (HenryLiKing)   2019-07-26 13:39:00
原来还可以这样用 PyQT!!! 好厉害!!请问PyQT会像selenium一样被侦测出是机器人吗QQ?
楼主: alvinlin (林矜业)   2019-07-26 15:02:00
ㄟ...我其实整个程式都是照原原po里有篇YouTube连结里的原封不动照抄。只有HTML的Tag和Class换掉而已。在这之前也没看过。
作者: brt   2019-07-26 15:39:00
pyqt那个只是包装的浏览核心真正抓的还是BS
作者: vi000246 (Vi)   2019-07-26 22:21:00
怕被侦测机器人可能要学如何伪装表头了
作者: poem5566 (干你蚬仔)   2019-07-30 16:23:00
太感谢了 感恩分享

Links booklink

Contact Us: admin [ a t ] ucptt.com