[问题] 想请问有关爬虫问题

楼主: rennmin84 (rennmin84)   2018-12-23 15:55:26
大家好好好!
最近想要写爬虫程式来蒐集一些股票资讯(例如某个股的每季本益比或ROE),虽然
财报狗已经把数据整理的很漂亮,可是想说当作练习就来抓取上面的资料。不过现在
遇到的一个问题是找不到完整的tag资讯,我的程式码和网站原始码如下:
import requests
from bs4 import BeautifulSoup
URL = 'https://statementdog.com/analysis/tpe/2912/financial-structure-ratio'
resp = requests.get(URL).text
soup = BeautifulSoup(resp, 'html5lib')
data = soup.find('ul', {'id': 'datasheet'})
https://i.imgur.com/evMuXjH.jpg
在标签属性为{'id': 'datasheet'}的ul标签当中还有很多资料,可是用我上面的程式码
都找不到里面的资料,然后data这个变量值只有<ul id="datasheet"></ul>。
想请问大家我的程式码是哪边出问题了,感谢感谢~
作者: dododavid006 (朔雪)   2018-12-23 17:10:00
我看到的也是空的 该不会是要登入吧
作者: InfinityGate (小鸟)   2018-12-23 18:26:00
1. 登入 2. 这资料是动态加载的
作者: TakiDog (多奇狗)   2018-12-24 13:07:00
找封包下手吧
作者: toy9986619 (幻飘)   2018-12-24 14:30:00
看看资料是不是透过JS加载进来的
作者: ms0202687 (kane)   2018-12-24 23:45:00
建议原po去YT查一下 我记得有人谈到财报狗的爬虫问题。另外你应该是纯商管类的吧,以上各楼回答的关键字建议先自己做个功课

Links booklink

Contact Us: admin [ a t ] ucptt.com