Re: [问题] 神秘金字塔爬虫问题

楼主: tacovirus (小璋丸)   2019-10-30 01:39:54
※ 引述《kakar0to (Poker Face)》之铭言:
: 请问有人会爬神秘金字塔的网页吗?
: 例如下面这个页面
: https://norway.twsthr.info/StockHolders.aspx?stock=0050
: 我想把这些资讯爬出来
: 20191025 703,000 89,452 7.86 450,780 64.12 75 20 5 5 45 61.57 88.80
: 20191018 753,500 90,255 8.35 498,135 66.11 72 16 5 5 46 64.01 87.95
: ...
: 我观察网页原始码, 这些资讯大概在这两种标签的<td>里面.
: <tr class='lDS'> 与 <tr class='lLS'>
: 不过我用beautifulSoup 去捞<tr class='lDS'>这个tag,
: 似乎也会捞到<tr class='lLS'>这个tag里面的<td>的资讯
: code如下,
: soup = BeautifulSoup(respStr,'html.parser')
: tr_list = soup.find_all('tr')
: for idx,tr in enumerate(tr_list):
: if tr.get('class') == ['lDS']:
: td_list = tr.find_all('td')
: for idx2,td in enumerate(td_list):
: print(td.text)
: 想问是不是有可能beautifulSoup有机会parse错误?
: 如果是的话 有大大知道怎么解决这个问题吗?
: 或者给我个建议 可以用什么其他的方式把这些资讯爬出来?
: 感谢.
其实不用去金字塔爬,有现成的 SQLite 可以抓
或是自己养爬虫到集保抓也可以
到 GitHub 看 twnews 可以得到一些资讯
程式码 https://github.com/virus-warnning/twnews
资料载点 http://tacosync.com/archive/

Links booklink

Contact Us: admin [ a t ] ucptt.com