[问题] Scrapy无法抓取资料

楼主: TZULIU (消费券收购商)   2017-07-10 13:48:04
小弟最近在练习使用Scrapy,在网络上找了一个练习范本如下:
https://www.youtube.com/watch?v=w4PPlkJFzCo
前半段运作没有任何问题,
但当开始使用 yield scrapy.Request 的时候却发现spider没有爬取到资料,
想请问各位高手原因为何?
程式码如下:
import scrapy
from bs4 import BeautifulSoup
class Apple1Spider(scrapy.Spider):
name = 'apple'
allowed_domains = ['appledaily.com']
start_urls = ['http://www.appledaily.com.tw/realtimenews/section/new/']
def parse(self, response):
domain = "http://www.appledaily.com.tw"
res = BeautifulSoup(response.body)
for news in res.select('.rtddt'):
yield scrapy.Request(domain + news.select('a')[0]['href'],
callback=self.parse_detail)
def parse_detail(self, response):
res = BeautifulSoup(response.body)
print(res.select('#h1')[0].text)
我所使用的版本为Python3.6.1,
谢谢。
作者: coeric ( )   2017-07-10 18:01:00
scrapy不给装 用requests捞 没啥问题

Links booklink

Contact Us: admin [ a t ] ucptt.com