[问题] scrapy 启动后 parse 未呼叫到

楼主: gigigigi (gigigigi)   2020-08-22 14:47:47
https://github.com/jang0820/scrapy/tree/master/twse_mongo 程式码
https://sites.google.com/site/zsgititit/home/python-cheng-shi-she-ji/shi-yongscrapy-zhua-qu-tai-gu-zheng-jiao-suo-mei-ri-gu-jia-zi-liao-chu-cun-daomongodb?tmpl=%2Fsystem%2Fapp%2Ftemplates%2Fprint%2F&showPrintDialog=1
我是按照上面网址范例操作
在Mongo内建立数据库STwStock,新增collection为twse
在twse_mongo资料夹执行指令 scrapy crawl twse
发现资料表没有新增资料~ 后来发现 parse 函数都还没跑到
想请问一下可能是什么原因?
下面是执行后log 讯息
https://pastebin.com/Zk4F0KKJ
谢谢
作者: alvinlin (林矜业)   2020-08-22 15:02:00
我看起来是挺明显的问题啊Forbidden by robots.txt所以。要设为False
楼主: gigigigi (gigigigi)   2020-08-22 16:50:00
可以了~感谢

Links booklink

Contact Us: admin [ a t ] ucptt.com