[问题] 爬虫异步的post请求 aaa7513231 PTT批踢踢实业坊

[问题] 爬虫异步的post请求

楼主: aaa7513231 (浑沌与秩序) 2016-04-13 21:03:27

大家好
最近在利用免费的云端主机去做网页爬虫
Openshite
遇到的问题就是他主机架设在美洲
所以每一个post的反应时间还蛮久的
这样跑回圈下来的执行时间很长
想知道是不是有机会可以做到异步的大量post要求
在回传事件中解决到回应
这样应该就可以解决主机在美国的问题了
谢谢大家
补充:
我是版本是2.7

作者: uranusjr (â†é€™äººæ˜¯è¶…ç´šç¬¨è›‹) 2016-04-13 21:43:00

选择很多, Python 3.4 以上可以用 aiohttp, 其他版本也可以用 Tornado 或 Twisted 等等

楼主: aaa7513231 (浑沌与秩序) 2016-04-13 22:16:00

因为我是使用cron去跑脚本，上面提供的好像是Web框架U大，我这样应该没办法套用吧@@?

作者: ccwang002 (亮) 2016-04-13 22:19:00

可以套用啊，都可以异步等待对方 server 回应例如：Twisted Web Client / Aiohttp Client

楼主: aaa7513231 (浑沌与秩序) 2016-04-13 22:31:00

刚刚看过范例，应该是有搞头，谢谢大家!!!

作者: kenduest (小州) 2016-04-14 00:57:00

python 2 简单方式一般可以用 gevent 来处理

继续阅读

[问题] 想用爬虫抓取图文呈现的问题vi000246 Re: [问题] 该怎么用python登入自己写的表单?Neisseria [问题] 该怎么用python登入自己写的表单?phpjson [问题] 如何建立一个portable windows软件?vanchy Re: [问题] python 将爬出来的资料汇出至档案brightsu [问题] 完全搞不懂的路径问题elone [问题] python 爬取pchome资料kobe52072200 terminal上列出目录内所有档案选取做inputproud [问题] pyinotify 错误求解girl5566 Re: [问题] 关于使用for循环挖掘资料时出错-换页问题Neisseria

[问题] 爬虫 异步的post请求

[问题] 爬虫异步的post请求