[问题] 爬虫资料存入db 并制作成api

楼主: relievezaoc (Nine9)   2018-04-19 17:39:43
目前的需求是想要将资料爬下来之后,再将资料存起来
并且可以做成一支api,让手机app呼叫直接取得json资料
google之后的想法如下:
1. 写好一个爬虫的py档, 并且将资料存到db
2. 要找一个平台, 可以定时执行py档(这样app才能一直捞到最新日期的资料)
3. 要找一个平台, 可以将db的资料变成api, 直接让其它人捞取
(想要让app可以call一段网址就能拿到资料, 就像openData一样)
作者: gojane20 (Jane)   2018-04-19 17:45:00
第2点可以用windows内建的工作排程器定期执行py档
作者: uranusjr (←這人是超級笨蛋)   2018-04-19 17:50:00
Heroku 确实可以
作者: vi000246 (Vi)   2018-04-19 17:59:00
api可以用flask或hug来做上传到heroku就能写手机app去call这支api
作者: fiorentino (眠)   2018-04-19 19:33:00
用flask 写个Restful 的API server再用uwsgi运行,放digitalocean也可以
作者: TitanEric (泰坦)   2018-04-19 19:48:00
我有做过类似的 是存在MongoDB然后用Flask做一个rest API补充一下排程我是用Linux的crontab就是了 要有server就是了
作者: coeric ( )   2018-04-19 22:13:00
google cloud platform
作者: f496328mm (为什么会流泪)   2018-04-19 23:28:00
可以用 MySQL 免费好架我目前是用 crontab 每天抓data 存在MySQL也有对外IP 只差在手机 app如果是用中华电信 可以免费申请固定IP再用 NO-IP 去转成实体网址
作者: coeric ( )   2018-04-20 00:27:00
回楼上,既然都用no-ip了 ddns也可以处理这类问题
作者: Falldog (Yo)   2018-04-20 12:14:00
AWS lambda可以考虑一下
作者: chessman416 (哈士奇)   2018-04-20 13:15:00
资料量体不大的话说不定google app script就可以解决也有排程可以设定,也可以透过get或post拿资料http://jamyy.us.to/blog/2015/06/7555.htmlhttps://tinyurl.com/yd6fv9h8https://tinyurl.com/y9e7hgt7可以参考这几篇,基本上运用方式很多元,小而巧临时搭建小服务很方便,我也有挂line bot的服务在这
作者: vi000246 (Vi)   2018-04-20 22:16:00
感谢分享 原来app script也能写api
作者: Luluemiko (露露)   2018-04-21 11:14:00

Links booklink

Contact Us: admin [ a t ] ucptt.com