PTT
Submit
Submit
选择语言
正體中文
简体中文
PTT
Python
[问题] 爬虫资料存入db 并制作成api
楼主:
relievezaoc
(Nine9)
2018-04-19 17:39:43
目前的需求是想要将资料爬下来之后,再将资料存起来
并且可以做成一支api,让手机app呼叫直接取得json资料
google之后的想法如下:
1. 写好一个爬虫的py档, 并且将资料存到db
2. 要找一个平台, 可以定时执行py档(这样app才能一直捞到最新日期的资料)
3. 要找一个平台, 可以将db的资料变成api, 直接让其它人捞取
(想要让app可以call一段网址就能拿到资料, 就像openData一样)
作者:
gojane20
(Jane)
2018-04-19 17:45:00
第2点可以用windows内建的工作排程器定期执行py档
作者:
uranusjr
(â†é€™äººæ˜¯è¶…級笨蛋)
2018-04-19 17:50:00
Heroku 确实可以
作者:
vi000246
(Vi)
2018-04-19 17:59:00
api可以用flask或hug来做上传到heroku就能写手机app去call这支api
作者: fiorentino (眠)
2018-04-19 19:33:00
用flask 写个Restful 的API server再用uwsgi运行,放digitalocean也可以
作者:
TitanEric
(泰坦)
2018-04-19 19:48:00
我有做过类似的 是存在MongoDB然后用Flask做一个rest API补充一下排程我是用Linux的crontab就是了 要有server就是了
作者:
coeric
( )
2018-04-19 22:13:00
google cloud platform
作者:
f496328mm
(为什么会流泪)
2018-04-19 23:28:00
可以用 MySQL 免费好架我目前是用 crontab 每天抓data 存在MySQL也有对外IP 只差在手机 app如果是用中华电信 可以免费申请固定IP再用 NO-IP 去转成实体网址
作者:
coeric
( )
2018-04-20 00:27:00
回楼上,既然都用no-ip了 ddns也可以处理这类问题
作者:
Falldog
(Yo)
2018-04-20 12:14:00
AWS lambda可以考虑一下
作者:
chessman416
(哈士奇)
2018-04-20 13:15:00
资料量体不大的话说不定google app script就可以解决也有排程可以设定,也可以透过get或post拿资料
http://jamyy.us.to/blog/2015/06/7555.html
https://tinyurl.com/yd6fv9h8
https://tinyurl.com/y9e7hgt7
可以参考这几篇,基本上运用方式很多元,小而巧临时搭建小服务很方便,我也有挂line bot的服务在这
作者:
vi000246
(Vi)
2018-04-20 22:16:00
感谢分享 原来app script也能写api
作者:
Luluemiko
(露露)
2018-04-21 11:14:00
推
继续阅读
[问题] np.zeros memory error
yowantl
[问题] 关于requests与beautifulsoup安装问题
Kamehame
[问题] Cannot load mkl_intel_thread.dll问题
jenny33377
[问题] Profiling 包含tensorflow跟CUDA的.py
Morphee
Re: [问题] 求指正
gmccntzx1
[问题] cluster analysis画图
iSad56
[问题] 证交所历史股价 无法自动下载
CaptPlanet
[闲聊] 请问大家python+django都用什么IDE呀
always30302
Re: [问题] 求指正
Neisseria
[问题] 电影时刻表爬虫新手问题
students
Links
booklink
Contact Us: admin [ a t ] ucptt.com