[问题] Api到DB的即时资料串流 ms0344303 PTT批踢踢实业坊

[问题] Api到DB的即时资料串流

楼主: ms0344303 (我不玩了) 2022-04-13 11:32:59

如标题
敝人有一个case需要定期从某个api取得资料稍微处理并塞入到指定db中
同时往后有其他api资料来源的话因为格式可能不同
需要做针对异质资料来源其他处理模组整合成统一格式再塞入
简单来说就是整合异质资料并同质化的data loader
除了用比较土炮的爬虫脚本服务化之外
还有比较好用的方式吗
企业方向的解决方案也可？
感谢

作者: celestialgod (å¤©) 2022-04-13 12:17:00

AWS lambda, Azure Functions, Azure Logic App

作者: k1988771028 (阿亏) 2022-04-13 13:14:00

本来就有linux的话可以用airflow 更阳春的话crontab

作者: Hsins (翔) 2022-04-18 22:42:00

同样的需求，规模大小会有差异

继续阅读

[问题] shelve模组创一个档案text.dat会变成怪档newbrain Re: [问题] append的问题ddavid Re: [问题] append的问题unfinish Re: [问题] 如何import所有来自指定目录的moduleVivianAnn [问题] 国徽中间的圆为何无法填满白色tang1019 [问题] tflite quantizationjack155861 [闲聊] 送书影像处理相关pent [问题] 爬虫网页登入失败kizuki45 Re: [问题] 如何import所有来自指定目录的moduleblc [问题] 如何import所有来自指定目录的moduleVivianAnn