[心得] 实务经验分享-AWS Lambda & RDS 整合探讨

楼主: uopsdod (pcman)   2020-02-17 20:15:14
https://youtu.be/NRpLW8QIe5o
这是个交互式的系列教学影片,每个主题将会分成两部分:
1. 第一部分会跟大家呈现实务上遇到的问题,让大家一起讨论并思考可行的解决方案。
2. 第二部分会跟大家分享当初我选择的解决方案,可能不是最佳解,但相信也能促进大
家不同面向的思考!
这次要来探讨的架构图:
https://imgur.com/yxL4w38
之前工作上为了处理批次作业,且想要尽量减少server维运成本,而有了这次的架构。
但实作之后,发现了一些当初没有预想到的问题。
我还满珍惜这些实务上的经验,就是遇到这些意外状况,
让我有机会去思考多种解决方案,这样的过程都非常有趣。
这次想透过这样的互动形式,让大家一起讨论看看如果是你/妳会建议怎么解决!
作者: ldkrsi (衰神)   2020-02-17 22:28:00
省成本的话不考虑跳gcp?
作者: drajan (EasoN)   2020-02-18 00:45:00
精美的serverless插入record进数据库 还没实作就知道会出问题 这帐单应该会很精彩
作者: domototice (tice)   2020-02-18 05:40:00
可以讲简单点吗?还要别人查专有名词以及了解你的原理不是复杂就显得很有学问,批次作业被改善的方式可以google,不要让人家以为读台大的就是待待,谢谢。。。。
作者: SimonJones (Si)   2020-02-18 09:54:00
某楼看不懂不要看?
作者: uly (游历)   2020-02-18 11:06:00
去年底发表的RDS Database proxy好像就是要解这个问题当然多用一层aws服务就是$$$ 不然就自己实作connection pool更大调整就是就是视data性质与use case不用RDS改DynamoDB
作者: alan3100 (BOSS)   2020-02-18 12:47:00
batch就做成batch呀..你用S3trigger是async<>bacth如果你只是要serverless且先不考虑scalableschedule event->lambda->foreach(listobj)->moveToBK
作者: domototice (tice)   2020-02-18 14:01:00
你等著,我来研究,小弟不才,说话多有得罪抱歉!可以解释为什么要用AMS的吗?用云端的比较省成本吗?用硬件的sever连接数据库比较贵吗?你的最大连线数为什么要设成5个 ,10个不行吗?应该要有个成本比较分析表,把虚拟的实体的算进去...批次档案的上传个数 不能做时间限制吗?比如分成两三次谢谢影片的教学跟分享,感谢大大!alan3100大大,->foreach(listobj)->moveToBK能解释吗
作者: VegasBlvd   2020-02-18 16:36:00
架构不大改,我会在中间加一层SQS看资料型态,会考虑用DynamoDB取代RDS.
作者: alan3100 (BOSS)   2020-02-19 10:18:00
楼上接SQS也是一个很好的方式。原PO这范例式设计问题很多,db con, vpc ip,db io, lambda concurrent..每个都要讲一小段,懒得打那么多。另外DB的选用是只要OLTP且要salable再考虑dynamo,不然再上去的设计规模你会做到死
作者: drajan (EasoN)   2020-02-19 20:26:00
Dynamo的成本是unbounded , 而且schemaless , 有duplicate就精彩了. access pattern也未知,详细的设计还是要看需求是什么,没有需求之前都是做好玩的
作者: domototice (tice)   2020-02-19 21:26:00
意思是不同数据库类型吗?现在有关联式跟NoSQL数据库

Links booklink

Contact Us: admin [ a t ] ucptt.com