[心得] 处理服务读取多个任务遇到的问题

楼主: appleboy46 (小恶魔)   2022-11-16 09:10:47
标题: 处理服务读取多个任务遇到的问题 (Go 语言)
连结: https://bit.ly/fetch-task
影片: https://www.youtube.com/watch?v=Sh9hN635j50
https://i.imgur.com/lbY6KzL.png
不同的服务都会有需要处理比较久的任务,这些任务是不能即时执行完成,才回应给前端
,这样使用者体验会非常的差。将类型的任务存在数据库或放在消息对列就是一种处理方
式,接着启动另一个服务来消化非即时性的任务,而常见的处理方式就是在服务内启动多
个 Worker Node 来平行消化任务(如上图)。
## 读取多个任务问题
先看看底下此服务内部的设计,用 Go 语言来当范例解释当下问题,假设有一个 Task 服
务负责存放所有的任务,而 Agent 服务内可以开启多个 Goroutine 来平行消化任务,步
骤也很简单,第一步就去读取任务,而第二步就是执行任务。想看看在步骤一的时候,如
果目前 Task 服务内没有任何任务需要执行,就设计每 5 秒才去向 Task 服务询问是否
有新任务需要执行,避免太频繁发请求给 Task 服务。
先假设有 100 个任务需要等待执行,在 Agent 内开启 10 个 Worker Node 去消化,这
样每次就会发送 10 个请求,而这 10 个请求有可能对于 Task 服务来说就是 10 个
SQL 指令,如果是 10 台 Agnet 就变成 100 个请求,这样对于 Task 服务来说会负担太
大。
https://i.imgur.com/4csL9To.png
大家可以想看看如何解决上述的问题,底下提供一段 Go 语言实作多个 Worker 的代码,
步骤一就是开启 Goroutine 来平行处理任务,就是在这边会发送大量的请求到另一个
Task 服务
代码放在 Blog 连结内
作者: foreverk (文艺青年)   2022-11-16 09:22:00
如果Task service会出现大量打到db的request,那应该先使用cache吧?
作者: s06yji3 (阿南)   2022-11-16 09:48:00
不一定,如果每次query的条件或结果不一样的话是无法Cache的
作者: lovdkkkk (dk)   2022-11-16 09:59:00
应可用 socket 主动通知不用一直发 request 询问?
作者: GoalBased (Artificail Intelligence)   2022-11-16 12:48:00
关键字subscribe 吧 没看图和code
作者: Nonsense8 (胡说)   2022-11-16 19:31:00
notify 回去吧
作者: a4782887   2022-11-20 09:23:00
久仰AppleBoy. 以下浅见. 如果tasks限制是使用databasequeue来实作存取, 且task数量庞大, db loading会比较大, 会比较难scale out worker, 这时候看看优化SP可否帮助….不然另寻其他种work queue是值得尝试的办法. 敝司之前用过OLTP database queue…db alert 常常发啊XD刚看完blog, 敝司目前也是使用类似的作法XD
楼主: appleboy46 (小恶魔)   2022-11-22 12:00:00
楼上 感谢分享 XD

Links booklink

Contact Us: admin [ a t ] ucptt.com