标题: 处理服务读取多个任务遇到的问题 (Go 语言)
连结: https://bit.ly/fetch-task
影片: https://www.youtube.com/watch?v=Sh9hN635j50
https://i.imgur.com/lbY6KzL.png
不同的服务都会有需要处理比较久的任务,这些任务是不能即时执行完成,才回应给前端
,这样使用者体验会非常的差。将类型的任务存在数据库或放在消息对列就是一种处理方
式,接着启动另一个服务来消化非即时性的任务,而常见的处理方式就是在服务内启动多
个 Worker Node 来平行消化任务(如上图)。
## 读取多个任务问题
先看看底下此服务内部的设计,用 Go 语言来当范例解释当下问题,假设有一个 Task 服
务负责存放所有的任务,而 Agent 服务内可以开启多个 Goroutine 来平行消化任务,步
骤也很简单,第一步就去读取任务,而第二步就是执行任务。想看看在步骤一的时候,如
果目前 Task 服务内没有任何任务需要执行,就设计每 5 秒才去向 Task 服务询问是否
有新任务需要执行,避免太频繁发请求给 Task 服务。
先假设有 100 个任务需要等待执行,在 Agent 内开启 10 个 Worker Node 去消化,这
样每次就会发送 10 个请求,而这 10 个请求有可能对于 Task 服务来说就是 10 个
SQL 指令,如果是 10 台 Agnet 就变成 100 个请求,这样对于 Task 服务来说会负担太
大。
https://i.imgur.com/4csL9To.png
大家可以想看看如何解决上述的问题,底下提供一段 Go 语言实作多个 Worker 的代码,
步骤一就是开启 Goroutine 来平行处理任务,就是在这边会发送大量的请求到另一个
Task 服务
代码放在 Blog 连结内