※ [本文转录自 Soft_Job 看板 #1arbMUoh ]
作者: f496328mm (123) 看板: Soft_Job
标题: [心得] 资料工程师 X FinMind 架构解析
时间: Fri Aug 11 23:36:59 2023
大家好，我是 FinMind，开源金融数据的作者
https://github.com/FinMind/FinMind
在上次，浓缩个人好几年的工作经验、FinMind 专案开发经验
出版了资料工程师书籍，回响不错
今年花了 8 个月的时间，在第一版书上，扩增了 50% 的内容
其中新增了
1. 分布式 Airflow 介绍、架设，提供大量范例，并与爬虫做结合!!!
2. 业界常用的监控系统 - Grafana & Prometheus，介绍与架设。
3. 并将书中介绍的各项服务，Netdata、MySQL、RabbitMQ、Airflow、Traefik，都
与监控系统做串接，制作统一的 Dashboard 监控仪表板工具!!!
这样本书就算是一本，完整的资料工程师攻略了，包含
* 分布式爬虫
* 数据库架设
* API 架设
* 云端系统
* Docker、Docker Swarm
* Unit Test
* CICD
* ApacheBench 压力测试
* Traefik 反向代理
* Redash BI 报表
* 分布式 Airflow
* 业界知名的 Grafana 监控系统
一本书涵盖大量资料工程师的技能树。
甚至进阶到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重叠 )
目前书在天珑书局预售中。
各位对大数据、资料工程有兴趣的话，可以参考看看，也感谢大家对开源专案一路以来的
支持。
https://www.tenlong.com.tw/products/9786267273739?list_name=lv