[发案] Python data pipeline 改善与测试
发案人：曾先生
联络方式1：站内信
联络方式2：
所在地区 ：海外（UTC+1时区）
有效时间：征到为止。2022-01-02前完成，额外加给20%。
专案说明：
现有 data pipeline 包含三个独立运行的docker service：
Common Crawl data retriever, GDELT data retriever 与 data preprocessor。
程式语言为 Python 3，使用 newspaper3k, gdelt, nltk, spacy_langdetect 等包。
中间资料集与结果皆以 MongoDB 储存。
资料处理逻辑与 docker 封装已基本完成，小资料集测试OK。
但推上测试环境爬取真实资料时，发生诸多问题例如
- 各种data bugs除之不尽
- 无法测试并确认scheduler的正确性与可靠性
- 不知道要如何应付网络中断、资料重抓错抓、系统停机重启等各种状况。
主要的requirement就是解决上面的问题，让程式达到可以上线的品质。
接触洽谈流程如下：
发案人会先做一次live demo，
展示目前的code如何运作，解释功能设计与问题瓶颈。
决定接案后，发案人会与接案者共同 refine 一次具体的 requirement spec，
并开放 GitLab private repo 给接案者作业。
预算：NTD 15k
- 2022-01-02前完成，额外加给20%。
- 如须使用AWS等付费服务，事先与发案人讨论即可。费用由发案人负担。
接案者要求：
- 一般 Python 3 服务之开发、测试与维护经验
- 熟悉此类连续运行服务之可靠性设计
- 熟悉 docker 环境调试
- 能够有纪律的执行一般 Git DevOps，例如每个 commit 尽量只做一件事；
commit message 与 changelog 简明清楚等
- (加分项)熟悉平行化程式之设计与除错
- (重要加分项)具相似data pipeline与服务的架设经验
附注：保密义务