Re: [SQL ] 大量LOG记录架构选择

楼主: popcorny (毕业了..@@")   2015-05-12 15:21:48
※ 引述《OpenGoodHate (什么东西什么东西)》之铭言:
: 感谢P 大提供建议
: log 的项目只是一些机器记录的参数
: (可以想像是Apache LOG 这样,只是是一个人一秒一笔)
: 目前想到一个方法就是直接每个人每周或每月开一个文字档写入
: 然后再用LOG PARSER 去处理剩下的事
: 应该比较能让架构单纯化
: 机器打算租用标准A2
: 再定时把log 捞回本地端存放
: 这样的预估量应该在初期是够的
用回的好了..
你的做法很好,但是我建议可以全部放在同一个Log档案
每天log rotate一次并且压缩
编码可以用
user_id, metric1, metric2, ....
这样的好处是你的App不用开太多档案
再来就是也比较方便将来分析统计
csv(或是tsv)的好处是很多分析软件都支援
方便你以后分析或是import到DB, excel
以你的需求.. 甚至A1就可以了
sequential write其实超快的

Links booklink

Contact Us: admin [ a t ] ucptt.com