1. 大量LOG写入,最常用的方式是档案档纪录,采sequence write.
2. LOG资料量不大,可采用NOSQL
记住不要建索引,要有insert 1TB资料,数据库会使用1.4TB的心理准备(看你怎么存)
3. Log 查询 DB, 只存Meta DATA
Input -> mining -> Log Search DB
或
大量Log Data -> mining -> Log Search DB
4. 系统架构
INDEX DB (GB ~ TB 索引)
LOG FILE DB (100TB ~ PB Raw Data)
※ 引述《OpenGoodHate (什么东西什么东西)》之铭言：
: 数据库名称：MSSQL / MYSQL
: 数据库版本：2014 / 5.5.22
: 内容/问题描述：
: 其实还在架构选择中
: 就是目前有个需求是要记录每个USER每秒产生的一笔LOG
: 如果是这样
: worst case　就是一个user 一天要产出86400笔记录
: 有1000个user 的话不就一天要记录86400000笔
: 没一个月资料表应该就破亿笔
: 想请问如果有log 需求的话通常会怎么写
: 这个log 是要可以随时被查询的
: 若是算保存3个月(或1个月)的话该怎么处理
: 因为目前的主机打算租用在Azure，服务环境应该就是ASP.NET
: 所以也有硬盘容量限制
: 有想过自动分表，但是以月份分表难保不会随着使用着的成长会有更大量的资料
: 或是这个情况要考虑NOSQL 的解决方案??
: 目前是全新案子刚起步，所以要NOSQL 可能也要等目前架构真的爆炸才会换吧