[讨论] 巨量资料的处理

楼主: newvalentine (haha)   2018-02-06 11:47:46
本身自己是写程式出身, DB 上有些问题想问问大大先进
自己维护的 table 本身一个月以 500 万笔资料成长
且该 table 有大概 30-40 个字段
这样的状况造成在一些报表统计上
原本于 Weblogic 限制内可跑完的时间变得会 timeout
index 也一直有在加上去
但是有时候报表统计的 group 不同总觉得一直开 index 下去不是办法
所以不知道有没有业界的大大碰到类似的问题
可否指教通常会怎处理呢?
目前仅限缩查询范围跟输入一些必要条件
但是处于公家单位, 其觉得资料应该都可以调阅且分析
所以真得很进退两难
有时候资料甚至没法给个完整结案的时间,
好先做一些数字资料统计 QwQ
作者: iFEELing (ing)   2018-02-06 22:20:00
如果你的资料写进去就沉下去不会改 那可以考虑另外开一台DB 或是分布式计算 用来跑报表或是先把固定样式的资料算好暂存 就不用每次从头算硬件的话就换全快闪储存加大内存
楼主: newvalentine (haha)   2018-02-07 17:54:00
刚好都会一直在改很头痛 QQ
作者: bravomao (摄影器材派)   2018-02-07 23:36:00
我猜DB只有一台,且WLS的thread都会卡死在DB是吗?
楼主: newvalentine (haha)   2018-02-22 15:39:00
DB 有两台, 但是 weblogic 限定查 5 mins因为资料量太大造成超过 5mins timeout
作者: silver8250   2018-02-28 22:33:00
请改用 OLAP 类型的 DB 来处理报表,又快又不用 index

Links booklink

Contact Us: admin [ a t ] ucptt.com