[问题] 大数据批次更新的方式 jfla PTT批踢踢实业坊

[问题] 大数据批次更新的方式

楼主: jfla (J-Fla) 2018-10-24 17:42:27

若在一mysql中有8个table要更新数据
每一table更新的数据约60万笔资料
请问以下更新的方法是否可行?
开10条执行绪(需要10个connection)
第1条执行绪从第1笔开始更新
第2条执行绪从第5万笔开始更新
第3条执行绪从第12笔开始更新
....
第10条执行绪从第50笔开始更新
请问这样子的方式可行吗?

作者: qrtt1 (有些事，有时候。。。) 2018-10-24 17:46:00

为什么要这么做？你想解决什么样的问题？

作者: pupuliao (pupu) 2018-10-24 18:01:00

当然是可以啊? 变快变慢不知道而已你可以测试看看

作者: kogrs (kogrs) 2018-10-25 00:02:00

60万应该算不上大数据吧?

作者: qrtt1 (有些事，有时候。。。) 2018-10-25 00:32:00

你是打算多快！？要有个门槛出来，拿工具量一量，再来看要不要改它吧。你资料产出的那一端，到底每秒能生多少笔？你的消耗端 (mysql) 只要能承受比它高，就算达标了呗。

作者: jej (æ™ƒå¥¶å¤§é¦¬æ¡¶) 2018-10-25 12:46:00

用java这么多次io当然慢写sp吧 60小case啦

作者: now99 (陈在天) 2018-10-26 09:03:00

先看60万的条件吧

作者: swpoker (swpoker) 2018-10-26 10:58:00

这应要该要用sp去弄啊，不要硬用java啊

作者: adrianshum (Alien) 2018-10-27 12:13:00

SP 不见得会比较好，视乎OP 要做什么。比如是每天拿到60万笔的档案，再根据档案内容update, 用stored proc 不见得会跑得快，还要考虑整体架构

继续阅读

[问题] 新手物件导向问题chinsun [书籍] 售9.5成新 JAVA SE 8 基础必修课bokxko1023 [问题] 多执行续的消费者和生产者obelisk0114 JCConf 2018 售票快结束了！kojilin [问题] 关于x^n/n!cheng220 [新闻] 长期支援版本Java 11释出，更新TLS 1.3并加入高效能垃圾回EijiHoba [问题] 请推荐spring mvc/boot 书籍fyon Re: [问题] Spring @Transaction 问题reon ZK问题求解falink Re: [问题] 回传区域变量问题darkk6