[请益] excel转数据库(大量计算)

楼主: scalawax (aliang)   2021-06-22 16:27:52
各位大大您们好,
我正在做实价登录的分析,因为实价登录的资料有点乱,所以我写了一堆算式去算,但是
一个档案都太大(至少150-180MB),所以每次更新都要跑一整个晚上,重点是还不知道
是否有跑完(三不五时会发现计算错误)。。。。
想改到数据库或其他的架构,是不是真的会比较快?但是重点是有办法处理大量的计算。
。。。
真的不知道该用什么。。。
我不是唸相关科系的,实在不知道该从哪里下手。。。。
想听听大家专业意见,不管是ACCESS或是python或是有其他大家觉得更好的方式 ,有一
个方向我再去好好钻研。。。
麻烦大家帮我指点明灯~~~ 跪恩!
作者: airtsubasa (伪学姊)   2021-06-22 16:30:00
换电脑
作者: gnseed (YA小猜)   2021-06-22 16:34:00
算法写得不好吧...连G都没出现的资料不能称为大
作者: final01 (牛顿运动定律)   2021-06-22 16:37:00
excel?? 那个不是很慢
作者: ntpuisbest (阿龙)   2021-06-22 16:37:00
用r data table 写的非常快
作者: kokolotl (nooooooooooo)   2021-06-22 16:51:00
excel函数一大就算到死了 改用R或python都舒服很多
作者: Virness   2021-06-22 17:04:00
mysql mongo都可以我之前也是excel超痛苦
作者: MOONY135 (谈无欲)   2021-06-22 17:05:00
看你的档案类型啊 是一天一个档案还是一个档案会慢慢变大 后者的话直接建议塞进db 前者大概就是换语言读写
作者: enthos (影斯作业系统)   2021-06-22 17:16:00
作者: azzc1031 (azzc1031)   2021-06-22 19:43:00
python去读 再去下你要看的函数
作者: lazarus1121 (...)   2021-06-22 20:04:00
把function换成vba来跑会快不少之前资料量大用excel都尽量不写函数,不然下拉时容量跟耗的效能都会等比成长
作者: tedmax100 (Nathan-Lu)   2021-06-22 21:04:00
不动产业的RD??
作者: DrTech (竹科管理处网军研发人员)   2021-06-22 21:57:00
才不到200M,用程式读到内存算,就解决了。根本不用数据库。
作者: yyc1217 (somo)   2021-06-22 23:24:00
要不要试试看Google colab
作者: qazxws (QAZ)   2021-06-23 00:13:00
Apache Spark
作者: new122851 (未若柳絮因风起)   2021-06-23 00:32:00
Hadoop
作者: marc47 (思乐冰)   2021-06-23 01:41:00
作者: KeyFSN ( ~☼☽✩☁~ )   2021-06-23 12:42:00
才 180 MB 根本不用什么 spark 啦 XD直接 python 全读到 memory 然后算一算就结了
作者: sammythekid (山米乐其得)   2021-06-23 14:57:00
楼上讲完了
作者: enthos (影斯作业系统)   2021-06-23 19:22:00
作者: wahaha279 (哇哈哈:3)   2021-06-24 00:19:00
用aws elk做资料搜寻
作者: adsl12367 (adsl12367)   2021-06-24 15:50:00
DB用哪一个?
楼主: scalawax (aliang)   2021-06-24 18:30:00
哈哈哈哈,谢谢大家的帮忙,但大家的回复我真的看不懂,大家实在是太专业了。。。。我是在一家建商,老板常叫我做市调,所以自己弄了套excel+power BI,看来得来自学python了。。。。
作者: alivetaxi (阿什麼)   2021-06-24 20:28:00
试试access 应该够用了
作者: divergience (难得喝到 Cherry Coke)   2021-06-24 20:50:00
VBA 就够了
作者: alice78226 (紫)   2021-06-24 23:37:00
excel和power bi有没有装64位元的,内存有没有加到32G?32位元的软件跑不动很正常。
作者: jinmin88 (昼伏夜出)   2021-06-25 19:37:00
c#的话我记得有excel lib支援yield return
作者: acgotaku (otaku)   2021-07-02 18:24:00
Amazon Athena申请一个,资料丢进去 你会发现魔法

Links booklink

Contact Us: admin [ a t ] ucptt.com